機(jī)器學(xué)習(xí)分類

時(shí)間：2022-02-18 05:33:01 | 來(lái)源：信息時(shí)代

時(shí)間：2022-02-18 05:33:01 來(lái)源：信息時(shí)代

基于學(xué)習(xí)策略的分類　

學(xué)習(xí)策略是指學(xué)習(xí)過(guò)程中系統(tǒng)所采用的推理策略。一個(gè)學(xué)習(xí)系統(tǒng)總是由學(xué)習(xí)和環(huán)境兩部分組成。由環(huán)境（如書(shū)本或教師）提供信息，學(xué)習(xí)部分則實(shí)現(xiàn)信息轉(zhuǎn)換，用能夠理解的形式記憶下來(lái)，并從中獲取有用的信息。在學(xué)習(xí)過(guò)程中，學(xué)生（學(xué)習(xí)部分）使用的推理越少，他對(duì)教師（環(huán)境）的依賴就越大，教師的負(fù)擔(dān)也就越重。學(xué)習(xí)策略的分類標(biāo)準(zhǔn)就是根據(jù)學(xué)生實(shí)現(xiàn)信息轉(zhuǎn)換所需的推理多少和難易程度來(lái)分類的，依從簡(jiǎn)單到復(fù)雜，從少到多的次序分為以下六種基本類型：

1）機(jī)械學(xué)習(xí)(Rotelearning)

學(xué)習(xí)者無(wú)需任何推理或其它的知識(shí)轉(zhuǎn)換，直接吸取環(huán)境所提供的信息。如塞繆爾的跳棋程序，紐厄爾和西蒙的LT系統(tǒng)。這類學(xué)習(xí)系統(tǒng)主要考慮的是如何索引存貯的知識(shí)并加以利用。系統(tǒng)的學(xué)習(xí)方法是直接通過(guò)事先編好、構(gòu)造好的程序來(lái)學(xué)習(xí)，學(xué)習(xí)者不作任何工作，或者是通過(guò)直接接收既定的事實(shí)和數(shù)據(jù)進(jìn)行學(xué)習(xí)，對(duì)輸入信息不作任何的推理。

2）示教學(xué)習(xí)(Learningfrominstruction或Learningbybeingtold)

學(xué)生從環(huán)境（教師或其它信息源如教科書(shū)等）獲取信息，把知識(shí)轉(zhuǎn)換成內(nèi)部可使用的表示形式，并將新的知識(shí)和原有知識(shí)有機(jī)地結(jié)合為一體。所以要求學(xué)生有一定程度的推理能力，但環(huán)境仍要做大量的工作。教師以某種形式提出和組織知識(shí)，以使學(xué)生擁有的知識(shí)可以不斷地增加。這種學(xué)習(xí)方法和人類社會(huì)的學(xué)校教學(xué)方式相似，學(xué)習(xí)的任務(wù)就是建立一個(gè)系統(tǒng)，使它能接受教導(dǎo)和建議，并有效地存貯和應(yīng)用學(xué)到的知識(shí)。不少專家系統(tǒng)在建立知識(shí)庫(kù)時(shí)使用這種方法去實(shí)現(xiàn)知識(shí)獲取。示教學(xué)習(xí)的一個(gè)典型應(yīng)用例是FOO程序。

3）演繹學(xué)習(xí)(Learningbydeduction)

學(xué)生所用的推理形式為演繹推理。推理從公理出發(fā)，經(jīng)過(guò)邏輯變換推導(dǎo)出結(jié)論。這種推理是'保真'變換和特化(specialization)的過(guò)程，使學(xué)生在推理過(guò)程中可以獲取有用的知識(shí)。這種學(xué)習(xí)方法包含宏操作(macro-operation)學(xué)習(xí)、知識(shí)編輯和組塊(Chunking)技術(shù)。演繹推理的逆過(guò)程是歸納推理。

4）類比學(xué)習(xí)(Learningbyanalogy)

利用二個(gè)不同領(lǐng)域（源域、目標(biāo)域）中的知識(shí)相似性，可以通過(guò)類比，從源域的知識(shí)（包括相似的特征和其它性質(zhì)）推導(dǎo)出目標(biāo)域的相應(yīng)知識(shí)，從而實(shí)現(xiàn)學(xué)習(xí)。類比學(xué)習(xí)系統(tǒng)可以使一個(gè)已有的計(jì)算機(jī)應(yīng)用系統(tǒng)轉(zhuǎn)變?yōu)檫m應(yīng)于新的領(lǐng)域，來(lái)完成原先沒(méi)有設(shè)計(jì)的相類似的功能。

類比學(xué)習(xí)需要比上述三種學(xué)習(xí)方式更多的推理。它一般要求先從知識(shí)源（源域）中檢索出可用的知識(shí)，再將其轉(zhuǎn)換成新的形式，用到新的狀況（目標(biāo)域）中去。類比學(xué)習(xí)在人類科學(xué)技術(shù)發(fā)展史上起著重要作用，許多科學(xué)發(fā)現(xiàn)就是通過(guò)類比得到的。例如著名的盧瑟福類比就是通過(guò)將原子結(jié)構(gòu)（目標(biāo)域）同太陽(yáng)系（源域）作類比，揭示了原子結(jié)構(gòu)的奧秘。

5）基于解釋的學(xué)習(xí)(Explanation-basedlearning,EBL)

學(xué)生根據(jù)教師提供的目標(biāo)概念、該概念的一個(gè)例子、領(lǐng)域理論及可操作準(zhǔn)則，首先構(gòu)造一個(gè)解釋來(lái)說(shuō)明為什該例子滿足目標(biāo)概念，然后將解釋推廣為目標(biāo)概念的一個(gè)滿足可操作準(zhǔn)則的充分條件。EBL已被廣泛應(yīng)用于知識(shí)庫(kù)求精和改善系統(tǒng)的性能。

著名的EBL系統(tǒng)有迪喬恩（G.DeJong）的GENESIS,米切爾（T.Mitchell）的LEXII和LEAP,以及明頓（S.Minton）等的PRODIGY。

6）歸納學(xué)習(xí)(Learningfrominduction)

歸納學(xué)習(xí)是由教師或環(huán)境提供某概念的一些實(shí)例或反例，讓學(xué)生通過(guò)歸納推理得出該概念的一般描述。這種學(xué)習(xí)的推理工作量遠(yuǎn)多于示教學(xué)習(xí)和演繹學(xué)習(xí)，因?yàn)榄h(huán)境并不提供一般性概念描述（如公理）。從某種程度上說(shuō)，歸納學(xué)習(xí)的推理量也比類比學(xué)習(xí)大，因?yàn)闆](méi)有一個(gè)類似的概念可以作為'源概念'加以取用。歸納學(xué)習(xí)是最基本的，發(fā)展也較為成熟的學(xué)習(xí)方法，在人工智能領(lǐng)域中已經(jīng)得到廣泛的研究和應(yīng)用。

基于所獲取知識(shí)的表示形式分類　

學(xué)習(xí)系統(tǒng)獲取的知識(shí)可能有：行為規(guī)則、物理對(duì)象的描述、問(wèn)題求解策略、各種分類及其它用于任務(wù)實(shí)現(xiàn)的知識(shí)類型。

對(duì)于學(xué)習(xí)中獲取的知識(shí)，主要有以下一些表示形式：

1）代數(shù)表達(dá)式參數(shù)

學(xué)習(xí)的目標(biāo)是調(diào)節(jié)一個(gè)固定函數(shù)形式的代數(shù)表達(dá)式參數(shù)或系數(shù)來(lái)達(dá)到一個(gè)理想的性能。

2）決策樹(shù)

用決策樹(shù)來(lái)劃分物體的類屬，樹(shù)中每一內(nèi)部節(jié)點(diǎn)對(duì)應(yīng)一個(gè)物體屬性，而每一邊對(duì)應(yīng)于這些屬性的可選值，樹(shù)的葉節(jié)點(diǎn)則對(duì)應(yīng)于物體的每個(gè)基本分類。

3）形式文法

在識(shí)別一個(gè)特定語(yǔ)言的學(xué)習(xí)中，通過(guò)對(duì)該語(yǔ)言的一系列表達(dá)式進(jìn)行歸納，形成該語(yǔ)言的形式文法。

4）產(chǎn)生式規(guī)則

產(chǎn)生式規(guī)則表示為條件—?jiǎng)幼鲗?duì)，已被極為廣泛地使用。學(xué)習(xí)系統(tǒng)中的學(xué)習(xí)行為主要是：生成、泛化、特化（Specialization）或合成產(chǎn)生式規(guī)則。

5）形式邏輯表達(dá)式

形式邏輯表達(dá)式的基本成分是命題、謂詞、變量、約束變量范圍的語(yǔ)句，及嵌入的邏輯表達(dá)式。

6）圖和網(wǎng)絡(luò)

有的系統(tǒng)采用圖匹配和圖轉(zhuǎn)換方案來(lái)有效地比較和索引知識(shí)。

7）框架和模式（schema）

每個(gè)框架包含一組槽，用于描述事物（概念和個(gè)體）的各個(gè)方面。

8）計(jì)算機(jī)程序和其它的過(guò)程編碼

獲取這種形式的知識(shí)，目的在于取得一種能實(shí)現(xiàn)特定過(guò)程的能力，而不是為了推斷該過(guò)程的內(nèi)部結(jié)構(gòu)。

9）神經(jīng)網(wǎng)絡(luò)

這主要用在聯(lián)接學(xué)習(xí)中。學(xué)習(xí)所獲取的知識(shí)，最后歸納為一個(gè)神經(jīng)網(wǎng)絡(luò)。

10）多種表示形式的組合

有時(shí)一個(gè)學(xué)習(xí)系統(tǒng)中獲取的知識(shí)需要綜合應(yīng)用上述幾種知識(shí)表示形式。

根據(jù)表示的精細(xì)程度，可將知識(shí)表示形式分為兩大類：泛化程度高的粗粒度符號(hào)表示、??泛化程度低的精粒度亞符號(hào)(sub-symbolic)表示。像決策樹(shù)、形式文法、產(chǎn)生式規(guī)則、形式邏輯表達(dá)式、框架和模式等屬于符號(hào)表示類；而代數(shù)表達(dá)式參數(shù)、圖和網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等則屬亞符號(hào)表示類。

按應(yīng)用領(lǐng)域分類　

最主要的應(yīng)用領(lǐng)域有：專家系統(tǒng)、認(rèn)知模擬、規(guī)劃和問(wèn)題求解、數(shù)據(jù)挖掘、網(wǎng)絡(luò)信息服務(wù)、圖象識(shí)別、故障診斷、自然語(yǔ)言理解、機(jī)器人和博弈等領(lǐng)域。

從機(jī)器學(xué)習(xí)的執(zhí)行部分所反映的任務(wù)類型上看，大部分的應(yīng)用研究領(lǐng)域基本上集中于以下兩個(gè)范疇：分類和問(wèn)題求解。

（1）分類任務(wù)要求系統(tǒng)依據(jù)已知的分類知識(shí)對(duì)輸入的未知模式（該模式的描述）作分析，以確定輸入模式的類屬。相應(yīng)的學(xué)習(xí)目標(biāo)就是學(xué)習(xí)用于分類的準(zhǔn)則（如分類規(guī)則）。

（2）問(wèn)題求解任務(wù)要求對(duì)于給定的目標(biāo)狀態(tài),??尋找一個(gè)將當(dāng)前狀態(tài)轉(zhuǎn)換為目標(biāo)狀態(tài)的動(dòng)作序列；機(jī)器學(xué)習(xí)在這一領(lǐng)域的研究工作大部分集中于通過(guò)學(xué)習(xí)來(lái)獲取能提高問(wèn)題求解效率的知識(shí)（如搜索控制知識(shí)，啟發(fā)式知識(shí)等）。

綜合分類

綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識(shí)表示、推理策略、結(jié)果評(píng)估的相似性、研究人員交流的相對(duì)集中性以及應(yīng)用領(lǐng)域等諸因素。將機(jī)器學(xué)習(xí)方法區(qū)分為以下六類：

1）經(jīng)驗(yàn)性歸納學(xué)習(xí)(empiricalinductivelearning)

經(jīng)驗(yàn)性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗(yàn)方法（如版本空間法、ID3法，定律發(fā)現(xiàn)方法）對(duì)例子進(jìn)行歸納學(xué)習(xí)。其例子和學(xué)習(xí)結(jié)果一般都采用屬性、謂詞、關(guān)系等符號(hào)表示。它相當(dāng)于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)，但扣除聯(lián)接學(xué)習(xí)、遺傳算法、加強(qiáng)學(xué)習(xí)的部分。

2）分析學(xué)習(xí)（analyticlearning）

分析學(xué)習(xí)方法是從一個(gè)或少數(shù)幾個(gè)實(shí)例出發(fā)，運(yùn)用領(lǐng)域知識(shí)進(jìn)行分析。其主要特征為：

·推理策略主要是演繹，而非歸納；

·使用過(guò)去的問(wèn)題求解經(jīng)驗(yàn)（實(shí)例）指導(dǎo)新的問(wèn)題求解，或產(chǎn)生能更有效地運(yùn)用領(lǐng)域知識(shí)的搜索控制規(guī)則。

分析學(xué)習(xí)的目標(biāo)是改善系統(tǒng)的性能，而不是新的概念描述。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)、演繹學(xué)習(xí)、多級(jí)結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。

3）類比學(xué)習(xí)

它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。在這一類型的學(xué)習(xí)中比較引人注目的研究是通過(guò)與過(guò)去經(jīng)歷的具體事例作類比來(lái)學(xué)習(xí)，稱為基于范例的學(xué)習(xí)(case_basedlearning)，或簡(jiǎn)稱范例學(xué)習(xí)。

4）遺傳算法（geneticalgorithm）

遺傳算法模擬生物繁殖的突變、交換和達(dá)爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問(wèn)題可能的解編碼為一個(gè)向量，稱為個(gè)體，向量的每一個(gè)元素稱為基因，并利用目標(biāo)函數(shù)（相應(yīng)于自然選擇標(biāo)準(zhǔn)）對(duì)群體（個(gè)體的集合）中的每一個(gè)個(gè)體進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)值（適應(yīng)度）對(duì)個(gè)體進(jìn)行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無(wú)關(guān)數(shù)據(jù)、事物不斷更新、問(wèn)題目標(biāo)不能明顯和精確地定義，以及通過(guò)很長(zhǎng)的執(zhí)行過(guò)程才能確定當(dāng)前行為的價(jià)值等。同神經(jīng)網(wǎng)絡(luò)一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個(gè)獨(dú)立分支，其代表人物為霍勒德（J.H.Holland）。

5）聯(lián)接學(xué)習(xí)

典型的聯(lián)接模型實(shí)現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡(jiǎn)單計(jì)算單元以及單元間的加權(quán)聯(lián)接組成。

6）增強(qiáng)學(xué)習(xí)（reinforcementlearning）

增強(qiáng)學(xué)習(xí)的特點(diǎn)是通過(guò)與環(huán)境的試探性（trialanderror）交互來(lái)確定和優(yōu)化動(dòng)作的選擇，以實(shí)現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，學(xué)習(xí)機(jī)制通過(guò)選擇并執(zhí)行動(dòng)作，導(dǎo)致系統(tǒng)狀態(tài)的變化，并有可能得到某種強(qiáng)化信號(hào)（立即回報(bào)），從而實(shí)現(xiàn)與環(huán)境的交互。強(qiáng)化信號(hào)就是對(duì)系統(tǒng)行為的一種標(biāo)量化的獎(jiǎng)懲。系統(tǒng)學(xué)習(xí)的目標(biāo)是尋找一個(gè)合適的動(dòng)作選擇策略，即在任一給定的狀態(tài)下選擇哪種動(dòng)作的方法，使產(chǎn)生的動(dòng)作序列可獲得某種最優(yōu)的結(jié)果（如累計(jì)立即回報(bào)最大）。

在綜合分類中,經(jīng)驗(yàn)歸納學(xué)習(xí)、遺傳算法、聯(lián)接學(xué)習(xí)和增強(qiáng)學(xué)習(xí)均屬于歸納學(xué)習(xí)，其中經(jīng)驗(yàn)歸納學(xué)習(xí)采用符號(hào)表示方式，而遺傳算法、聯(lián)接學(xué)習(xí)和加強(qiáng)學(xué)習(xí)則采用亞符號(hào)表示方式；分析學(xué)習(xí)屬于演繹學(xué)習(xí)。

實(shí)際上，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學(xué)習(xí)策略只有歸納和演繹。

從學(xué)習(xí)內(nèi)容的角度看，采用歸納策略的學(xué)習(xí)由于是對(duì)輸入進(jìn)行歸納，所學(xué)習(xí)的知識(shí)顯然超過(guò)原有系統(tǒng)知識(shí)庫(kù)所能蘊(yùn)涵的范圍,所學(xué)結(jié)果改變了系統(tǒng)的知識(shí)演繹閉包,因而這種類型的學(xué)習(xí)又可稱為知識(shí)級(jí)學(xué)習(xí);而采用演繹策略的學(xué)習(xí)盡管所學(xué)的知識(shí)能提高系統(tǒng)的效率，但仍能被原有系統(tǒng)的知識(shí)庫(kù)所蘊(yùn)涵,即所學(xué)的知識(shí)未能改變系統(tǒng)的演繹閉包,因而這種類型的學(xué)習(xí)又被稱為符號(hào)級(jí)學(xué)習(xí)。

學(xué)習(xí)形式分類

1）監(jiān)督學(xué)習(xí)(supervisedlearning)

監(jiān)督學(xué)習(xí)，即在機(jī)械學(xué)習(xí)過(guò)程中提供對(duì)錯(cuò)指示。一般實(shí)在是數(shù)據(jù)組中包含最終結(jié)果（0，1）。通過(guò)算法讓機(jī)器自我減少誤差。這一類學(xué)習(xí)主要應(yīng)用于分類和預(yù)測(cè)(regressionclAssify)。監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)新的數(shù)據(jù)到來(lái)時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說(shuō)是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。常見(jiàn)的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。

2）非監(jiān)督學(xué)習(xí)(unsupervisedlearning)

非監(jiān)督學(xué)習(xí)又稱歸納性學(xué)習(xí)（clustering）利用K方式(Kmeans)，建立中心（centriole），通過(guò)循環(huán)和遞減運(yùn)算(iterationdescent)來(lái)減小誤差，達(dá)到分類的目的。

研究領(lǐng)域

機(jī)器學(xué)習(xí)領(lǐng)域的研究工作主要圍繞以下三個(gè)方面進(jìn)行：

（1）面向任務(wù)的研究

研究和分析改進(jìn)一組預(yù)定任務(wù)的執(zhí)行性能的學(xué)習(xí)系統(tǒng)。

（2）認(rèn)知模型

研究人類學(xué)習(xí)過(guò)程并進(jìn)行計(jì)算機(jī)模擬。

（3）理論分析

從理論上探索各種可能的學(xué)習(xí)方法和獨(dú)立于應(yīng)用領(lǐng)域的算法

機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一?，F(xiàn)有的計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)沒(méi)有什么學(xué)習(xí)能力，至多也只有非常有限的學(xué)習(xí)能力，因而不能滿足科技和生產(chǎn)提出的新要求。對(duì)機(jī)器學(xué)習(xí)的討論和機(jī)器學(xué)習(xí)研究的進(jìn)展，必將促使人工智能和整個(gè)科學(xué)技術(shù)的進(jìn)一步發(fā)展。