人工神經(jīng)網(wǎng)路基本內(nèi)容

時間：2023-02-21 09:12:01 | 來源：營銷百科

時間：2023-02-21 09:12:01 來源：營銷百科

人工神經(jīng)網(wǎng)路基本內(nèi)容：人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks, nANN），一種模范動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法n數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過預(yù)先提供的一批相互對應(yīng)的輸入－輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果，這種學(xué)習(xí)分析的過程被稱為'訓(xùn)練'。（引自《n環(huán)球科學(xué)》2007年第一期《神經(jīng)語言：老鼠胡須下的秘密》）
　　概念
　　由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進行信息處理。
　　人工神經(jīng)網(wǎng)絡(luò)具有四個基本特征：
　?。?）非線性 非線性關(guān)系是自然界的普遍特性。大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高n容錯性和存儲容量。
　?。?）非局限性 一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛連接而成。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的n相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯(lián)想記憶是非局限性的典型例子。
　?。?）非常定性 人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織、自學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時，非線性n動力系統(tǒng)本身也在不斷變化。經(jīng)常采用n迭代過程描寫動力系統(tǒng)的演化過程。
　　（4）非凸性 一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的n狀態(tài)函數(shù)。例如能量函數(shù)，它的n極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的n平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。
　　人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理，其本質(zhì)是通過網(wǎng)絡(luò)的變換和動力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學(xué)、n思維科學(xué)、人工智能、n計算機科學(xué)等多個領(lǐng)域的n交叉學(xué)科。
　　人工神經(jīng)網(wǎng)絡(luò)是并行n分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結(jié)構(gòu)化信息方面的缺陷，具有自適應(yīng)、自組織和實時學(xué)習(xí)的特點。
　　歷史沿革
　　1943年，心理學(xué)家W.S.McCulloch和n數(shù)理邏輯學(xué)家W.Pitts建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為MP模型。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時代。1949年，心理學(xué)家提出了突觸聯(lián)系強度可變的設(shè)想。60年代，人工神經(jīng)網(wǎng)絡(luò)的到了進一步發(fā)展，更完善的神經(jīng)網(wǎng)絡(luò)模型被提出，其中包括n感知器和自適應(yīng)線性元件等。M.Minsky等仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經(jīng)網(wǎng)絡(luò)的研究，加之當(dāng)時串行計算機和人工智能所取得的成就，掩蓋了發(fā)展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。在此期間，一些人工神經(jīng)網(wǎng)絡(luò)的研究者仍然致力于這一研究，提出了適應(yīng)n諧振理論（ART網(wǎng)）、自組織映射、認(rèn)知機網(wǎng)絡(luò)，同時進行了神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究。以上研究為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。1982年，美國加州工學(xué)院物理學(xué)家J.J.Hopfield提出了Hopfield神經(jīng)網(wǎng)格模型，引入了'計算能量'概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。 1984年，他又提出了連續(xù)時間Hopfield神經(jīng)網(wǎng)絡(luò)模型，為n神經(jīng)計算機的研究做了開拓性的工作，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的新途徑，有力地推動了神經(jīng)網(wǎng)絡(luò)的研究，1985年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計熱力學(xué)n模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點。1986年進行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論。人工神經(jīng)網(wǎng)絡(luò)的研究受到了各個發(fā)達(dá)國家的重視，n美國國會通過決議將1990年1月5日開始的十年定為'腦的十年'，國際研究組織號召它的成員國將'腦的十年'變?yōu)槿蛐袨?。在日本?真實世界計算（RWC）'項目中，人工智能的研究成了一個重要的組成部分。
　　基本內(nèi)容
　　人工神經(jīng)網(wǎng)絡(luò)模型主要考慮網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元的特征、學(xué)習(xí)規(guī)則等。目前，已有近40種神經(jīng)網(wǎng)絡(luò)模型，其中有反傳網(wǎng)絡(luò)、感知器、自組織映射、Hopfield網(wǎng)絡(luò)、波耳茲曼機、適應(yīng)諧振理論等。根據(jù)連接的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)模型可以分為：
　?。?）前向網(wǎng)絡(luò) 網(wǎng)絡(luò)中各個神經(jīng)元接受前一級的輸入，并輸出到下一級，網(wǎng)絡(luò)中沒有反饋，可以用一個有向無環(huán)路圖表示。這種網(wǎng)絡(luò)實現(xiàn)信號從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數(shù)的多次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡單，易于實現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。
　?。?）反饋網(wǎng)絡(luò) 網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個無向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用動力學(xué)系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。Hopfield網(wǎng)絡(luò)、波耳茲曼機均屬于這種類型。
　　學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個重要內(nèi)容，它的適應(yīng)性是通過學(xué)習(xí)實現(xiàn)的。根據(jù)環(huán)境的變化，對權(quán)值進行調(diào)整，改善系統(tǒng)的行為。由Hebb提出的Hebb學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。Hebb規(guī)則認(rèn)為學(xué)習(xí)過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強度隨著突觸前后神經(jīng)元的活動而變化。在此基礎(chǔ)上，人們提出了各種學(xué)習(xí)規(guī)則和算法，以適應(yīng)不同網(wǎng)絡(luò)模型的需要。有效的學(xué)習(xí)算法，使得神經(jīng)網(wǎng)絡(luò)能夠通過連接權(quán)值的調(diào)整，構(gòu)造客觀世界的內(nèi)在表示，形成具有特色的信息處理方法，信息存儲和處理體現(xiàn)在網(wǎng)絡(luò)的連接中。
　　根據(jù)n學(xué)習(xí)環(huán)境不同，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，將訓(xùn)練樣本的數(shù)據(jù)加到網(wǎng)絡(luò)輸入端，同時將相應(yīng)的期望輸出與網(wǎng)絡(luò)輸出相比較，得到誤差信號，以此控制權(quán)值連接強度的調(diào)整，經(jīng)多次訓(xùn)練后收斂到一個確定的權(quán)值。當(dāng)樣本情況發(fā)生變化時，經(jīng)學(xué)習(xí)可以修改權(quán)值以適應(yīng)新的環(huán)境。使用監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型有反傳網(wǎng)絡(luò)、感知器等。非監(jiān)督學(xué)習(xí)時，事先不給定標(biāo)準(zhǔn)樣本，直接將網(wǎng)絡(luò)置于環(huán)境之中，學(xué)習(xí)階段與工作階段成為一體。此時，學(xué)習(xí)規(guī)律的變化服從連接權(quán)值的演變方程。非監(jiān)督學(xué)習(xí)最簡單的例子是Hebb學(xué)習(xí)規(guī)則。競爭學(xué)習(xí)規(guī)則是一個更復(fù)雜的非監(jiān)督學(xué)習(xí)的例子，它是根據(jù)已建立的聚類進行權(quán)值調(diào)整。自組織映射、適應(yīng)諧振理論網(wǎng)絡(luò)等都是與競爭學(xué)習(xí)有關(guān)的典型模型。
　　研究神經(jīng)網(wǎng)絡(luò)的n非線性動力學(xué)性質(zhì)，主要采用動力學(xué)系統(tǒng)理論、n非線性規(guī)劃理論和統(tǒng)計理論，來分析神經(jīng)網(wǎng)絡(luò)的演化過程和吸引子的性質(zhì)，探索神經(jīng)網(wǎng)絡(luò)的協(xié)同行為和集體計算功能，了解神經(jīng)信息處理機制。為了探討神經(jīng)網(wǎng)絡(luò)在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發(fā)揮作用?；煦缡且粋€相當(dāng)難以精確定義的數(shù)學(xué)概念。一般而言，'混沌'是指由確定性方程描述的動力學(xué)系統(tǒng)中表現(xiàn)出的非確定性行為，或稱之為確定的隨機性。'確定性'是因為它由內(nèi)在的原因而不是外來的噪聲或干擾所產(chǎn)生，而'隨機性'是指其不規(guī)則的、不能預(yù)測的行為，只可能用統(tǒng)計的方法描述。混沌動力學(xué)系統(tǒng)的主要特征是其狀態(tài)對初始條件的靈敏依賴性，混沌反映其內(nèi)在的隨機性。混沌理論是指描述具有混沌行為的非線性動力學(xué)系統(tǒng)的基本理論、概念、方法，它把動力學(xué)系統(tǒng)的復(fù)雜行為理解為其自身與其在同外界進行物質(zhì)、能量和信息交換過程中內(nèi)在的有結(jié)構(gòu)的行為，而不是外來的和偶然的行為，混沌狀態(tài)是一種定態(tài)。混沌動力學(xué)系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、n準(zhǔn)同期性和混沌解。混沌軌線是整體上穩(wěn)定與局部不穩(wěn)定相結(jié)合的結(jié)果，稱之為奇異吸引子。一個奇異吸引子有如下一些特征：（1）奇異吸引子是一個吸引子，但它既不是n不動點，也不是周期解；（2）奇異吸引子是不可分割的，即不能分為兩個以及兩個以上的吸引子；（3）它對初始值十分敏感，不同的初始值會導(dǎo)致極不相同的行為。
　　發(fā)展趨勢
　　人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、n語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)n專家系統(tǒng)、n模式識別、n智能控制、n組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認(rèn)知的道路上更加深入發(fā)展，與模糊系統(tǒng)、n遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應(yīng)用中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。