循環(huán)神經(jīng)網(wǎng)絡(luò)(如何有效的區(qū)分和理解RNN循環(huán)神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò))

1.如何有效的區(qū)分和理解RNN循環(huán)神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)

recurrent： 時(shí)間維度的展開，代表信息在時(shí)間維度從前往后的的傳遞和積累，可以類比markov假設(shè)，后面的信息的概率建立在前面信息的基礎(chǔ)上，在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上表現(xiàn)為后面的神經(jīng)網(wǎng)絡(luò)的隱藏層的輸入是前面的神經(jīng)網(wǎng)絡(luò)的隱藏層的輸出；recursive： 空間維度的展開，是一個(gè)樹結(jié)構(gòu)，比如nlp里某句話，用recurrent neural network來建模的話就是假設(shè)句子后面的詞的信息和前面的詞有關(guān)，而用recurxive neural network來建模的話，就是假設(shè)句子是一個(gè)樹狀結(jié)構(gòu)，由幾個(gè)部分（主語，謂語，賓語）組成，而每個(gè)部分又可以在分成幾個(gè)小部分，即某一部分的信息由它的子樹的信息組合而來，整句話的信息由組成這句話的幾個(gè)部分組合而來。

2.神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）的幾個(gè)基礎(chǔ)概念

從廣義上說深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)也是多層神經(jīng)網(wǎng)絡(luò)的一種。

傳統(tǒng)意義上的多層神經(jīng)網(wǎng)絡(luò)是只有輸入層、隱藏層、輸出層。其中隱藏層的層數(shù)根據(jù)需要而定，沒有明確的理論推導(dǎo)來說明到底多少層合適。

而深度學(xué)習(xí)中最著名的卷積神經(jīng)網(wǎng)絡(luò)CNN，在原來多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了特征學(xué)習(xí)部分，這部分是模仿人腦對信號(hào)處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個(gè)層級。

輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- 。. -- 隱藏層 -輸出層簡單來說，原來多層神經(jīng)網(wǎng)絡(luò)做的步驟是：特征映射到值。

特征是人工挑選。深度學(xué)習(xí)做的步驟是 信號(hào)->特征->值。

特征是由網(wǎng)絡(luò)自己選擇。

3.自學(xué)bp神經(jīng)網(wǎng)絡(luò)要有什么基礎(chǔ)

簡介：BP(Back Propagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。

BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。

BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層（hide layer）和輸出層（output layer） 摘 要：BP神經(jīng)網(wǎng)絡(luò)算法是在BP神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的，是通過任意選定一組權(quán)值，將給定的目標(biāo)輸出直接作為線性方程的代數(shù)和來建立線性方程組，解得待求權(quán)，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問題，且更易理解。 關(guān)鍵詞：固定權(quán)值；gauss消元法；BP算法 人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks,ANN）系統(tǒng)是20世紀(jì)40年代后出現(xiàn)的，它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)，在信息處理、模式識(shí)別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來越廣泛的應(yīng)用。

尤其誤差反向傳播算法（Error Back-propagation Training，簡稱BP網(wǎng)絡(luò)）可以逼近任意連續(xù)函數(shù)，具有很強(qiáng)的非線性映射能力，而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，所以它在許多應(yīng)用領(lǐng)域中起到重要作用。近年來，為了解決BP神經(jīng)網(wǎng)絡(luò)收斂速度慢、不能保證收斂到全局最小點(diǎn)，網(wǎng)絡(luò)的中間層及它的單元數(shù)選取無理論指導(dǎo)及網(wǎng)絡(luò)學(xué)習(xí)和記憶的不穩(wěn)定性等缺陷，提出了許多改進(jìn)算法。

1 傳統(tǒng)的BP算法簡述 BP算法是一種有監(jiān)督式的學(xué)習(xí)算法，其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行反復(fù)的調(diào)整訓(xùn)練，使輸出的向量與期望向量盡可能地接近，當(dāng)網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時(shí)訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。具體步驟如下： （1）初始化，隨機(jī)給定各連接權(quán)[w],[v]及閥值θi,rt。

(2)由給定的輸入輸出模式對計(jì)算隱層、輸出層各單元輸出 bj=f（■wijai-θj） ct=f（■vjtbj-rt） 式中：bj為隱層第j個(gè)神經(jīng)元實(shí)際輸出；ct為輸出層第t個(gè)神經(jīng)元的實(shí)際輸出；wij為輸入層至隱層的連接權(quán)；vjt為隱層至輸出層的連接權(quán)。 dtk=(ytk-ct)ct(1-ct) ejk=[■dtvjt] bj(1-bj) 式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。

（3）計(jì)算新的連接權(quán)及閥值，計(jì)算公式如下： vjt(n+1)=vjt(n)+琢dtkbj wij(n+1)=wij(n)+茁ejkaik rt(n+1)=rt(n)+琢dtk θj(n+1)=θj(n)+茁ejk 式中：琢，茁為學(xué)習(xí)系數(shù)（0。

4.神經(jīng)網(wǎng)絡(luò)具體是指什么

神經(jīng)網(wǎng)絡(luò)是利用大量的神經(jīng)元按一定的拓?fù)浣Y(jié)構(gòu)和學(xué)習(xí)調(diào)整方法。

它能表示出豐富的特性：并行計(jì)算、分布存儲(chǔ)、可變結(jié)構(gòu)、高度容錯(cuò)、非線性運(yùn)算、自我組織、學(xué)習(xí)或自學(xué)習(xí)等。這些特性是人們長期追求和期望的系統(tǒng)特性。

它在智能控制的參數(shù)、結(jié)構(gòu)或環(huán)境的自適應(yīng)、自組織、自學(xué)習(xí)等控制方面具有獨(dú)特的能力。 神經(jīng)網(wǎng)絡(luò)可以和模糊邏輯一樣適用于任意復(fù)雜對象的控制，但它與模糊邏輯不同的是擅長單輸入多輸出系統(tǒng)和多輸入多輸出系統(tǒng)的多變量控制。

在模糊邏輯表示的SIMO系統(tǒng)和MIMO系統(tǒng)中，其模糊推理、解模糊過程以及學(xué)習(xí)控制等功能常用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)。模糊神經(jīng)網(wǎng)絡(luò)技術(shù)和神經(jīng)模糊邏輯技術(shù)：模糊邏輯和神經(jīng)網(wǎng)絡(luò)作為智能控制的主要技術(shù)已被廣泛應(yīng)用。

兩者既有相同性又有不同性。其相同性為：兩者都可作為萬能逼近器解決非線性問題，并且兩者都可以應(yīng)用到控制器設(shè)計(jì)中。

不同的是：模糊邏輯可以利用語言信息描述系統(tǒng)，而神經(jīng)網(wǎng)絡(luò)則不行；模糊邏輯應(yīng)用到控制器設(shè)計(jì)中，其參數(shù)定義有明確的物理意義，因而可提出有效的初始參數(shù)選擇方法；神經(jīng)網(wǎng)絡(luò)的初始參數(shù)（如權(quán)值等）只能隨機(jī)選擇。 但在學(xué)習(xí)方式下，神經(jīng)網(wǎng)絡(luò)經(jīng)過各種訓(xùn)練，其參數(shù)設(shè)置可以達(dá)到滿足控制所需的行為。

模糊邏輯和神經(jīng)網(wǎng)絡(luò)都是模仿人類大腦的運(yùn)行機(jī)制，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)技術(shù)模仿人類大腦的硬件，模糊邏輯技術(shù)模仿人類大腦的軟件。根據(jù)模糊邏輯和神經(jīng)網(wǎng)絡(luò)的各自特點(diǎn)，所結(jié)合的技術(shù)即為模糊神經(jīng)網(wǎng)絡(luò)技術(shù)和神經(jīng)模糊邏輯技術(shù)。

模糊邏輯、神經(jīng)網(wǎng)絡(luò)和它們混合技術(shù)適用于各種學(xué)習(xí)方式智能控制的相關(guān)技術(shù)與控制方式結(jié)合或綜合交叉結(jié)合，構(gòu)成風(fēng)格和功能各異的智能控制系統(tǒng)和智能控制器是智能控制技術(shù)方法的一個(gè)主要特點(diǎn).智能控制模糊控制系統(tǒng)所謂模糊控制，就是在被控制對象的模糊模型的基礎(chǔ)上，運(yùn)用模糊控制器近似推理手段，實(shí)現(xiàn)系統(tǒng)控制的一種方法。 模糊模型是用模糊語言和規(guī)則描述的一個(gè)系統(tǒng)的動(dòng)態(tài)特性及性能指標(biāo)。

模糊控制的基本思想是用機(jī)器去模擬人對系統(tǒng)的控制。它是受這樣事實(shí)而啟發(fā)的：對于用傳統(tǒng)控制理論無法進(jìn)行分析和控制的復(fù)雜的和無法建立數(shù)學(xué)模型的系統(tǒng)，有經(jīng)驗(yàn)的操作者或?qū)＜覅s能取得比較好的控制效果，這是因?yàn)樗麄儞碛腥辗e月累的豐富經(jīng)驗(yàn)，因此人們希望把這種經(jīng)驗(yàn)指導(dǎo)下的行為過程總結(jié)成一些規(guī)則，并根據(jù)這些規(guī)則設(shè)計(jì)出控制器。

然后運(yùn)用模糊理論，模糊語言變量和模糊邏輯推理的知識(shí)，把這些模糊的語言上升為數(shù)值運(yùn)算，從而能夠利用計(jì)算機(jī)來完成對這些規(guī)則的具體實(shí)現(xiàn)，達(dá)到以機(jī)器代替人對某些對象進(jìn)行自動(dòng)控制的目的。