循環(huán)神經網絡(如何有效的區(qū)分和理解RNN循環(huán)神經網絡與遞歸神經網絡)
1.如何有效的區(qū)分和理解RNN循環(huán)神經網絡與遞歸神經網絡
recurrent： 時間維度的展開，代表信息在時間維度從前往后的的傳遞和積累，可以類比markov假設，后面的信息的概率建立在前面信息的基礎上，在神經網絡結構上表現為后面的神經網絡的隱藏層的輸入是前面的神經網絡的隱藏層的輸出；recursive： 空間維度的展開，是一個樹結構，比如nlp里某句話，用recurrent neural network來建模的話就是假設句子后面的詞的信息和前面的詞有關，而用recurxive neural network來建模的話，就是假設句子是一個樹狀結構，由幾個部分（主語，謂語，賓語）組成，而每個部分又可以在分成幾個小部分，即某一部分的信息由它的子樹的信息組合而來，整句話的信息由組成這句話的幾個部分組合而來。
2.神經網絡（深度學習）的幾個基礎概念
從廣義上說深度學習的網絡結構也是多層神經網絡的一種。
傳統(tǒng)意義上的多層神經網絡是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。
而深度學習中最著名的卷積神經網絡CNN，在原來多層神經網絡的基礎上，加入了特征學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。
輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- 。. -- 隱藏層 -輸出層簡單來說，原來多層神經網絡做的步驟是：特征映射到值。
特征是人工挑選。深度學習做的步驟是 信號->特征->值。
特征是由網絡自己選擇。
3.自學bp神經網絡要有什么基礎
簡介：BP(Back Propagation)網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W絡，是目前應用最廣泛的神經網絡模型之一。
BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。
BP神經網絡模型拓撲結構包括輸入層（input）、隱層（hide layer）和輸出層（output layer） 摘 要：BP神經網絡算法是在BP神經網絡現有算法的基礎上提出的，是通過任意選定一組權值，將給定的目標輸出直接作為線性方程的代數和來建立線性方程組，解得待求權，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問題，且更易理解。 關鍵詞：固定權值；gauss消元法；BP算法 人工神經網絡（artificial neural networks,ANN）系統(tǒng)是20世紀40年代后出現的，它是由眾多的神經元可調的連接權值連接而成，具有大規(guī)模并行處理、分布式信息存儲、良好的自組織自學習能力等特點，在信息處理、模式識別、智能控制及系統(tǒng)建模等領域得到越來越廣泛的應用。
尤其誤差反向傳播算法（Error Back-propagation Training，簡稱BP網絡）可以逼近任意連續(xù)函數，具有很強的非線性映射能力，而且網絡的中間層數、各層的處理單元數及網絡的學習系數等參數可根據具體情況設定，靈活性很大，所以它在許多應用領域中起到重要作用。近年來，為了解決BP神經網絡收斂速度慢、不能保證收斂到全局最小點，網絡的中間層及它的單元數選取無理論指導及網絡學習和記憶的不穩(wěn)定性等缺陷，提出了許多改進算法。
1 傳統(tǒng)的BP算法簡述 BP算法是一種有監(jiān)督式的學習算法，其主要思想是：輸入學習樣本，使用反向傳播算法對網絡的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網絡輸出層的誤差平方和小于指定的誤差時訓練完成，保存網絡的權值和偏差。具體步驟如下： （1）初始化，隨機給定各連接權[w],[v]及閥值θi,rt。
(2)由給定的輸入輸出模式對計算隱層、輸出層各單元輸出 bj=f（■wijai-θj） ct=f（■vjtbj-rt） 式中：bj為隱層第j個神經元實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權。 dtk=(ytk-ct)ct(1-ct) ejk=[■dtvjt] bj(1-bj) 式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。
（3）計算新的連接權及閥值，計算公式如下： vjt(n+1)=vjt(n)+琢dtkbj wij(n+1)=wij(n)+茁ejkaik rt(n+1)=rt(n)+琢dtk θj(n+1)=θj(n)+茁ejk 式中：琢，茁為學習系數（0。
4.神經網絡具體是指什么
神經網絡是利用大量的神經元按一定的拓撲結構和學習調整方法。
它能表示出豐富的特性：并行計算、分布存儲、可變結構、高度容錯、非線性運算、自我組織、學習或自學習等。這些特性是人們長期追求和期望的系統(tǒng)特性。
它在智能控制的參數、結構或環(huán)境的自適應、自組織、自學習等控制方面具有獨特的能力。 神經網絡可以和模糊邏輯一樣適用于任意復雜對象的控制，但它與模糊邏輯不同的是擅長單輸入多輸出系統(tǒng)和多輸入多輸出系統(tǒng)的多變量控制。
在模糊邏輯表示的SIMO系統(tǒng)和MIMO系統(tǒng)中，其模糊推理、解模糊過程以及學習控制等功能常用神經網絡來實現。模糊神經網絡技術和神經模糊邏輯技術：模糊邏輯和神經網絡作為智能控制的主要技術已被廣泛應用。
兩者既有相同性又有不同性。其相同性為：兩者都可作為萬能逼近器解決非線性問題，并且兩者都可以應用到控制器設計中。
不同的是：模糊邏輯可以利用語言信息描述系統(tǒng)，而神經網絡則不行；模糊邏輯應用到控制器設計中，其參數定義有明確的物理意義，因而可提出有效的初始參數選擇方法；神經網絡的初始參數（如權值等）只能隨機選擇。 但在學習方式下，神經網絡經過各種訓練，其參數設置可以達到滿足控制所需的行為。
模糊邏輯和神經網絡都是模仿人類大腦的運行機制，可以認為神經網絡技術模仿人類大腦的硬件，模糊邏輯技術模仿人類大腦的軟件。根據模糊邏輯和神經網絡的各自特點，所結合的技術即為模糊神經網絡技術和神經模糊邏輯技術。
模糊邏輯、神經網絡和它們混合技術適用于各種學習方式智能控制的相關技術與控制方式結合或綜合交叉結合，構成風格和功能各異的智能控制系統(tǒng)和智能控制器是智能控制技術方法的一個主要特點.智能控制模糊控制系統(tǒng)所謂模糊控制，就是在被控制對象的模糊模型的基礎上，運用模糊控制器近似推理手段，實現系統(tǒng)控制的一種方法。 模糊模型是用模糊語言和規(guī)則描述的一個系統(tǒng)的動態(tài)特性及性能指標。
模糊控制的基本思想是用機器去模擬人對系統(tǒng)的控制。它是受這樣事實而啟發(fā)的：對于用傳統(tǒng)控制理論無法進行分析和控制的復雜的和無法建立數學模型的系統(tǒng)，有經驗的操作者或專家卻能取得比較好的控制效果，這是因為他們擁有日積月累的豐富經驗，因此人們希望把這種經驗指導下的行為過程總結成一些規(guī)則，并根據這些規(guī)則設計出控制器。
然后運用模糊理論，模糊語言變量和模糊邏輯推理的知識，把這些模糊的語言上升為數值運算，從而能夠利用計算機來完成對這些規(guī)則的具體實現，達到以機器代替人對某些對象進行自動控制的目的。
