神經網絡架構有幾種（神經網絡的架構）
本篇文章給大家談談神經網絡架構有幾種，以及神經網絡的架構對應的知識點，希望對各位有所幫助，不要忘了收藏本站喔。
本文目錄一覽：
幾種常見的循環神經網絡結構RNN、LSTM、GRU
傳統文本處理任務的方法中一般將TF-IDF向量作為特征輸入。顯而易見，這樣的表示實際上丟失了輸入的文本序列中每個單詞的順序。在神經網絡的建模過程中，一般的前饋神經網絡，如卷積神經網絡，通常接受一個定長的向量作為輸入。卷積神經網絡對文本數據建模時，輸入變長的字符串或者單詞串，然后通過滑動窗口加池化的方式將原先的輸入轉換成一個固定長度的向量表示，這樣做可以捕捉到原文本中的一些局部特征，但是兩個單詞之間的長距離依賴關系還是很難被學習到。
循環神經網絡卻能很好地處理文本數據變長并且有序的輸入序列。它模擬了人閱讀一篇文章的順序，從前到后閱讀文章中的每一個單詞，將前面閱讀到的有用信息編碼到狀態變量中去，從而擁有了一定的記憶能力，可以更好地理解之后的文本。
其網絡結構如下圖所示：
由圖可見，t是時刻，x是輸入層，s是隱藏層，o是輸出層，矩陣W就是隱藏層上一次的值作為這一次的輸入的權重。
如果反復把式 2 帶入到式 1，將得到：
其中f和g為激活函數，U為輸入層到隱含層的權重矩陣，W為隱含層從上一時刻到下一時刻狀態轉移的權重矩陣。在文本分類任務中，f可以選取Tanh函數或者ReLU函數，g可以采用Softmax函數。
通過最小化損失誤差（即輸出的y與真實類別之間的距離），我們可以不斷訓練網絡，使得得到的循環神經網絡可以準確地預測文本所屬的類別，達到分類目的。相比于卷積神經網絡等前饋神經網絡，循環神經網絡由于具備對序列順序信息的刻畫能力，往往能得到更準確的結果。
RNN的訓練算法為：BPTT
BPTT的基本原理和BP算法是一樣的，同樣是三步：
1.前向計算每個神經元的輸出值；
2.反向計算每個神經元的誤差項值，它是誤差函數E對神經元j的加權輸入的偏導數；
3.計算每個權重的梯度。
最后再用隨機梯度下降算法更新權重。
具體參考：
最后由鏈式法則得到下面以雅可比矩陣來表達的每個權重的梯度:
由于預測的誤差是沿著神經網絡的每一層反向傳播的，因此當雅克比矩陣的最大特征值大于1時，隨著離輸出越來越遠，每層的梯度大小會呈指數增長，導致梯度爆炸；反之，若雅克比矩陣的最大特征值小于1，梯度的大小會呈指數縮小，產生梯度消失。對于普通的前饋網絡來說，梯度消失意味著無法通過加深網絡層次來改善神經網絡的預測效果，因為無論如何加深網絡，只有靠近輸出的若干層才真正起到學習的作用。 這使得循環神經網絡模型很難學習到輸入序列中的長距離依賴關系 。
關于RNN梯度下降的詳細推導可以參考:
梯度爆炸的問題可以通過梯度裁剪來緩解，即當梯度的范式大于某個給定值時，對梯度進行等比收縮。而梯度消失問題相對比較棘手，需要對模型本身進行改進。深度殘差網絡是對前饋神經網絡的改進，通過殘差學習的方式緩解了梯度消失的現象，從而使得我們能夠學習到更深層的網絡表示；而對于循環神經網絡來說，長短時記憶模型及其變種門控循環單元等模型通過加入門控機制，很大程度上彌補了梯度消失所帶來的損失。
LSTM的網絡機構圖如下所示：
與傳統的循環神經網絡相比，LSTM仍然是基于xt和ht?1來計算ht，只不過對內部的結構進行了更加精心的設計，加入了輸入門it 、遺忘門ft以及輸出門ot三個門和一個內部記憶單元ct。輸入門控制當前計算的新狀態以多大程度更新到記憶單元中；遺忘門控制前一步記憶單元中的信息有多大程度被遺忘掉；輸出門控制當前的輸出有多大程度上取決于當前的記憶單元。
在經典的LSTM模型中，第t層的更新計算公式為
其中it是通過輸入xt和上一步的隱含層輸出ht?1進行線性變換，再經過激活函數σ得到的。輸入門it的結果是向量，其中每個元素是0到1之間的實數，用于控制各維度流過閥門的信息量；Wi 、Ui兩個矩陣和向量bi為輸入門的參數，是在訓練過程中需要學習得到的。遺忘門ft和輸出門ot的計算方式與輸入門類似，它們有各自的參數W、U和b。與傳統的循環神經網絡不同的是，從上一個記憶單元的狀態ct?1到當前的狀態ct的轉移不一定完全取決于激活函數計算得到的狀態，還由輸入門和遺忘門來共同控制。
在一個訓練好的網絡中，當輸入的序列中沒有重要信息時，LSTM的遺忘門的值接近于1，輸入門的值接近于0，此時過去的記憶會被保存，從而實現了長期記憶功能；當輸入的序列中出現了重要的信息時，LSTM應當把其存入記憶中，此時其輸入門的值會接近于1；當輸入的序列中出現了重要信息，且該信息意味著之前的記憶不再重要時，輸入門的值接近1，而遺忘門的值接近于0，這樣舊的記憶被遺忘，新的重要信息被記憶。經過這樣的設計，整個網絡更容易學習到序列之間的長期依賴。
GRU是在LSTM上進行簡化而得到的，GRU的網絡結構如下所示：
Zt代表更新門，更新門的作用類似于LSTM中的遺忘門和輸入門，它能決定要丟棄哪些信息和要添加哪些新信息。
Rt代表重置門，重置門用于決定丟棄先前信息的程度。
要注意的是，h只是一個變量，因此在每個時刻，包括最后的線性組合，h都是在用以前的自己和當前的備選答案更新自己。舉例來說，這一個變量好比一杯酒，每次我們要把一部分酒倒出去，并把倒出去的酒和新加入的原料混合，然后在倒回來，這里的reset控制的就是要倒出去的，并且混合好之后再倒回來的酒的比例，而update控制的則是用多大的比例混合新原料和倒出來的之前調制好的酒。同理，也可以以此理解LSTM，LSTM的遺忘門功能上和reset相似，而輸入門與update相似，不同之處在于LSTM還控制了當前狀態的exposure，也就是輸出門的功能，這是GRU所沒有的。
1.百面機器學習
2.
3.
人工神經網絡分層結構包括
品牌型號：華為MateBook D15
系統：Windows 11
人工神經網絡分層結構包括神經元、層和網絡三個部分。
1、神經元是人工神經網絡最基本的單元。單元以層的方式組，每一層的每個神經元和前一層、后一層的神經元連接，共分為輸入層、輸出層和隱藏層，三層連接形成一個神經網絡。
2、輸入層只從外部環境接收信息，是由輸入單元組成，而這些輸入單元可接收樣本中各種不同的特征信息。該層的每個神經元相當于自變量，不完成任何計算，只為下一層傳遞信息；隱藏層介于輸入層和輸出層之間，這些層完全用于分析，其函數聯系輸入層變量和輸出層變量，使其更配適數據。而最后，輸出層生成最終結果，每個輸出單元會對應到某一種特定的分類，為網絡送給外部系統的結果值，，整個網絡由調整鏈接強度的程序來達成學習的目的。
3、神經網絡是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。
簡述人工神經網絡的結構形式
神經網絡有多種分類方式，例如，按網絡性能可分為連續型與離散型網絡，確定型與隨機型網絡:按網絡拓撲結構可分為前向神經網絡與反饋神經網絡。本章土要簡介前向神經網絡、反饋神經網絡和自組織特征映射神經網絡。
前向神經網絡是數據挖掘中廣為應用的一種網絡，其原理或算法也是很多神經網絡模型的基礎。徑向基函數神經網絡就是一種前向型神經網絡。
Hopfield神經網絡是反饋網絡的代表。Hvpfi}ld網絡的原型是一個非線性動力學系統，目前，已經在聯想記憶和優化計算中得到成功應用。
模擬退火算法是為解決優化計算中局部極小問題提出的。Baltzmann機是具有隨機輸出值單元的隨機神經網絡，串行的Baltzmann機可以看作是對二次組合優化問題的模擬退火算法的具體實現，同時它還可以模擬外界的概率分布，實現概率意義上的聯想記憶。
自組織競爭型神經網絡的特點是能識別環境的特征并自動聚類。自組織竟爭型神經網絡已成功應用于特征抽取和大規模數據處理。
(七)神經網絡基本結構
目前為止，我們已經學習了2個機器學習模型。線性回歸一般用來處理線性問題，邏輯回歸用來處理2分類問題。雖然邏輯回歸也可以處理非線性的分類問題，但是當我們有非常多的特征時，例如大于100個變量，將會有數量非常驚人的特征組合。這對于一般的邏輯回歸來說需要計算的特征太多了，負荷太大。而神經網絡既可以解決復雜的非線性分類問題，又可以避免龐大的計算量。
人工神經網絡是由很多神經元（激活單元）構成的，神經元是神經網絡的基本元素。
實際上，可以這樣理解神經元工作過程，當將輸入送進神經元后，神經元將輸入與權值線性組合（實際上就是θ T X）輸出一個線性表達式，再將這個表達式送入激活函數中，便得到了神經元的真實輸出。
神經網絡由好多個激活單元構成，如下圖所示：
激活函數的選擇是構建神經網絡過程中的重要環節，下面簡要介紹常用的激活函數。
(1) 線性函數( Liner Function )
(2) 斜面函數( Ramp Function )**
(3) 閾值函數( Threshold Function )**
以上3個激活函數都屬于線性函數，下面介紹兩個常用的非線性激活函數。
(4) S形函數( Sigmoid Function )
S形函數與雙極S形函數的圖像如下：
雙極S形函數與S形函數主要區別在于函數的值域，雙極S形函數值域是(-1,1)，而S形函數值域是(0,1)。由于S形函數與雙極S形函數都是 可導的 (導函數是連續函數)，因此適合用在BP神經網絡中。（BP算法要求激活函數可導）
人工神經網絡中，最常用的激活函數就是sigmoid函數
神經網絡是由大量的神經元互聯而構成的網絡。根據網絡中神經元的互聯方式，常見網絡結構主要可以分為下面3類：
前饋網絡也稱前向網絡，是最常見的神經網絡，前文提到的都是前饋網絡。稱之為前饋是因為它在輸出和模型本身之間沒有反饋，數據只能向前傳送，直到到達輸出層，層間沒有向后的反饋信號。
反饋型神經網絡是一種從輸出到輸入具有反饋連接的神經網絡，其結構比前饋網絡要復雜得多。
自組織神經網絡是一種無監督學習網絡。它通過自動尋找樣本中的內在規律和本質屬性，自組織、自適應地改變網絡參數與結構。
關于神經網絡架構有幾種和神經網絡的架構的介紹到此就結束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關注本站。
