Transformer模型結構分析

如果你對該問題感興趣的話，推薦你看看《AI大語言模型的原理、演進及算力測算專題報告》這篇報告，下面是部分摘錄的內容，具體請以原報告為準。

1.Transformer模型以Encoder-Decoder架構為基礎

《Attention is all your need》 by OpenAI 。作為與傳統的CNN、RNN不同的深度學習模型架構，Transformer模型最初是被用于基于 上下文的機器翻譯模型。由于Transformer模型非串行結構，能夠并行處理整個序列；同 時引入“注意機制”（attention），能夠在文本序列中正向和反向地跟蹤單詞之間的關 系，適合在大規模分布式集群中進行訓練。 Transformer以Encoder-Decoder架構為基礎。其中，編碼組件由多層編碼器（Encoder） 組成。解碼組件也是由相同層數的解碼器（Decoder）組成。Encoder用于提取源端語言 的語義特征，而用Decoder提取目標端語言的語義特征，并生成相對應的譯文。 Transformer模型具有能夠并行運算、關注上下文信息、表達能力強等優勢。

2.Transformer模型結構分析

詞嵌入（Embedding）

詞嵌入是NLP最基礎的概念之一，表示來自詞匯表的單詞或者短語被映射成實數向量。最早的詞嵌入模型是word2vec等神經網絡模型， 屬于靜態詞嵌入（不關注上下文）。例如大模型誕生前常用的RNN模型所用的輸入便是預訓練好的詞嵌入。詞向量能夠將語義信息與空間 向量關聯起來（例如經典的詞類比例子：king、queen、man、woman對應詞向量的關系）。詞嵌入產生要素及步驟： Vocabulary：所有的token組成集合。詞向量表：token與詞向量的一一對應關系。詞向量可以由預訓練產生，也可以是模型參數。 查表：輸入的token都對應一個固定維度的浮點數向量（詞嵌入向量）。 位置編碼：表示序列中詞的順序，具體方法為為每個輸入的詞添加一個位置向量。 根據位置編碼對應計算公式，pos表示位置，i表示維度。位置編碼能夠讓模型學習到token之間的相對位置關系。

Encoder

編碼組件可由多層編碼器（Encoder）組成，同樣解碼組件也由相同層數的解碼器（Decoder）組成。 一般來講，對于中間層的輸出向量，底層Encoder輸出的表示淺層含義，頂層Encoder輸出的表示深層含義。 每個Encoder由兩個子層組成：Self-Attention層（自注意力層）和 Feed Forward Network（FFN，前饋網絡）組成。 對于每一層Encoder，詞嵌入向量輸入會首先進入Self-Attention層，Encoder對詞向量進行編碼時，會對整句輸入的上下文均進行Attention操作，從而關注 并使用到輸入句子的上下文的信息。 Decoder端存在Cross-Attention層（Encoder-Decoder Attention層），用于解碼時對輸入部分的信息進行Attention關注。

經過Self-Attention層的輸入進入前饋網絡，前饋網絡一般是全連接層網絡（并經過非線性的激活函數，如ReLU函數）。 全連接層是最基本的神經網絡，每一個結點都與上一層的所有結點相連。 ReLU函數：即修正線性單元（Rectified linear unit），又稱線性整流函數，通常指以斜坡函數及其變種為代表的非線性函數。 激活函數：為使神經網絡具有擬合函數的能力而引入非線性；如不引入非線性，則無論多少層神經網絡都相當于一個線性映射。 下一個Encoder的輸入是上一個Encoder的輸出，以此類推。

Attention

l Attention機制：編碼時，模型不僅能夠關注當前位置的詞語，同時能夠關注上下文的詞語。l Attention由Q（Query）、K（Key）、V（Value）三個矩陣實現。 l 對于計算某一詞向量x1與其他詞向量（包括自身）的注意力分數時，用該詞向量的q1分別與其他詞向量（包括自身）的k向量點積，得到注意力分數；以該注意力分數經過Softmax函數進行歸一化處理后，得到對應權重，表示為該詞向量x1與所有位置詞向量的注意力權重。以該權重對對應詞向量的v向量進行加權求和，得到Self-Attention層在該位置的輸出。

Multi-head Attention

Multi-head Attention即多頭注意力機制，采用 多組不同的線性變換對Q、K、V矩陣進行映射并分別 計算Attention，再將不同的Attention結果拼接起 來進行線性變換。 Multi-head Attention本質是在參數總量保持不 變的情況下，將Q、K、V映射到高維空間的不同子空 間進行Attention計算，防止過擬合。

Decoder

訓練時：輸入樣本句子（即翻譯后的正確結果）；推理時：輸入待定詞（即mask）組成的句子。 l Mask（掩碼）分為Padding Mask和Sequence Mask。其中，Padding Mask用于填充輸入序列長度，保持輸入序列對齊；SequenceMask用于Masked Multi-Head Attention層中，使得Decoder不能獲取未來的信息，從而在每個位置上僅能根據之前位置的輸出結果及EncoderDecoder Attention得到當前位置的輸出。

當Decoder某一序列位置產生輸出結果后，首先通過線性層將該輸出向量映射成為維度數與vocabulary內的詞數一致的向量，并通過Softmax層將每一維數字歸一化為概率（即歸一化后每一維數字代表對應token的概率）。  訓練時，構造損失函數，訓練模型參數使得衡量輸出概率與樣本概率分布之差的損失函數值最小。  推理時，根據概率采樣（例如最大概率所對應）的輸出詞即為該位置的輸出結果。