Transformer的注意力機制及處理流程解析

Transformer 模 型 宏 觀 上 使 用 了 Encoder-Decoder 框 架 ， 并 且 在Encoder(編碼器)和 Decoder(解碼器)部分都使用了多頭注意力機制(Multi-Head Attention),因此先對注意力機制進行介紹，再對 Transformer 結構進行 詳細介紹。

一、注意力機制

注意力機制最早由 Treisman 和 Gelade 提出，是一種模擬人腦注意力機制 的模型，其核心目標是通過計算注意力的概率分布來從眾多信息中突出某關鍵 輸入信息對輸出的影響。目前大多數注意力機制均基于 Encoder-Decoder 框架， 但需要注意的是注意力機制可以看作一種通用思想，本身是不依賴于特定框架 的，而 Encoder-Decoder 框架可以看作是一種深度學習領域的研究模式，擁有 廣泛的應用場景，在 NLP 領域中常用的 Encoder-Decoder 抽象框 架。

這個框架中共含有三個部分分別為：Encoder(編碼器)、Decoder(解碼器) 和語義表示 C。其中，Encoder 把一個變長的輸入序列 X(1, 2, … , )，通過非 線性變換轉化為一個中間的語義表示 C： = (1, 2, … , )；Decoder 是根據輸 入序列 X 的中間語義表示 C 和先前已經生成的1, 2, … , −1來預測并生成 i 時刻 的輸出 = (1, 2, … , −1, ),()和()均為非線性轉化函數。在這種傳統框 架中，輸入信息被全部保存在語義表示 C 中，因此模型精度受輸入句子長度的 影響嚴重，從而在模型中引入了注意力機制。

和抽象的 Encoder-Decoder 框架相比，引入注意力機制后 改變最大的部分在于語義表示 C，原先針對不同輸出值的語義表示 C 都是一致的， 現在語義表示 C 會根據輸出值對輸入值做相應的權重分配。在面對一個任務時， 可以把輸入內容作為 Source，生成目標作為 Target，Source 可以看成由多個 對組成，而 Target 則由不同的 Query 組成，因此 Attention 機制 的本質就是計算每一個 Query 在 Source 中所對應的值。

1.自注意力機制(Self-Attention)

梳理完 Attention 機制后，將目光轉向 Transformer 中使用的 SelfAttention 機制。和 Attention 機制相比 Self-Attention 機制最大的區別在于， Self-Attention 機制中 Target 和 Source 是一致的，所以 Self-Attention 機制 是 Source 內部元素之間或者 Target 內部元素之間發生的 Attention 機制。 Self-Attention 在計算過程中會直接將輸入信息中任意兩個信息直接聯系起來， 所以能有效緩解 RNN 系列算法自帶的長期依賴問題。 SelfAttention 的計算流程，把 Query、Key 和 Value 分別裝入 Q、K 和 V 三個矩陣中， 再將三個矩陣帶入以下公式中(公式 2)就可以求得 Value 的權重，這種計算方法 被稱為縮放點積注意力(Scaled Dot-Product Attention),其中，為 Key 的維 度。

二、Transformer結構詳解

Transformer 模型的整體結構，由 Input、Encoder、Decoder 和 Output 四部分組成，我們根據模型處理流程進行一一理解。

1. 輸入編碼。輸入信息在進入 Encoder 和 Decoder 部分前會經歷兩種編碼轉換，分別為 Input/Output Embedding 和 Positional Encoding。由于是運用在時序預測中， 輸入信息大都為結構數據，因此在 Embedding 部分僅需對輸入信息進行維度轉 換。Position Encoding 部分是利用輸入信息的位置進行編碼，因此可以提取出 序列的順序特征，具體公式如下： (, 2) = sin ( 10000 2 )(公式 4) (, 2 + 1) = cos( 10000 2 )(公式 5) 然后，將兩種編碼轉換后的 Tensor 相加就可以帶入相應的 Decoder 和Encoder 部分。

2. Encoder 部分。在 Vaswani 發表的論文中，Encoder 部分共含有 6 層，前一層的輸出會作為 輸入傳入下一層中，最后一層 Encoder 的輸出會輸入到 Decoder 中。每一層 Encoder 中都含有兩小層，分別為：一層 Multi-Head Attention 和一層 Feed Forward，每一小層后都帶有一個 Add & Norm 層。

首先來看一下 Add & Norm 層 的作用，add 是指殘差連接，將上一層網絡的輸入和輸出相加，即 F(x)+x，相 當于每層求導時都加上一個常數項 1，能緩解梯度消失的問題；Norm 是指歸一 化，需要注意的是 Transformer 中使用的歸一化方式都是 Layer Normalization， 即在每一個樣本上計算均值和方差來進行歸一，公式如下： ( ) = ∗ − √ 2 + + (公式 6) 然后是 FeedForward 層，由兩個線性變換和一個 ReLU 激活函數組成，公式 如下： () = max(0, 1 + 1 ) 2 + 2(公式 7) FFN 層通過第一層線性變換，將每個位置的注意結果映射到一個較大維的特 征空間，再利用 ReLU 激活函數進行過濾，最后通過再次線性變化將輸出結果恢 復到原始維度。Multi-Head Attention 已在上文中進行介紹，此處就不詳說了。

3. Decoder 部分。Decoder 部分和 Encoder 部分一樣，都含有 6 層，每層包含三小層，分別為： 一層 Masked Multi-Head Attention、一層 Multi-Head Attention 和一層 FeedForward，Decoder 部分的 FeedForward 層和 Encoder 是一樣的，主要看一 下 Masked Multi-Head Attention 層和 Multi-Head Attention 層。Masked Multi-Head Attention 層在 self-attention 機制上使用了 Mask 掩蓋，來防止 Decoder 依據未來信息進行預測。Multi-Head Attention 層和 Encoder 中的 Multi-Head Attention 層相比，計算結構是一樣的，但輸入 Q、K 和 V 來源不同， Q 是來源于 Decoder 中上一層的輸出，K 和 V 來源于 Encoder 的輸出。

4. 輸出部分。輸出部分比較簡單，由一層線性轉換和一層 SoftMax 層組成，Decoder 的輸 出向量經過線性轉換改變維度，再進行 SoftMax 計算就能得到最終的概率矩陣。