Transformer概念、優勢與局限性在哪？

Transformer 模型通過位置編碼賦予輸入 序列中各元素順序信息，使其能區分不同位置的元素，從而有效處理長距離依賴， 這在機器翻譯等任務中極為關鍵。

1.Transformer 應運而生：Attention is all you need

ransformer 是一種基于注意力機制的神經網絡架構，由 Google Brain 團隊于 2017 年在論文《Attention Is All You Need》中提出。它在自然語言處理領域迅速 占據主導地位，并廣泛應用于圖像處理和語音識別等其他領域。Transformer 的出 現旨在解決循環神經網絡（Recurrent Neural Network，簡稱 RNN）在處理長序列 數據時面臨的并行化難題和長距離依賴捕捉困難。如下圖 5 所示，Transformer 架 構由編碼器（含輸入嵌入、位置編碼、多頭注意力、前饋網絡、殘差連接與層歸 一化）和解碼器（含輸出嵌入、位置編碼、掩碼多頭注意力、編碼器-解碼器注意 力、前饋網絡、殘差連接與層歸一化，最后經線性層和 Softmax 層輸出）組成。 通過摒棄傳統循環結構，Transformer 利用自注意力機制并行處理序列元素，顯 著提升了訓練速度和長距離依賴建模能力。此外，Transformer 模型通過多頭注意 力機制（Multi-Head Attention，簡稱 MHA）解決了自注意力機制可能導致的有效 分辨率降低問題，增強了對輸入數據細節的捕捉能力。

注意力機制的核心原理是依據輸入序列中每個元素的重要性賦予不同的權重，使 模型能夠聚焦于關鍵元素。在 Transformer 架構中，自注意力機制賦予了模型一種 獨特的能力，即同時計算輸入序列中所有位置之間的相互關系權重，并據此加權 生成每個位置的特征表示。具體而言，自注意力機制就像是賦予了序列中每個元 素（例如一句話中的每個詞）一種“視野”，使它們能夠同時“看到”序列中的其 他所有元素，并根據彼此之間的相關性重新分配權重。對于序列中的每個詞，模 型會計算它與其他所有詞之間的注意力分數，然后依據這些分數對所有詞進行加權求和，從而得到該詞的新表示。這一過程是并行地對序列中所有詞同時進行的 ，極大地提升了模型處理序列數據的效率和效果。

在數學表達中，注意力機制的函數可以被定義為將一個查詢（Query，簡稱 Q） 和一組鍵值對（Key-Value，簡稱 K-V）映射到一個輸出，其中查詢、鍵、值和輸 出均為向量形式。具體來說，輸出是計算值（V）的加權和，而每個值所分配的權 重則是基于查詢（Q）與相應鍵（K）之間的兼容性函數計算得到的。用更通俗的 語言來解釋這一過程： Query（查詢）代表“我當前需要處理的信息”； Key（鍵）代表“可能相關的信息線索”； Value（值）代表“實際的相關內容”。 如下圖 7 所示，在完成 Query 和 Key 的相似度計算后，通過 Softmax 激活函數將 原始分數轉化為和為 1 的概率分布，就可以將輸入向量中的數值解釋為各個類別 或事件的概率。Softmax 函數的特點是會放大輸入向量中較大值的相對優勢，使 得最大值對應的概率更加突出，而其他較小值對應的概率相對較小。這有助于模 型在進行決策或分類時更加明確地傾向于可能性最大的選項。

在單一注意力機制的基礎上，我們可以構建多個并行的注意力機制組合，這種組 合被稱為多頭注意力（Multi-Head Attention，簡稱 MHA）。多頭注意力機制顯著 擴展了模型的視野，使其能夠從多個不同的角度同時關注輸入信息，從而捕捉到 更豐富的特征和關系。這種機制不僅增強了模型對序列中依賴關系的學習能力， 還有效緩解了單一注意力機制可能遇到的有效分辨率降低等問題，進而顯著提高 了模型的整體性能和準確性。通過這種方式，多頭注意力機制為模型提供了更強 大的表達能力和更高效的計算效率。

2. Transformer 的優勢：規模擴展、多模態能力

位置編碼與并行化助力長距離依賴處理。Transformer 模型通過位置編碼賦予輸入 序列中各元素順序信息，使其能區分不同位置的元素，從而有效處理長距離依賴， 這在機器翻譯等任務中極為關鍵。對比 Transformer 和 LSTM 在不 同參數數量和上下文長度下的測試損失，Transformer 在處理長上下文方面更具優 勢，能更好地利用長上下文信息，且隨著參數和上下文長度的增加，其性能提升 更為顯著。與 RNN/LSTM 相比，Transformer 可同時處理所有標記，避免了信息 衰減或消失的問題，還能充分利用 GPU 等現代計算設備的并行計算能力，大幅 提升訓練效率。例如在處理百詞長句時，RNN 需逐詞處理，而 Transformer 則可 一次性完成。

助力模型高效訓練與規模拓展。Transformer 的并行計算優勢顯著提升了模型訓練 效率，使其在處理大規模數據集如語言模型預訓練、機器翻譯等任務時，能在更 短時間內完成訓練。以 GPT 系列為例，其快速預訓練得益于此。同時，訓練效率 的提高也推動了 Transformer 模型規模的擴大，更大規模的模型能學習到更豐富的 特征和復雜模式，近年來出現了如 GPT-3、Megatron-LM 等超大規模 Transformer 模型，在自然語言處理領域取得了突破性成果。

跨模態應用廣泛。Transformer 架構的靈活性，使其成為眾多非自然語言處理領域 先進模型構建的基礎框架，展現出廣闊的應用前景。Transformer 架構具備一項 關鍵能力，即能夠將不同模態的數據映射到統一的特征表示空間。以多模態任務 中的文本與圖像處理為例，Transformer 首先將文本數據轉化為詞向量，同時將圖 像數據轉換為像素特征向量。在完成這一轉換后，這些來自不同模態的特征向量 便能夠在同一特征空間內進行有效的處理與交互。相比之下，Transformer 的前 期架構，例如 CNN，雖然擅長處理視覺數據，在圖像處理任務中有強大的優勢， 但跨模態信息的融合能力相對較弱；而 RNN/LSTM 雖然適合處理序列數據，尤 其是文本和語音數據，但在跨模態任務中的長程依賴和效率上較為薄弱。這種統 一的特征表示方式，顯著降低了不同模態數據融合與比較的復雜度，進而助力多 模態模型更加高效地整合和分析來自多種數據源的豐富信息。

3.Transformer 架構的局限性

計算復雜度過高。自注意力機制（Self-Attention）的計算復雜度為 O(N2d)，其中 N 是序列長度、d 為 token 嵌入的維度。簡單來說，這使得 Transformer 模型的計 算復雜度會隨著輸入序列長度（token 數量）的增加呈二次方增長。

模型規模的擴大將顯著增加訓練和部署成本。在計算資源方面，基于 Transformer 架構的模型不僅需要大量的計算資源，還要求高效的并行處理能力，這使得訓練 成本需要覆蓋高性能的 GPU 和大量的存儲空間，且隨著序列長度的增加，其平方 級的擴展導致高內存使用，因而對內存需求也極大。

計算復雜度和計算成本帶來最直接的影響是限制 Transformer 在長序列下的應用。 雖然 Transformer 能夠準確捕捉短距離的文本關系，但其注意力機制的計算復雜度 會隨著序列長度呈二次增長，這使得處理長文本時的計算成本變得難以承受，因 而大部分大模型會將支持的上下文長度框定在一定范圍內。當下基于 Transformer 架構的大模型支持的上下文長度已有所拓展，這正是研究者意識到 Transformer 架 構局限性后對注意力機制等方面進行改進的結果，且改進后的上下文長度仍無法 比肩一些新興架構。