傳統Transformer模型局限性及可優化點在哪？

以下介紹的是傳統 Transformer 模型局限性及可優化點：

（1）計算復雜度問題。自注意力的二次復雜度：時間復雜度：?(?²?)，其中?是序列長度，?是模型維度；空間 復雜度：?(?²)，需要存儲注意力矩陣。對于長序列，這種二次復雜度會導致計算和內存消 耗急劇增加。

（2）數據和計算資源需求。高資源需求：需要大量的訓練數據才能達到最佳性能。訓練需要大量的計算資源和時間 并且模型參數量巨大，部署成本高。

（3）任務特定缺陷：在不同應用場景中暴露特有局限。時間序列預測：通道不獨立：多變量強行拼接破壞物理意義（如溫度與股價尺度差異）； 點式注意力不匹配：時間局部連續性未被有效利用，PatchTST 證明分塊（Patch）更合理。 數學推理：符號運算和邏輯推導能力弱，需注入外部模塊；思維鏈（Chain of Thought） 依賴注意力精細權重分配，部分高效模型在此表現不佳。 本報告致力于深入探究并顯著提升 Transformer 深度學習模型在 A 股市場量化選股策略 中的應用效能。盡管 Transformer 憑借其強大的序列建模能力在自然語言處理等領域取得革 命性成功，但其在金融時序數據（特別是股票收益預測）上的直接遷移應用仍面臨獨特挑戰， 盡管已有研究證明 Transformer 模型在 A 股市場具備較好的選股效果，但其存在進一步優化 的空間。 研究伊始，我們將嚴謹構建并測試一個標準 Transformer 模型作為性能基準。通過評估 未經優化的 Transformer 模型在選股任務中的原始表現，揭示其在捕捉金融市場復雜動態（如 非平穩性、長短期依賴、噪聲干擾）方面存在的固有局限，為后續優化提供明確的方向與對 比基線。

模型訓練方式等其他模型設定如下： 1） 訓練數據：所有個股過去 10 年內的時序特征，做 5 天采樣，預測標簽為未來一個月 (20 個交易日)的累計收益； 2） 訓練集驗證集比例：80%：20%； 3） 時序尺度選擇：40 天； 4） 數據處理：時序標準化（與最后一個時間步比值），截面標準化（均值標準差）； 5） 模型訓練及調倉頻次：一年更新，月頻調倉； 6） 模型超參數：batch=截面個股數，lr=1e-4，損失函數 1-IC。 自 2019 年 1 月至 2025 年 7 月，基礎 Transformer 因子 IC（以 RankIC 表征）為 9.42%， 多頭組合年化收益率為 28.70%，月均單邊換手率 0.88X，整體來看，僅靠量價時序特征訓 練出的基礎 Transformer 模型具備一定的選股效果。（IC 測試中“***”、“**”、“*”分別代表 參數在 1%、5%、10%的顯著性水平下顯著，下同，不再特殊強調。）

從分組角度來看，多頭組合（組 1）年化收益率 28.70%，最大回撤 39.42%；空頭組合 （組 10）年化收益率-6.17%，最大回撤 70.95%；多空組合（組 1/組 10）年化收益率 37.16%， 最大回撤 9.30%，具備一定單調性。但整體來看，因子多頭組合表現并不顯著，且除空頭組 合外，組一組二組合分化程度不高，基礎 Transformer 模型及量價時序信息在因子挖掘效果 層面更多聚焦于空頭，具備進一步提升空間。

從因子分組的相對凈值表現來看，相對萬得全 A， Transformer 因子在 2024 年 1 月底 出現了較大的超額回撤，但在 2024 年 9 月底的上漲行情（0924 行情）內并未出現較為明顯 的超額回撤。 分年度來看，多頭組合自 2019 年至 2025 年 7 月，7 年均跑贏萬得全 A 指數，其中 2021 年相對萬得全 A 年化超額 30.55%，超額最大回撤 12.65%；2023 全年相對萬得全 A 年化超 額收益率 25.44%，超額最大回撤僅 4.87%.此外，因子今年以來超額表現較好，2025 年初 至 7 月 31 日，累計超額收益率 11.03%，超額最大回撤 3.17%。受限于 2024 年兩端極端行 情，全年多頭組合相對萬得全 A 超額進 6.37%，超額回撤 26.26%。

傳統 Transformer 模型具備一定的選股效果，但模型整體選股效果和模型穩定性具備較 大的優化空間，且在關鍵市場階段（2024 年 1 月量化危機、2024 年 0924 行情）仍會出現 較為明顯的超額回撤。 本報告的提出了一類基于 Transformer 模型自適應的解決方案（Dynamic Adaptive Fusion Attention Transformer， DAFAT），主要工作點在于系統性地提出并實現針對 Transformer 架構三大關鍵組件的深度優化： 位置編碼自適應： 針對金融時間序列的強時序依賴性與周期性（如季節性效應、事件 驅動），我們針對標準正弦/余弦位置編碼，引入動態時變位置編碼機制，旨在精確地捕捉因 子在時間軸上的相對重要性演變與市場狀態影響的持續效應，提升模型對時序結構的感知能 力。 注意力機制自適應：傳統全局注意力在高噪聲、高維金融數據上易引入冗余信息并導致 過擬合。我們設計稀疏化與局部敏感的注意力機制，引導模型聚焦于當前預測最具信息量的 少數關鍵因子及歷史片段，旨在提升計算效率，抑制噪聲干擾。 信息融合自適應：為充分利用不同來源（量價、基本面等）和不同頻率（日、周、月、 季）因子，本文設計多尺度信息融合框架，其多尺度信息融合框架包含微觀尺度、中觀尺度 以及宏觀尺度，并引入跨尺度注意力門控融合機制以及原始量價特征殘差融合，旨在超越簡 單的拼接或加權，實現跨因子、跨周期的深度非線性交互與自適應信息整合，增強模型對復 雜市場微觀結構的刻畫能力。