動量Transformer模型及改進有哪些？

Kieran Wood 等人在《Trading with the Momentum Transformer: An Intelligent and Interpretable Architecture》一文中提出了一種創新的時序動量交易策略，使用動量 Transformer 模型來優化資產的倉位管理。

1.動量Transformer模型

主體仍為多頭自注意力機制，便于并行挖掘不同歷史時點之間的關鍵依賴關系， 捕捉潛在的趨勢結構與轉折信號。各個注意力頭在訓練過程中自動學習不同的時間關注模 式，從而增強模型對跨周期動量特征的感知與表達能力。 與傳統機器學習模型輸出分類標簽或回歸數值不同，動量 Transformer 的輸出是資產 倉位。若對應無杠桿的多空策略，輸出在[-1, 1]之間。此外，在損失函數的設計上，模型 跳出了傳統均方誤差（MSE）等回歸類損失的框架，轉而采用夏普比率進行優化。通過將 收益與風險控制目標直接融入訓練過程，模型能夠在實際應用中實現更優的風險收益特征。

Kieran Wood 等人將動量 Transformer 模型應用于美國市場，構建了一個包含 50 種 流動性最高的期貨合約的資產組合，應用多種動量策略，回測了 1995 年至 2020 年長達 25 年的收益表現。

2. 動量Transformer模型在A股上的運用與改進

上述回測的數據和代碼可直接從github下載2，我們將其套用于A股進行了多輪測試， 但結果都和預期相去甚遠。經過多維度的分析，我們對模型做出了如下三點針對性的改進。

核心改進1：改損失函數為信息比率

動量 Transformer 模型的核心之一在于其損失函數的設計。原文以夏普比率作為優化 目標，力求實現風險調整后收益的最大化。然而，由于 A 股市場波動率高，且長期向上的 趨勢不明顯。若以夏普比率為損失函數，很容易導致模型輸出的風險資產倉位長期為 0。 因為此時組合的波動率極低，夏普比率將接近正無窮大，這顯然不是我們想要的結果。 為解決這一問題，我們調整損失函數的形式，用基準收益（風險資產等權組合，對應 買入持有策略）代替無風險利率，引導模型在追求風險控制的同時，盡可能獲取理想的投 資回報率。但即便如此，模型依然傾向于長期維持很低的倉位水平。因此，我們進一步在 損失函數中引入一個強約束：當組合各資產的平均倉位低于 10%時，給予較高的懲罰，從 而鼓勵模型維持合理的市場參與度。損失函數的最終形式如下式所示。

Loss=−(策略收益 − 等權收益)/策略波動 + 100｜平均倉位 < 10%

 核心改進2：增加特征類別

原文引入動量 Transformer 模型是為了改進 MACD 類策略，因而輸入特征以 MACD 相關指標為主。但在 A 股市場上，MACD 類指標雖能反映一定的趨勢特征，但有效性并 不顯著。為提升模型對投資者行為的感知能力，我們延續技術分析的想法，在原有特征的 基礎上引入了均線、波動率、動量及成交量類技術指標。我們認為，豐富的特征體系可能 更加利于多頭注意力機制在不同維度間自動捕捉有效信號。

 核心改進3：重設訓練-驗證劃分機制

在原始的動量 Transformer 模型中，作者按時間的先后順序劃分訓練集與驗證集。但 我們測試后發現，在 A 股市場上這樣做，會使模型傾向于擬合驗證集對應時段的市場規律。 那么，當測試集的市場風格與前期相比發生大幅切換時，如，18 至 19 年或 21 至 22 年， 模型的表現必然會大打折扣。 因此，為了提升模型的泛化能力，我們將訓練集與驗證集的劃分方式改為隨機抽樣。 具體地，從歷史數據中隨機抽取多個時間片段組成訓練集與驗證集，盡可能保證兩者都能 包含不同市場狀態的樣本。這種做法可在一定程度上迫使模型學習更為普適的動量規律與 市場結構。測試結果也表明，隨機劃分訓練的模型，業績表現更加穩定。 不過，隨機劃分的一大隱憂在于，訓練-驗證過程中可能包含未來信息。因此，我們 在選擇輸入特征時，采取較為嚴格的信息控制策略：摒棄所有與原始價格直接相關的指標， 如，絕對價格、未處理的收益率等，僅使用通過滑動窗口計算并經標準化后的特征。此外， 在訓練框架上，我們采用滾動機制：每完成一輪訓練，模型將在未來一年的測試集上進行 驗證。我們認為，通過這樣的特征和訓練設計，可在一定程度上緩解對于信息泄露的擔憂。