機(jī)器學(xué)習(xí)應(yīng)用系列專(zhuān)題報(bào)告：DAFAT，基于Transformer模型的自適應(yīng)解決方案.pdf

機(jī)器學(xué)習(xí)應(yīng)用系列專(zhuān)題報(bào)告：DAFAT，基于Transformer模型的自適應(yīng)解決方案。 傳統(tǒng) Transformer 模型局限性與 DATAT 模型概述：Transformer 模型在位置 編碼以及注意力機(jī)制方面均有一定的優(yōu)化空間，同時(shí)大多數(shù)深度學(xué)習(xí)模型均以 高頻量?jī)r(jià)為主，基本面特征頻次低且更新滯后難以應(yīng)用。經(jīng)回測(cè)，在僅選擇量 價(jià)特征的基礎(chǔ)上，Transformer模型 2019年 1月至 2025年 7月 IC均值 9.42%， 多頭組合年化收益率為 28.70%，月均單邊換手率 0.88X，具備一定的提升空 間。

動(dòng)態(tài)位置編碼自適應(yīng)：針對(duì) Transformer模型傳統(tǒng)正余弦位置編碼存在的周期 性失配以及狀態(tài)盲區(qū)等問(wèn)題，本文提出了雙通道門(mén)控動(dòng)態(tài)位置編碼 （Double-Gate DPE），分別包括時(shí)間周期編碼以及市場(chǎng)狀態(tài)編碼，代替原有 正余弦位置編碼。經(jīng)回測(cè) DPE_Transformer因子 2019年 1月至 2025年 7月 IC 均值為 9.54%，多頭組合年化收益率 30.60%，月均單邊換手率0.86X。

稀疏注意力機(jī)制自適應(yīng)：針對(duì)傳統(tǒng) Transformer全連接中存在的計(jì)算復(fù)雜度高 以及噪聲敏感等問(wèn)題，本文提出了提出三重稀疏化注意力自適應(yīng)機(jī)制，該機(jī)制 可以在提升計(jì)算效率的同時(shí)，加大注意力機(jī)制的局部針對(duì)性聚焦模式，減少對(duì) 噪聲時(shí)段的關(guān)注。該稀疏注意力機(jī)制分別包括市場(chǎng)波動(dòng)率門(mén)控、局部注意力窗 口以及 TopK 稀疏選擇。經(jīng)回測(cè)，SA_Transformer 模型 2019 年 1 月至 2025 年 7月 IC 9.98%，多頭組合年化收益率為 29.64%，月均單邊換手率 0.87X。

多尺度時(shí)序信息融合自適應(yīng)：除量?jī)r(jià)特征以外，本文引入基本面特征以補(bǔ)全特 征維度。但傳統(tǒng)基本面特征季度發(fā)布，與日頻量?jī)r(jià)特征存在顯著頻次差異。根 據(jù)常規(guī)量?jī)r(jià)特征與基本面特征處理存在的問(wèn)題，本文設(shè)計(jì)了多尺度信息融合框 架（微觀、中觀以及宏觀）。經(jīng)回測(cè)，MF_Transformer 因子 2019 年 1 月至 2025年 7月 IC 10.09%，多頭組合年化收益率 29.63%，月均單邊換手率0.82X。

模型消融測(cè)試：上述三個(gè)不同的自適應(yīng)優(yōu)化模塊（DPE、SA、MF）優(yōu)化情況 下模型較基礎(chǔ) Transformer 模型均有所提升，但兩兩組合的情況下，模型表 現(xiàn)相較于傳統(tǒng) Transformer 模型具備一定的削弱效果。三個(gè)自適應(yīng)模塊組合下 DAFAT自 2019年 1月至 2025年 7月因子 IC均值 11.07%，多頭組合年化收 益率 32.30%，最大回撤率 33.00%，整體較其他模型表現(xiàn)提升相對(duì)明顯。

指數(shù)增強(qiáng)策略：DAFAT模型滬深 300指數(shù)增強(qiáng)策略年化超額收益率 12.65%， 近一個(gè)月、三個(gè)月、一年、三年超額收益率分別為-0.25%、0.20%、14.76% 以及 10.39%；DAFAT模型中證 1000指數(shù)增強(qiáng)策略年化超額收益率 14.57%， 近一個(gè)月、三個(gè)月、一年、三年超額收益率分別為-0.60%、2.41%、20.85% 以及 16.79%。