2023年九坤Kaggle量化大賽啟示 九坤Kaggle量化大賽高分方案解析

研究導讀

得益于數據科學在線社區日益成熟，機器學習和大數據的學習門檻逐漸降低，全球的愛好 者都可以通過在線平臺參與編程訓練和競賽項目，和頂尖團隊進行較量和探討。Kaggle 正 是影響力較大的平臺之一，囊括了超過 500 項競賽、5 萬個數據庫和 40 萬組代碼。美國白 宮、斯坦福大學、北京大學、微軟、谷歌等機構和企業都曾在 Kaggle 發布競賽，征集解決 方案。

量化投資和機器學習、大數據關系緊密，多家量化投資機構也在 Kaggle平臺發起挑戰競賽， 發布方不乏 Winton、Two Sigma 等知名對沖基金，也包含 Jane Street、Optiver 等頭部做 市商。項目內容大多是基于資產歷史行情、新聞數據或匿名特征，預測未來收益率或波動 率。下表整理了 Kaggle 平臺量化投資相關競賽。2022 年 1 月，國內量化私募九坤投資也 上線 Kaggle 競賽，受到市場關注，2893 支隊伍參賽，最終前 10 名隊伍獲得 10 萬美元獎 金。

本文的主題是“抄作業”，九坤 Kaggle 量化大賽高手云集，高分隊伍是否有經驗值得借鑒？ 我們梳理了部分高分隊伍公布的解決方案，提煉出有共性的四個方向——特征工程、損失 函數、交叉驗證和模型集成，并應用于中證 500 指數增強策略的改進。結果顯示，改進策 略相比基線策略有穩定提升，回測期 2011 年至 2022 年內，年化超額收益從 14.2%提升至 17.0%，信息比率從 2.3/2.4 提升至 2.7。測試的改進技巧中，神經網絡引入均值因子、CCC 損失、模型集成提升作用較顯著。

九坤Kaggle量化大賽高分方案解析

九坤 Kaggle 量化大賽的具體任務為：基于給定的 A 股匿名特征，采用機器學習或深度學習 算法，預測股票未來短期收益，評價指標為預測收益和真實收益的 IC 值均值，屬于典型的 監督學習問題。 大賽提供的訓練數據超過 18GB，每條樣本為一只股票在一個交易日的數據，包含如下字段： 1. time_id：時間 id，為有序數據。 2. investment_id：股票 id。 3. [f_0:f_299]：300 個匿名特征。 4. target：預測目標，股票未來一段時間的收益率，但未公布具體區間。

比賽于 2022 年 1 月開始，7 月公布最終成績，部分排名靠前隊伍公開了解決方案。 我們從眾多方案中提煉具有共性的技巧，從特征工程、損失函數、交叉驗證和模型集成四 個方向展開介紹。

特征工程

特征工程是模型搭建前的數據預處理和新特征構造工作，特征工程的質量一定程度上決定 了預測結果的好壞。數據預處理主要包括缺失值填充、異常值剔除和標準化；新特征的構 造則依賴投資者的經驗和對市場的理解。原始特征可能無法很好反映樣本和潛在問題的關 系，通過引入對原始特征處理和組合后的新特征，或可提升模型訓練效果。 九坤量化大賽中，原始數據進行了預處理和匿名處理，無法基于因子含義構造新特征，這 給特征構造增加了困難。我們發現多數高分隊伍都進行了新特征的構造，僅有少數方案只 使用原始的 300 維特征。第 1、2、8 名隊伍都提到了構造“按照時間 ID 取平均的均值因子”， 他們指出均值因子的引入對于模型效果有顯著提升。

具體而言，假設 f_0 為某個因子，在每個交易日對全部股票的 f_0 求均值，即得到該交易日 股票的均值因子 f_mean_0。該交易日全部股票的 f_mean_0 取值相同，在交易日間有差異， 反映 f_0 因子整體分布的時變特性。這一操作在傳統機器學習中似乎不常見，構造一個全部 股票取值相同的因子也略顯反常，但在九坤量化大賽中有效。

關于均值因子的有效性和背后的含義，我們猜想：與其他領域的預測問題相比，股票收益 率預測有其特殊性——未來表現不僅和股票本身特征相關，還與市場整體環境（如宏觀狀 態、市場風格等）相關，規律存在時變特性，因此有必要引入特征刻畫市場環境變化。均 值因子反映原始因子整體分布的時變特性，是市場環境的一種簡單表達，可能具備一定信 息量。

損失函數

損失函數決定了模型的優化方向，損失函數的選擇取決于評價指標、下游任務等因素。九 坤量化大賽的最終評價指標為預測收益和真實收益的 Pearson 相關系數，即 IC 值，衡量預 測值和真實值的線性相關程度，部分高分隊伍直接采用 IC 值的相反數作為損失函數： (, ˆ) = ∑=1 ( − ‾)(ˆ − ‾ˆ) √∑=1 ( − ‾) 2√∑=1 ( ˆ − ‾ˆ) 2 均方誤差 MSE 是回歸任務中常用的損失函數之一，衡量預測值和真實值間的距離，對偏離 真實值的預測給予較大懲罰。部分高分隊伍也采用 MSE 或 RMSE（MSE 的平方根）作為 損失函數： (, ˆ) = 1 ∑=1 ( − ˆ ) 2.

總結 IC 和 MSE 作為損失函數的優缺點： 1. IC 衡量預測值和真實值的相關性。優點是和比賽最終的評價指標直接掛鉤，也是量化 機構都會考察的指標，不受量綱影響從而在模型間可比。缺點是非凸不保證收斂，可能 導致訓練不穩定。 2. MSE 衡量預測值和真實值的距離。優點是易于計算和求導，具有凸性從而保證收斂， 在數據噪聲較小的情況下可作為 IC 的替代。缺點是受數據量綱影響。

九坤量化大賽的討論區里，有選手提出使用一致性相關系數 CCC（concordance correlation coefficient）作為IC和MSE的融合，同時考慮相關性和距離。CCC由Lawrence I-Kuei Lin 在 1989 年于 Biometrics 發表的論文 A concordance correlation coefficient to evaluate reproducibility 中提出： = 2 2 + 2 + ( − ) 2 (1)。

Pandit 和 Schuller 在 2019 年于 arXiv 平臺發布的論文 The many-to-many mapping between the concordance correlation coefficient and the mean square error 推導了其等價 形式： = 2 + 2 (2) 觀察 CCC 的定義，(1)式分子中的 ρxy 代表 x 和 y 的 Pearson 相關系數，即 IC；(2)式分母 包含 MSE。直觀來看，分子考慮兩組數據的相關性，分母對兩組數據均值的偏離度進行了 懲罰。實際使用中，可以取 CCC 的相反數作為損失函數。盡管高分隊伍未使用 CCC 損失， 我們仍可以從討論區中獲得啟發。

交叉驗證

交叉驗證主要用于選擇模型超參數。最簡單的方式是單次驗證，即選擇固定比例的訓練集 和驗證集。常用的方式是 K 折交叉驗證，將原始數據分成 K 份，每次使用 K-1 份訓練模型， 使用剩余 1 份評價模型，對 K 次評價取平均作為該組超參數的整體評價。但 K 折的缺點是 可能使用未來信息，第 1、7 名隊伍均提到該問題，并提出使用時序交叉驗證。 我們在《人工智能 14：對抗過擬合：從時序交叉驗證談起》（2018-11-28）中介紹過該方法。 時序交叉驗證將原始數據按時間順序劃分為 K 份，第 i 次驗證時，使用 1 至 i 份訓練模型， 第 i+1 份評價模型，避免未來信息，使用數據量約是 K 折交叉驗證的一半。總的來看，時 序交叉驗證的優點是無未來信息，且使用數據量少時間開銷低，缺點是可能存在欠擬合風 險。

模型集成

模型集成可以看成機器學習中“免費的午餐”。完美訓練單個模型難度很大，模型集成通過 融合多個子模型，實現取長補短，為比賽中多數高分隊伍采用。第 1、8、17 名集成了多種 不同類型的子模型，如決策樹類模型和神經網絡模型；第 2、3 名集成了多個同類型的子模 型。盡管投票法、Stacking 等模型集成方法層出不窮，比賽中仍主要采用最簡單的等權法。 高分隊伍使用決策樹類模型和神經網絡模型作為子模型，兩者有各自優勢，集成能起到互 補效果。決策樹類模型對于數據的要求相對較低，對異常值、缺失值和特征間數量級不敏 感，是在實操中較常用的一類模型。神經網絡一般要求數據數量級一致、不能有缺失值， 但可以通過批量訓練將多個截面的信息一并地輸入到模型中，自動構造出有效的新特征。

除上述四項外，高分隊伍在模型架構上亦有可取之處，如第 1 名采用 TabNet，第 3 名采用 Transformer，但模型本身不是本研究關注的重點，故不作進一步測試。有少數隊伍采用了 獨特的訓練技巧，如第 3 名使某些特征隨機變為 0，第 5 名對預測目標取對數，對特征做分 位數轉換（未指明轉換成何種分布），上述個性化處理也不在后文討論之列。

方法

基線模型為全連接神經網絡（nn）和 XGBoost（xgb），特征為 42 個常規的基本面和量價 因子，標簽為未來 10 個交易日收益率在截面上的排序，損失函數為加權 mse（wmse），以 截面上個股收益率排序進行衰減加權。交叉驗證方法為單次驗證，以 252*6 個交易日為訓 練集，252*2 個交易日為驗證集，252*0.5 個交易日為測試集，相當于約半年滾動訓練一次。 交叉驗證配合早停，僅用于確定模型的迭代次數，其余超參數均為固定值。

下面介紹四個方向的改進技巧： 1. 特征工程：除原始 42 個因子外，增加 42 個均值因子。針對每個原始因子，首先進行 去極值；其次在截面上將因子轉換為標準差等于 1 的分布，避免因子間量綱差異的影響； 隨后對截面上全部股票求均值；最后整體乘以 0.01，突出原始因子作用，弱化均值因 子影響。整體乘以 0.01 對模型的影響將在后文討論。 2. 損失函數：測試 MSE、IC、CCC 三類損失函數，每類損失又分為等權和加權兩種情況。 其中加權 CCC 定義為： = 1 ∑ , = 1 ∑ 2 = 1 ∑ ( −) 2 , 2 = 1 ∑ ( − ) 2 h_ = 1 ∑ − 2 + 2 + ( − ) 2 XGBoost 不便于自定義此類損失函數，故測試僅針對全連接神經網絡。

3. 交叉驗證：采用 5 折時序交叉驗證結合網格搜索，確定 XGBoost 學習率和最大樹深。 神經網絡訓練時間開銷大，故測試僅針對 XGBoost。同樣受限于時間開銷，本文未測 試 K 折交叉驗證，網格搜索顆粒度也較粗。超參數搜索方式的優化有待進一步研究。4. 模型集成：直接對全連接神經網絡和 XGBoost 預測值取均值，兩類模型等權。若神經 網絡有細分子模型，則內部再進行等權平均。

結果

全部測試模型因子評價指標及回測績效。核心結論如下： 1. 特征工程引入的均值因子對神經網絡有提升，但削弱了 XGBoost。 2. 損失函數中，MSE 表現不突出；IC 損失單因子測試表現好，但指增組合回測表現差； CCC 損失在單因子測試表現一般，但指增組合回測表現較好；加權均優于等權。 3. 交叉驗證調參改進不顯著，考慮到時間開銷大，性價比并不高，算力有限前提下，使用 經驗超參數即可。 4. 模型集成提升較穩定，神經網絡類和決策樹類模型有互補效果。

特征工程

對比引入均值因子前后的表現。神經網絡無論在 Top 組收益，還是在指增組合年化超額收 益、信息比率方面，均有顯著提升。但 XGBoost 在上述指標均有較大削弱。原因可能是 XGBoost 對均值因子的“過度”使用，具體將在后文探討。

損失函數

對比神經網絡模型 MSE、IC、CCC 三類損失函數，以及等權和多頭加權兩種方式的表現。 單因子測試結果可概括為“種瓜得瓜，種豆得豆”。IC 損失下的 IC 均值和 Rank IC 均值較高， 加權 IC 損失下的加權 IC 均值和加權 Rank IC 均值較高。多頭加權損失的 Top 組收益均高 于對應的等權損失。 但單因子測試和指增組合測試存在錯位。加權 IC 損失的單因子多頭收益和對沖收益均高于 其余損失，但指增組合表現卻低于除等權 IC 損失外的其余損失。CCC 損失的單因子表現不 算突出，但從指增組合表現看，無論是等權和加權，均優于對應的 MSE 和 IC 損失。加權 CCC 損失的年化超額收益和信息比率較出色。

交叉驗證

對比 XGBoost 模型時序交叉驗證調參的表現，調參后的模型僅在指增組合超額收益回撤比 指標上有顯著提升，其余重要指標反而略有削弱。但交叉驗證調參的時間開銷（近 19 小時） 遠高于不調參（近 5 分鐘），在算力有限情況下性價比不高。 需要說明的是，本文采用網格搜索的調參方法效率較低，從而導致調參顆粒度較粗糙。基 于貝葉斯優化的調參方法可以提升搜索效率，有待進一步測試。

模型集成

對比模型集成后的表現，各集成模型在單因子加權 RankIC 均值、多空收益、指增組合年化 超額收益、信息比率上均有顯著提升。并且子模型為改進模型（后 3 組）的表現優于子模 型為原始模型（nn+xgb）。對比前述特征工程、損失函數、交叉驗證的技巧，模型集成帶來 的提升幅度更大且效應更穩定。

討論

均值因子在神經網絡和XGBoost間的差異，兼談如何使用弱因子

特征工程引入均值因子提升神經網絡表現，但削弱 XGBoost 表現。要弄清此中原因，相當 于用線性的人腦理解非線性模型的工作機理，難度頗大，我們嘗試從下列角度分析。 首先，我們提出一個假設：均值因子屬于弱因子，有用，但比重不宜過大。前文提到，均 值因子是對市場環境的刻畫，有一定信息量；高分隊伍的實踐也表明該因子有效。但我們 同時觀察到，比賽中第 1、2 名未使用全部 300 個匿名特征構建均值因子，而是篩選 IC 前 100 個特征構建，均值因子從數量上比重不高，模型對均值因子的使用是有限度的。并且從 理論上分析，選股模型應側重于個股信息的挖掘，市場環境信息只起到輔助作用。

其次，考察 XGBoost 模型的特征重要性，計算各期特征重要性均值。在 引入均值因子的 xgb_fe 模型中，重要性最高的特征為 bp_lf_mean，即 bp_lf 的均值因子。 重要性排名前 10 的特征中，均值因子占據 4 位。XGBoost 模型全部均值因子重要性之和 占比 44%，接近一半水平，比重較高。

再次，測試均值因子縮放系數的影響。預處理環節，我們對均值因子整體乘以 0.01，突出 原始因子作用，弱化均值因子影響。需要說明的是，從兩類模型的原理看，特征的相對量 級對神經網絡有效，對 XGBoost 影響不大。我們進一步測試均值因子縮放系數為 1e-4 和 1 時的表現以驗證上述猜想。當縮放系數為 1，即不對均值因子做縮放處理時，神經網絡和 XGBoost 均表現較差。隨著縮放系數的降低，神經網絡有顯著提升，在系數為 0.01 時已能戰勝原始 模型；XGBoost 變化不大，都不能戰勝原始模型。由此可見，神經網絡主動降低均值因子 值有一定效果，但對 XGBoost 不起作用。

最后，從理論角度分析兩類模型訓練過程。XGBoost 對特征進行隨機采樣，在采樣的候選 特征中尋找最優劃分方式，并非從全部特征中搜索。XGBoost 引入均值因子這類弱因子后， 原始特征被采樣到的概率下降，可能被排除在候選特征外，導致模型預測效果下降。神經 網絡不涉及特征采樣操作，因此可以通過縮小取值的方式，在合理限度內使用弱因子。

MSE和IC損失函數的差異，兼談因子合成和組合優化的目標錯配問題

本文另一個“反直觀”的結論是 IC 和加權 IC 作為損失函數，單因子測試表現較好，但指 增組合表現較差，弱于 MSE 和 CCC 損失。這也是因子投資長期存在的痛點，難度同樣頗 大，我們嘗試做如下分析。 一個不會出錯的回答是：單因子測試和策略回測有差異，其背后是因子合成和組合優化兩 步的目標錯配。該問題早已為研究者關注，常用的樣本多頭加權，正是針對指數增強多頭 組合，在因子合成這步進行的修正（盡管未必是最佳解決方法），使因子合成的目標盡可能 向組合優化的現實場景靠攏。

然而這并不能解答本文遇到的問題，即使是加權 IC 損失，在分 10 層多頭收益高于加權 MSE 和加權 CCC 的情況下（25.0%，高于 24.7%和 24.2%），指增組合超額收益仍然大幅落后 （8.3%，低于 14.2%和 15.4%），這又如何解釋？ 容易想到的解釋是分 10 層還不夠細。隨著 A 股市場的擴容，指增選股數量在股票池的占比 進一步減小，選股更加向頭部集中。目前行業里常見的做法是分 20 層測試， 加權 IC 多頭端收益仍然優于加權 MSE 和加權 CCC。看來問題不在于評價指標是分 10 層 還是 20 層。

可否考察加權 IC 超額收益低于加權 MSE 的交易日，從個案出發尋找線索？我們統計加權 MSE 相比加權 IC 近 10 日超額收益，差距最大的交易日為 2015 年 1 月 19 日。由于預測區 間為未來 10 個交易日，前推 10 日為 2015 年 1 月 5 日。我們對比該截面日下，各模型的 預測值和真實值。 該截面日股票池有 1127 只有效樣本，即使分 20 層測試，由于分層組合收益通常為等 權重計算，這些點也會被淹沒在 Top 組的 50 多只股票中，但恰恰是這些樣本很大程度上左 右了策略的收益。

至此我們得到下列關鍵結論： 1. 評價指標的角度：傳統的單因子測試評價指標可能不適用于目前多頭選股場景。IC 值、 t 統計量等反映預測值的全局性，但對多頭側重不夠，即使是加權 IC、分 20 層回測多 頭收益，也會和最終選股組合表現脫節。 2. 損失函數的角度：以 IC 為損失函數，可以讓評價指標變得很好看。但 IC 作為全局性的 統計量，不會側重于個別頭部樣本，但這些少數樣本可能對組合優化影響很大。而 MSE 的特點之一是給予極端誤差較大懲罰，恰好可以彌補 IC 的弱點。CCC 結合 IC 和 MSE 的特點，同時學習數據中的共性和個性，在本文中表現好也就不難理解。

3. 因子合成和組合優化的目標錯配：理想的解決方案是將兩步放在相同的網絡中進行優化， 實現真正的端到端訓練。但當前技術尚未成熟，我們也暫沒有特別好的思路。相對現實 的方案是設計因子合成的損失函數和評價指標，盡可能向組合優化場景靠攏。例如根據 多頭選股數量，確定損失函數和評價指標的多頭傾斜程度；融合多種損失函數，或采用 多目標訓練等。

總結

本文梳理 2022 年九坤 Kaggle 量化大賽高分隊伍解決方案，提煉出特征工程、損失函數、 交叉驗證、模型集成四個主要方向，并應用于華泰人工智能中證 500 指數增強策略改進。 結果表明：(1)特征工程引入均值因子對神經網絡有效；(2)CCC 損失優于 MSE 損失和 IC 損失；(3)時序交叉驗證作用不明顯；(4) 集成神經網絡和決策樹類模型提升較穩定。對比 整合多項改進的模型與基線模型，回測期 2011 年至 2022 年內，年化超額收益從 14.2%提 升至 17.0%，信息比率從 2.3/2.4 提升至 2.7。

隨著數據科學在線社區日益成熟，越來越多的愛好者投身于網絡編程競賽之中。Kaggle 是 全球知名的數據科學在線平臺之一，Two Sigma、Optiver 等頭部量化機構曾在 Kaggle 發 布挑戰競賽。國內量化私募九坤投資于 2022 年 1 月啟動 Kaggle 競賽，吸引兩千多只隊伍 參賽。比賽具體任務為基于給定的 A 股匿名特征，預測股票未來短期收益，最終評價指標 為預測收益和真實收益的 IC 值，屬于典型的監督學習問題，和實際量化選股場景較貼近。

我們梳理九坤 Kaggle 量化大賽高分隊伍解決方案，提煉出四個改進方向。(1)特征工程引入 截面上全部股票因子的均值，均值因子可能反映原始因子整體分布的時變特性，是市場環 境的一種簡單表達。(2)損失函數引入一致性相關系數 CCC，可視作 IC 和 MSE 的融合，兼 顧相關性和距離。(3)采用時序交叉驗證選取最優超參數。(4)集成不同類型機器學習模型。 以神經網絡和 XGBoost 構建中證 500 指數增強策略作為基線，測試上述技巧的改進效果。

四項改進技巧效果各異。特征工程引入的均值因子對神經網絡有提升，但削弱了 XGBoost。 損失函數中，MSE 表現不突出；IC 損失單因子測試表現好，但指增組合回測表現差；CCC 損失在單因子測試表現一般，但指增組合回測表現較好；加權均優于等權。交叉驗證調參 改進不顯著，考慮到時間開銷大，性價比不高，算力有限前提下，使用經驗超參數即可。 模型集成提升較穩定，神經網絡類和決策樹類模型有互補效果。

研究發現均值因子對神經網絡有效但對 XGBoost 無效。均值因子屬于弱因子，有用但比重 不宜過大。XGBoost 引入弱因子后，特征采樣使原始因子可能被排除在外，從而削弱模型。 神經網絡可通過預處理縮小取值，有限度地使用弱因子。研究還發現 IC 損失單因子測試優 于 MSE 損失，但指增組合表現差，本質是因子合成和組合優化的目標錯配。IC 屬于全局統 計量，不會側重于個別頭部樣本，但這些樣本可能對組合優化影響較大。MSE 的特點之一 是給予極端誤差較大懲罰，恰好彌補 IC 弱點。CCC 融合 IC 和 MSE，兼顧共性和個性，是 一類理想的損失函數。

編輯：JACK