2022年股票分析專題 BERT模型介紹與數據實證

BERT、FinBERT 和 Adapter-BERT

BERT 模型介紹

BERT 網絡結構及輸入

關于 BERT 模型更詳細的原理及背景介紹可以參考華泰金工研究《人工智能 62：NLP 綜述， 勾勒 AI 語義理解的軌跡》，本文只對 BERT 模型進行基礎概念的相關介紹，我們默認讀者 對 NLP 相關概念已經有一定基礎。BERT 的全稱為 Bidirectional Encoder Representation from Transformers，其中有兩個關鍵詞，一個是 Bidirectional，一個是 Transformers。

1. 關于 Bidirectional（雙向）的理解： 對于某一個句子，例如“介紹本文采用的[Mask]語言模型”，我們遮住其中的“預訓練”一 詞，想讓模型預測出來。如果僅采用前文（即“介紹/本文/采用/的”）來預測[Mask]，或者 僅采用后文（即“語言/模型”）來預測[Mask]，均稱為單向預測，不能完整地理解整個語句 的含義。BERT 的作者提出采用完整的上下文（即“介紹/本文/采用/的/…/語言/模型”）來 進行雙向的預測，具體采用 Transformers 模型來實現。

2. Transformer： Transformer 是 Google 在 2017 年提出的用于機器翻譯的模型，近年來被推廣到了各個領 域，取得了較大的成功。Transformers 拋棄傳統的 CNN、RNN 結構，采用編碼器-解碼器 （encoder-decoder）的結構，其核心是自注意力機制。

BERT采用了Transformer的編碼器，其中最重要的是Multi-Head Attention（多頭注意力）模塊。所謂多頭注意力，就是考慮多次自注意力機制，目的是提 取多重語意的含義，而自注意力機制本質上就是相關性的計算。通過自注意力機制，模型 得到了語句中每個詞語與其他詞語之間的相關性，從而把注意力放在相關性較大的詞語上。 例如，我們想翻譯“The cat stuck out its tongue and licked its owner”這句話。在這個語 句中，與“licked”最相關的詞語是“cat”和“owner”，于是模型會重點聯 系“cat”和“owner”的語意來翻譯“licked”這個詞語。

將 Transformer 的編碼器進行多層堆疊后，形成 BERT 的主體結構。由于 BERT 是一個預 訓練模型，因此需要適應各種各樣的自然語言任務，模型的輸入需要包含一句話（如文本 情感分類、序列標注任務）或者兩句話以上（文本摘要、自然語言推斷、問答任務等）。

BERT 的輸入為每一個 token 對應的表征（token 的直觀理解即為單詞或字符），除了 token 以外還在輸入的每一個序列開頭插入特定的分類 token（[CLS]），該分類 token 對應的最后 一個 Transformer 層輸出可以表征整個序列的信息。 模型如何分辨輸入句子屬于句子 A 還是句子 B？BERT 采用兩種辦法來解決： 1. 在序列 tokens 中把分割 token（標記為[SEP]）插入到每個句子之后，代表句子結束； 2. 為每一個 token 表征都添加一個可學習的分割 embedding 來指示其屬于句子 A 還是句 子 B。

BERT 預訓練任務

預訓練在計算機視覺領域（CV，Computer Vision）是較為成熟的概念，CV 中所采用的預 訓練任務一般是 ImageNet 圖像分類任務，完成圖像分類任務的前提是必須能抽取出良好的 圖像特征，而 ImageNet 數據集具有規模大、質量高的優點，能獲得較好的效果。NLP 中 沒有像 ImageNet 這樣的高質量人工標注數據，因此 BERT 利用大規模文本數據的自監督 性質來構建預訓練任務，包括兩項：Masked Language Model（MLM）和 Next Sentence Prediction（NSP）。

1. Masked Language Model（MLM）

在每條訓練樣本中以 15%的概率隨機地選中某個 token 位置用于預測，且被選中的 token 會按概率替換成以下三個 token 之一： 1）80%的概率替換成[MASK]，如 The stock price rises —> The stock price [MASK] 2）10%的概率替換為其他 token，如 The stock price rises —> The stock price dives 3）10%的概率還是原來的 token，如 The stock price rises —> The stock price rises 再用該位置的輸出向量去預測替換后的 token（輸出向量接全連接層，再用 softmax 輸出為 每個 token 的概率，再和該位置的真實 token 向量求交叉熵損失函數）。

2. Next Sentence Prediction（NSP）

BERT 使用 NSP 預訓練來使模型有能力理解句子之間的關系，即預測兩個句子是否是上下 文關系。具體做法為對于每一個訓練樣例，在語料庫中挑選出句子 A 和句子 B 來組成： 1）50%的概率句子 B 是句子 A 的下一句，此時標記為 IsNext； 2）50%的概率句子 B 是語料中隨機選取的句子（不一定是 A 的下一句），此時標記為 NotNext； 把訓練樣例輸入給 BERT，用[CLS]的輸出向量進行二分類預測。 最后的預訓練輸入樣本可能如下所示，每條樣本在訓練時 MLM任務和 NSP任務同時進行， 兩部分損失函數相加作為總體預訓練損失函數。 樣本 1：[CLS] CSI500 rose [MASK] today [SEP] trading volume [MASK] significantly [SEP] 標簽 1：IsNext 樣本 2：[CLS] CSI500 [MASK] sharply today [SEP] penguin [MASK] are flight [SEP] 標簽 2：NotNext 預訓練完成的 BERT 模型在下游應用時會進行 Fine-Tuning 操作，本文后續在應用 FinBERT 對研報文本進行編碼時，也是考慮到經過微調的 CLS 向量可以更好地表征文本語義信息， 所以在新聞輿情樣本上進行了微調。

FinBERT 模型介紹

我們沒有采用 Google 發布的原版 BERT，而是采用了熵簡科技在 2020 年末發布的 FinBE RT：一款在大規模金融領域語料上預訓練的中文 BERT 模型（https://github.com/valuesi mplex/FinBERT）。FinBERT 采用與原版 BERT 相同的模型架構，但預訓練方法略有不同， 這里我們簡要介紹 FinBERT 的預訓練方法。

FinBERT 采用的預訓練語料主要包括金融財經類新聞、研報或上市公司公告、金融類百科 詞條，經預處理之后得到約 30 億 Tokens，這一數量超過了原生中文 BERT 的訓練規模： 1） 金融財經類新聞：從公開渠道采集的最近十年的金融財經類新聞資訊，約 100 萬篇； 2） 研報/上市公司公告：從公開渠道收集的各類研報和公司公告，來自 500 多家境內外研 究機構，涉及 9000 家上市公司，包含 150 多種不同類型的研報，共約 200 萬篇； 3） 金融類百科詞條：從 Wiki 等渠道收集的金融類中文百科詞條，約 100 萬條。

基于上述數據集，熵簡科技的 FinBERT 進行了兩類預訓練任務： 1. 字詞級別的預訓練： 1） Financial Whole Word Mask：該任務即前面提到的，隨機遮住部分字詞，讓模型預 測。這里進一步采用了全詞 Mask 的方法，即對組成同一個詞語的漢字全部進行 Mask， 從而使模型學習到領域內的先驗知識，例如金融學概念之間的相關性等。 2） Next Sentence Prediction：引入預測下一句的任務，使模型理解句子間的關系。 2. 任務級別的預訓練： 1） 研報行業分類：利用公司點評、行業點評類的研報自動生成了大量帶有行業標簽的語料， 并構建了行業分類的文檔級有監督任務。每個行業擁有 5k~20k 條語料，共計約 40 萬 條文檔級語料。 2） 財經新聞的金融實體識別：利用已有的企業工商信息庫和公開可查的上市公司董監高信 息，基于金融財經新聞構建了命名實體識別類的有監督任務語料，共計約 50 萬條。

Adapter-BERT

上文所述的 FinBERT 模型參數量超過一億，直接使用常規的微調方法對所有參數都進行微 調，配置要求較高，很難實現。本文采用了 2019 年發表于機器學習頂級會議 ICML 的 ada pter-BERT（http://proceedings.mlr.press/v97/houlsby19a.html），在幾乎不影響模型性能 的情況下，將需要微調的參數減少到約三百萬。 具體而言，在 BERT 的每個 Transformer 層內添加了兩個 Adapter 模塊，位于全連接層之 后。Adapter 模塊的主要結構為一個下采樣全連接層和一個上采樣全連接層，并且包括一個 殘差連接。Adapter 模塊內的全連接層的參數要遠少于 Transformer 內的多頭 注意力層和全連接層的參數。

數據處理與模型訓練

FinBERT 模型微調

新聞輿情數據展示

一般來說如果預訓練好的 BERT 不進行特定場景的微調操作，其 CLS 層難以對整段文本進 行向量編碼，這是因為 BERT 在訓練時的兩個任務 MLM 和 NSP 都不是為了對句子進行編 碼而設計的，CLS 蘊含的信息不一定是充分的文本上下文信息，常規做法是會對 BERT 進 行微調。我們使用帶情感標注的萬得新聞輿情數據對 FinBERT 進行微調，使得 CLS 層能 更好地表征文本上下文信息。 Wind 新聞輿情數據庫提供的輿情數據從 2015 年開始，為了盡可能少地使用到未來信息， 同時保證可用于模型微調的訓練樣本數量足夠，我們僅使用 2015-2017 三年的全部萬得新 聞輿情數據，并進行以下操作生成最終的待訓練樣本。

最終我們得到 14.8 萬條金融新聞輿情情感分類樣本。其中步驟 8）所使用的 tokens 長度 N 將決定后續對研報進行情感編碼時每次可以輸入的文本長度，我們將在后文進行討論。下 表展示了萬得新聞輿情數據庫中的數據結構。

FinBERT 微調

在微調 FinBERT 時我們需要搭建結構完整的網絡層，在 FinBERT 前面我們添加了一個輸 入層；在 FinBERT 輸出特征向量之后，首先截取[CLS]標識符對應的 768 維特征向量，然 后通過兩個 Dropout 層和兩個全連接層的組合，映射到 2 維的情感分類概率。

超參數的選擇不一定完全按照下表所示，FinBERT 微調受隨機數種子點影響較小，因此可以根據實際顯卡配置對參數進行調整。實際上總訓 練輪數也可以降低，可以看到損失函數及分類準確率基本在 10 輪以后就明顯收斂。

FinBERT 編碼與二次訓練

FinBERT 研報編碼

在微調完 FinBERT 以后，我們對每篇分析師研報進行編碼。過去我們的做法是將每篇文本 處理成詞頻向量，本質是認為拆解出的詞頻可以表征整段文本的語義信息；現在我們使用 FinBERT 來對研報文本進行向量編碼。首先，我們采用與生成微調樣本類似的預處理方法， 將研報文本預處理成 FinBERT 能讀入的形式，具體而言：

處理長文本的兩種方式：截長補短和切割為多段，截長 補短即常規的 Truncate 和 Pad 操作；切割為多段指的是按固定字符數將長文本切分為多條 樣本，我們會在后文進行討論。此處 tokens 的長度 N 實際取決于 FinBERT 在數據預處理 與訓練時采用的 tokens 長度，關于這個參數我們也會在下文進行討論。 上述預處理完成后，我們將研報文本輸入給 FinBERT，然后去掉微調 FinBERT 網絡結構中 的 4~7 層，僅保留 1~3 層，輸出 FinBERT 的 CLS 層作為研報文本的向量編碼，CLS 層的 維度為 768 維。接下來我們將上述隱藏層向量作為 XGBoost 的輸入來進 行第二次訓練。

XGBoost 模型訓練

相比于詞頻向量的版本，第二步訓練我們唯一修改的地方僅在于輸入給 XGBoost 模型的特 征有所改變，其他細節基本相同。具體來說，XGBoost 的訓練標簽為研報發布前后兩天， 個股相對于中證 500 的超額收益（不進行中性化處理），我們按以下方式將其分為三類后作 為訓練標簽 Y： 1. 上漲（y=1）：較大的正向超額收益，即樣本的超額收益位于整體的前 30%； 2. 震蕩（y=0）：較低的正向或負向超額收益，即樣本的超額收益位于整體的前 30%~70%； 3. 下跌（y=-1）：較大的負向超額收益，即樣本的超額收益位于整體的后 30%。詞頻向量的優勢在于可解釋性較強， 可以很直觀地看出每一維特征的含義，但是會損失較多語義信息；BERT 編碼的優勢在于對 語義信息的利用更充分，但是可解釋性較差，每一維特征的含義不明顯。

我們采用滾動的方式對 XGBoost 模型進行訓練，每次滾動樣本內為過去 6 個月，樣本外為 未來 12 個月。例如對于某輪樣本外的首月 T 月來說，我們將 T-6 至 T-1 月的數據作為樣本 內，T 月至 T+11 月的數據作為樣本外；下一迭代期則以 T+6 月至 T+11 月的數據作為樣本 內，T+12 至 T+23 月的數據作為樣本外；以此類推。

數據實證：從更充分的語義理解到更顯著的 Alpha 提升

基礎模型實證

在進行更多參數討論之前，同樣的我們首先給出基準參數模型下的文本因子表現。主要討 論部分我們仍以盈利預測調整場景下的研報文本挖掘為主，后面我們同樣展示業績發布、 評級調整場景下的文本因子升級效果。

詞頻向量版的十分層回測結果、與 FinBERT 編碼版本的 forecast_adj_txt_bert 因子多頭第一 層對比。相比于詞頻向量版本，FinBERT 編碼的版本多 頭收益提升顯著，從原始 22.87%提升至 27.50%，多頭收益提升接近 5Pct。FinBERT 編碼 版因子多頭相對中證 500 超額收益在 2016、2017 年也獲得明顯正向超額，而詞頻向量版 因子多頭在這兩年超額走平。從選定參數的基礎模型來看，除多頭以外，其余分層的提升 不明顯。

擴展測試一：文本截斷和分段的比較

在 NLP 任務中需要根據實際應用場景來對文本進行一定的預處理，例如在某些場景下，可 以嘗試對原始文本進行過濾，降低有效文本的長度，從而提升模型性能。

在前文所述的基礎模型中，我們采用的是前截斷的方法來保證文本不超過指定字符數，從 邏輯上來說我們將標題與摘要拼接，且大多數研報首段會總結最核心的觀點，因此前截斷 保留關鍵信息是合乎邏輯的。這里我們再嘗試一種預處理方法，即對長文本進行分段：如 果一條文本字符數超過 N，那么我們以長度 N 為限將長文本分成多條樣本。 切分以后的每條樣本都將作為一條單獨的樣本參與下一步 XGBoost 模型訓練與預測。

在樣本外預測時，每條研報樣本的得分將由分段子樣本的得分求均值得到。這里我們比較 字符數為 500 或 200、分段或截斷四種組合的測試結果。從對比結果 來看，有以下兩點結論： 1. 引入 BERT 編碼以后的各組測試因子收益均優于詞頻向量版本，絕對收益的提升都在 1.5Pct 以上，說明 BERT 編碼的提升是穩健的，方法論的改進不是偶然導致的過擬合； 2. 樣本分段的測試組多頭超額更穩健，最近一年超額波動更小，可能是因為在合成因子時 所使用的樣本量更多，選股效果更穩定。

擴展測試二：是否有必要對 FinBERT 進行微調？

前文我們提到過，如果不對 BERT 模型進行微調，BERT 的 CLS 或不能很好地表征語義信 息，因為 BERT 預訓練時 MLM 及 NSP 兩個任務都不是為了表征語義信息而提出的，因此 任務目標不同。微調實際上是為了使得 BERT 能更好地表征語義信息。我們發現如果不對 FinBERT 進行微調，在帶標注的新聞輿情語料上的分類準確率約為 80%，微調以后分類準 確率超過 96%。 本小節我們測試微調對文本因子的影響。對于不做微調的測試組，我們直接將研報文本預 處理好以后輸入給 FinBERT 并提取出 CLS 層作為后續 XGBoost 模型訓練的輸入，其他流 程相同。從結果來看，如果不對 FinBERT 進行微調，雖然 forecast_adj_txt_bert 因子也有比較明顯的多頭收益，但是相比于詞頻向量的版本沒有明顯 提升。因此我們認為有必要對 FinBERT 進行微調。

擴展測試三：CLS 編碼與全連接層編碼對比

在對 FinBERT 進行微調時，CLS 層后連接的是全連接層，該隱藏層也可以視為是對研報文 本的編碼。本小節我們嘗試比較使用該全連接層進行編碼與使用 CLS 層進行編碼的效果有 何不同。 從結果來看全連接層也可以用于文本編碼，構建出的文本因子相比于詞頻向量版本仍有一 定提升，且近兩年多頭超額較為穩健，波動相對更小。此外全連接層編碼得到的 forecast_adj_txt_bert 因子分層更為明顯，第二層表現也較好。

擴展測試四：CLS 編碼與詞頻特征結合

我們繼續嘗試將 CLS 編碼與詞頻向量結合一起作為特征輸入給 XGBoost 模型進行訓練。 當然從邏輯上來說 CLS 編碼基本已經包含文本的絕大部分信息，再納入詞頻向量或有冗余， 這里我們僅作為測試實驗進行展示。

從上述結果來看，額外加入詞頻向量作為特征以后效果并未有進一步提升，說明 CLS 編碼 確實已經能涵蓋絕大部分文本信息，但加入詞頻特征以后，forecast_adj_txt_bert 因子的分 層效果有所提升。

擴展測試五：僅使用 FinBERT 微調

除了前文 FinBERT 編碼與 XGBoost 模型訓練的改進思路以外，直接使用 FinBERT 在每一 輪進行微調也是一種思路，微調時不再使用帶標簽的萬得新聞輿情，而是直接使用研報， 預測標簽使用 XGBoost 模型訓練時的標簽。其余流程不變。

從上述結果來看，如果僅使用 FinBERT 微調而不引入第二步驟的 XGBoost 模型訓練，構建 出的文本因子效果明顯削弱。我們認為有兩種可能的解釋：1）BERT 模型的優勢在于對語義 本身的理解，如果直接引入個股超額收益這一標簽進行學習，反而增加了模型學習的負擔， 模型既要學習語義理解，又要學習市場的反饋，導致效果不佳；2）FinBERT 參數量較大， 可能是由于測試規模仍然不足所以導致沒有得到潛在的更優解，而并非方案本身缺陷。

Forecast_adj_txt_bert 因子討論

我們繼續對 forecast_adj_txt_bert 因子進行一些其他討論。我們計算該文本因子與 Barra 風 格因子及傳統因子的皮爾森相關系數。文本因子與動量因子正相關性相對較高，歷史均值大約在 0.3 左右； 與 BP 因子負相關性相對較高，歷史均值大約在-0.3 左右；與其余風格因子整體相關性偏低。 文本因子與傳統因子相關性也較低，歷史每個截面期的相關系數均值都不超過 0.5。

不同場景下的文本因子升級

業績發布

在業績發布場景下我們也可以對 SUE_txt 因子進行升級，SUE_txt 在計算時樣本匹配流程，業績公告的類型包括業績預告、業績快報及正式財報。

三類公告在合并時，按以下流程計算： 1. 模型訓練：模型滾動訓練時，所有類型的公告樣本放在一起訓練；同時進行樣本預剔除， 即對每個季度單獨判斷，如果該季度已經發布過業績預告或快報，則不使用財報樣本。 2. 因子構建： 1） 在 4 月末追溯 2/3/4 月所有類型公告并計算因子值；在 8 月末，追溯 7/8 月所有類 型公告并計算因子值；在 10 月末，追溯 10 月所有類型公告樣本并計算因子值； 2） 在其余月末，首先延續上月末的因子值，然后對當月已經發布了新的業績公告的股 票，更新該公告對應的 SUE_txt 因子值。

文本因子的應用案例

案例一：主動量化選股組合

等權增強組合

在前期兩篇相關報告中我們都曾將文本因子應用于構建主動量化選股組合，這里我們也不 例外，繼續展示主動量化選股組合的構建案例。以 forecast_adj_txt_bert 因子分十層的多頭 第一層為基礎股票池，使用以下表格中的因子，每月將下述因子進行等權合成，合成之前 會對因子進行行業市值中性化處理，同時對因子方向進行調整。相比于上篇報告（人工智 能 57）所使用的 4 個基本面+4 個技術面因子，這里我們納入了更多因子進行合成，提高合 成得分的穩定性。

不等權增強組合

我們進一步考慮從等權組合到不等權組合。我們從技術面角度出發對文本 FADT 選股組合 的權重進行調整，如果個股處于較為明顯的上行趨勢，則個股權重可以適當增加；反之若 個股處于較為明顯的下行趨勢，則個股權重可以適當降低。具體來說，我們使用個股的多 空頭排列狀態來對個股權重進行調整。

權重調整流程如下所示： 1. 在調倉截面日判斷組合內個股的多空頭狀態：如果過去 20 個交易日有超過 15 個交易 日多頭排列，則個股處于多頭狀態；如果過去 20 個交易日有超過 10 個交易日空頭排 列，則個股處于空頭狀態（空頭給予的滿足條件更寬松，給下行趨勢的股票更大懲罰）； 2. 若個股為多頭狀態，則將原始的持倉權重乘以 2；若個股為空頭狀態，則將原始的持倉 權重乘以 0.5； 3. 按 100%總倉位將調整后的持倉權重歸一化； 4. 考慮到個股持倉權重不能過高，如果調整后個股權重超過 20%，則截斷為 20%。

加入市值限制的主動量化選股

考慮到部分投資者對股票市值有限制，不能投資池外市值過小的股票，因此我們考慮對股 票組合的市值進行限制。首先在 forecast_adj_txt_bert 中對應截面期總市值低于 100 億元 的股票因子值置為 nan，對剩余個股在截面上進行十分層，仍以第一層為基礎池，使用上文 所述因子進行增強構建等權選股組合。

案例二：滬深 300 內選股

第二組案例我們測試直接在滬深 300 股票池內進行選股的效果。與傳統的指數增強不同， 這里我們不控制行業市值中性，不控制風格中性，僅根據 forecast_adj_txt_bert 因子在滬深 300 股票池內的打分選擇靠前的 30 只股票，按前文所述多空頭排列權重調整方式對個股倉 位進行調整，得到滬深 300 內不等權精選組合。

編輯：JACK