WPE模型如何通過預訓練任務設(shè)計避免風格偏好污染？

WPE模型通過徹底改變預訓練任務的監(jiān)督信號，從根本上避免了風格偏好的污染。傳統(tǒng)方法往往直接預測價格漲跌或重構(gòu)輸入特征，這容易使模型捕捉到訓練期內(nèi)有效的風格溢價（如小市值、低波動等）。WPE則遵循“先學習語言結(jié)構(gòu)，再回答問題”的大語言模型哲學，其預訓練目標完全脫離未來股票收益，轉(zhuǎn)而預測日內(nèi)微觀交易行為的演化。

具體而言，WPE選取了六類行為目標：買方壓力、撤單壓力、委托激進度、大資金參與方向、波動狀態(tài)和流動性危機。這些目標涵蓋了訂單流、參與者結(jié)構(gòu)、流動性供給和價格波動等多個維度。模型預測的是這些行為變量在未來不同時間尺度（下一分鐘、未來10分鐘、未來30分鐘）的條件概率分布，而非單一數(shù)值。例如，對于買方壓力，模型輸出Beta分布參數(shù)，既描述最可能的壓力水平，也反映預測的不確定性。由于這些行為變量直接反映交易機制本身，與市場整體漲跌無直接必然聯(lián)系，因此學到的指紋空間純粹描述“資金如何參與、訂單如何變化”，不包含任何關(guān)于未來收益方向的先驗假設(shè)。

為進一步優(yōu)化表征空間的結(jié)構(gòu)，WPE引入了五個行為房間（Flow, Participant, Liquidity, Volatility, Cancel）和正交約束。每個房間由特定的預測任務梯度引導形成，例如資金流房間主要服務于買方壓力和大資金參與的預測。這種設(shè)計迫使128維潛在空間形成有序的信息出口，不同任務從相關(guān)房間讀取信息，避免了信息混淆。同時，房間正交損失函數(shù)限制不同房間之間的余弦相似度，確保各行為維度的獨立性；行為一致性損失則要求指紋空間的幾何距離反映行為摘要的相似性。通過這些約束，WPE生成的指紋不僅保留了全天交易的綜合信息，還在空間關(guān)系上建立了明確的行為語義，使得相似交易機制的股票在指紋空間中彼此接近，從而為下游模型提供了穩(wěn)定、可解釋且不受歷史風格偏見污染的行為底座。