2023年投資工具專題報告 機器學習與技術分析結合策略研究

一、機器學習介紹

這一部分主要介紹機器學習基礎，并對一些可以應用的監督學習方法進行介 紹。

（一）機器學習分類

Tom Michael Mitchell 在 1997 年給出機器學習一個形式化的定義：假設用 P 來評估計算機程序在某任務類 T 上的性能，若一個程序通過利用經驗 E 在 T 中 任務上獲得了性能改善，則我們就說關于 T 和 P，該程序對 E 進行了學習。 機器學習致力于如何通過計算手段，利用經驗來改善系統自身的性能。在計 算機系統中，經驗通常以數據形式存在，利用計算機從數據中產生模型算法，即 “學習算法”，是機器學習的主要內容。如果把經驗數據提供給學習算法，就能產 生相應的模型，在面對新情況時，模型會提供相應的判斷。 簡而言之，機器學習是從經驗數據中獲得模型，進而預測未來。 一般的機器學習流程是輸入數據、訓練模型、模型預測，輸入的數據是數據 集，其中每一條記錄稱為一個示例，示例中包含對象的屬性，如果示例信息中包 含標記，那么該示例稱為樣例。 機器學習根據任務類型，可以分為無監督學習、監督學習、半監督學習、強 化學習。其中無監督學習是訓練數據中不包含標記，該任務可以再分為聚類和降 維；監督學習是訓練數據中包含標記，如果標記為離散值，則該任務是分類任務， 如果是連續的，該任務是回歸任務。半監督學習介于監督學習和無監督學習之間， 用大量的未標記訓練數據和少量的已標記數據來訓練模型。強化學習以環境反饋 （獎/懲信號）作為輸入，以統計和動態規劃技術為指導的一種學習方法。

根據算法類型，機器學習可以分為傳統統計學習和深度學習。 傳統統計學習基于嚴格的數學推理，具有可解釋性強、運行速度快、可應用 于小規模數據集的特點。如 SVM、邏輯回歸、決策樹等。 深度學習是基于神經網絡的機器學習方法，包括前饋神經網絡、卷積神經網 絡等。這類方法可解釋性較差，強烈依賴于數據集規模，但在語音、視覺處理方 面很成功。

機器學習在期貨策略應用方面，對于價格預測，顯然上漲和下跌是數據集的 標記，因此可以使用監督學習和深度學習模型，再結合金融理論對期貨價格漲跌 進行預測。

（二）監督學習介紹

這一部分主要對可用于期貨價格預測的8種監督學習方法進行介紹，包括KNN、 SVM、樸素貝葉斯、決策樹、隨機森林、邏輯回歸、線性回歸、BP 神經網絡，這些 方法可以與技術分析理論有機結合。

（1）KNN

KNN 算法多用于分類問題，算法邏輯是先記錄所有已知數據，再使用一個距 離函數，找出已知數據中距離未知事件最近的 K 組數據，最后根據這 K 組中類別 最多的作為預測結果。 距離函數有歐式距離、曼哈頓距離、閔氏距離、漢明距離，在后文中預測價 格時，使用歐式距離。 該算法計算成本較高，一般需要對原始數據進行標準化處理。

（2）SVM

SVM 即支持向量機，一般應用于二分類問題。它將向量映射到一個更高維的 空間里，在這個空間里建立有一個最大間隔超平面，在分類超平面的正負兩邊各 找到一個離分類超平面最近的點（也就是支持向量），使得這兩個點距離分類超平 面的距離和最大。 SVM 算法優化就是為了求出一個最優的分類超平面，使得所有訓練點到超平 面距離大于支持向量，而且支持向量距離超平面的距離越大越好。 現實中數據并不一定線性可分，這是需要使用核函數將原始空間映射到高維 空間。 在線性分類模型中，所有樣本必須全部劃分正確，稱為“硬間隔”，但是在實 際情況中，很難找到合適的核函數使得訓練樣本在特征空間中線性可分，緩解這 個問題的一個辦法是允許支持向量機在一些樣本上出錯，稱為“軟間隔”，求解出 “軟間隔支持向量”。在進行期貨價格預測時，我們使用軟間隔支持向量。

（3）樸素貝葉斯

該算法是建立在貝葉斯理論上的分類方法，它的假設條件是自變量之間相互 獨立，即假定某一特征的出現與其它特征無關。 樸素貝葉斯的模型易于建造，并且在分析大量數據問題時效率很高。雖然模 型簡單，但很多情況下工作得比非常復雜的分類方法還要好。 算法主要是使用先驗概率和條件概率計算后驗概率，把問題轉化為易于觀察 解決的問題。

（4）決策樹

決策樹符合人類解決問題的自然處理機制，是基于樹結構來進行決策的，其 中每個內部節點表示一個屬性上的判斷，每個分支代表一個判斷結果的輸出，最后每個葉節點代表一種分類結果。 決策樹算法首先從訓練集的多個屬性中，篩選出分類能力較強的特征，然后 從根節點出發，計算所有特征的信息增益，選擇信息增益最大的特征作為節點特 征，根據該特征的不同取值建立子節點，對每個子節點使用相同的方式生成新的 子節點，直到信息增益很小或者沒有特征可以選擇為止。 決策樹常常還有預剪枝、后剪枝、限定高度操作，以此提高訓練效率、降低 過擬合風險。

（5）隨機森林

隨機森林是以決策樹為基礎的集成算法模型，包含多個決策樹。在給一個新 的觀察值分類時，每一個決策樹都會給出一個分類，隨機森林則選出投票最多的 分類作為分類結果。 每棵決策樹的構建遵循一下流程： 1、如果訓練集有 N 條數據記錄，那么有放回隨機抽取 N 條，作為該棵決策樹 的訓練集； 2、如果有 M 個特征，則隨機抽取 m（m< M）個特征進行訓練。 3、每棵樹都盡最大程度的生長，并且沒有剪枝過程。 重復以上步驟，得到多棵決策樹，進而形成隨機森林。

（6）線性回歸

線性回歸是利用連續性變量來估計實際數值，通過線性回歸算法找出自變量 和因變量間的最佳線性關系，確定一條最佳直線，這個回歸關系可以用 Y=aX+b 表 示，求解過程利用最小二乘法。 線性回歸主要有兩種：一元線性回歸和多元線性回歸。一元線性回歸只有一 個自變量，而多元線性回歸有多個自變量。 以一元線性回歸為例，方程為：Y=a*X+b，通過最小化因變量誤差和得到 a 和 b 的最佳估計。

（7）邏輯回歸

邏輯回歸算法名字叫回歸，但是是一個分類算法，屬于對數線性模型。LR 本質上是一個線性模型再套上一個 Sigmoid 函數，這樣把數據映射到【0， 1】區間。

（8）BP 神經網絡

神經網絡是機器學習中的一種模型，是一種模仿生物神經網絡行為特征，進 行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調 整內部大量節點之間相互連接的關系，從而達到處理信息的目的。 生物神經網絡中最基本的成分是神經元，每個神經元與其他神經元相連，如 果某個神經元的電位超過一個閾值時，那么它就被激活，向其它神經元發送信號。 常見的神經網絡如圖表中所示，包含輸入層、單隱層、輸出層。每個神經元 與下一層神經元全互連，神經元之間不存在同層連接，也不存在跨層連接，這種 神經網絡也稱為“多層前饋神經網絡”。

現實任務中的神經網絡模型，大多是通過誤差逆傳播算法（BP 算法）訓練得 到，即 BP 神經網絡。BP 算法基于梯度下降策略，以目標的負梯度方向進行調整。 對每個訓練樣例，BP 算法執行如下操作：先將輸入示例提供給輸入層神經元， 然后逐層將信號前傳，直到產生輸出層的結果，然后計算輸出層的誤差，再將誤 差逆向傳播至隱藏層神經元，最后根據隱層神經元的誤差來對連接權和閾值進行 調整，該過程循環進行，直到達到某些停止條件為止。

二、技術分析應用

這一部分主要介紹技術分析的三大假設和形態理論，為后文結合機器學習構 建策略提供理論基礎。

（一）三大假設

技術分析第一假設：市場行為涵蓋一切信息。 市場的投資者在決定交易行為時，已經充分考慮了影響市場價格的各項因素。 因此，只要研究市場交易行為就能了解目前的市場狀況，而無須關心背后的影響 因素。 根據有效市場假說認為，在法律健全、功能良好、透明度高、競爭充分的市 場中，一切有價值的信息已經及時、準確、充分地反映在價格走勢當中。 與有效市場理論相似的隨機漫步理論則認為，價格形成是市場對隨機到來的 事件信息作出的反應，現今的價格已基本反映了供求關系，具有隨機漫步的特點， 其變動路徑沒有任何規律可循。 技術分析第二假設：價格沿趨勢運動。 趨勢是分析價格走勢的核心，當出現某種趨勢的時候，下一步往往會沿著這個趨勢運行。 根據物理學上的動力法則，趨勢的運行將會延續，直到有反轉的跡象產生為 止。事實上價格雖上下波動，但終究是朝一定的方向運行，這當然也是牛頓慣性 定律的應用，因此技術分析法希望利用圖形或指標分析，盡早確定目前的價格趨 勢及發現反轉的信號，以掌握時機進行交易并獲利。

技術分析第三假設：歷史會重演。 當 K 線形態出現過后，后市還可能會再出現這些形態，并且指導意義是相同 的，投資者可根據過去的形態，對后市作出判斷。 這個假設是從人的心理因素方面考慮的。期貨投資是一個追求利潤的行為， 這個動機始終不會改變。在這種心理狀態下，人的交易行為將趨于一定的模式， 進而導致歷史重演。因此過去價格的變動方式，在未來可能不斷發生，值得投資 者研究，并且利用統計分析的方法，從中發現一些有規律的圖形，整理一套有效 的操作原則。 技術分析是基于以上三大假設，但是對于假設的合理性也存在較多爭議。例 如認為市場價格不可能完全反應所有信息，市場行情千變萬化，不可能出現歷史 中相同的行情。 基于技術分析的三大假設，形成了很多技術分析方式，那么這其中的形態理 論基于歷史會重演，該分析方法最容易與機器學習結合，進而構建相應的策略。

（二）形態理論

形態理論是通過研究價格所走過的軌跡，發現多空雙方力量的強弱，進而指 導市場交易。 趨勢的方向發生變化一般不是突然來到的，變化都有一個發展的過程。形態 理論通過研究價格曲線的各種形態，發現價格的運動方向。 技術分析形態分為持續整理形態和反轉突破形態。前者保持平衡，后者打破 平衡。持續整理形態：包括三角形、矩形、旗形和楔形；反轉突破形態：包括頭 肩頂（底）、雙重頂（底）、圓弧頂（底）、喇叭形以及 V 形反轉形態。

根據形態理論，當前的價格走勢會符合其中的一種形態，進而可以判斷未來 價格走勢，但是往往是一個概率事件。 在實操交易中，我們結合當下的價格走勢，通過復盤歷史行情，找到歷史當 中與當前最為吻合的行情或者形態，進而判斷未來價格。 如果將形態理論擴展，我們從歷史中找到與當前最相似的行情，不一定是某 種形態，那么如果歷史會重演，據此我們就可以判斷未來價格走勢，而通過肉眼 觀察的歷史相似價格走勢，在數量和質量上存在較大的局限性，而機器學習方法 可以解決這一問題，比如 KNN 算法就可以找到歷史中多個相似特征的歷史價格走 勢，輔助判斷價格，后文中基于以上分析，將 8 種機器學習方法應用到期貨價格 預測中。

三、機器學習與技術分析結合策略回測

這一部分主要是基于第二部分技術分析理論，使用第一部分的 8 種機器學習 方法訓練模型，進而形成策略。

（一）策略構建

（1）根據歷史會重演理論，歷史數據越多越好，訓練模型選取的品種主要是 國內期貨市場上市時間較長的品種。

（2）各品種使用主力期貨合約數據，多數品種數據是從上市日期開始一直到 2022 年，但是銅、鋁、豆粕、棉花、天然橡膠從 2004 年開始，豆油、白糖、PTA 從 2006 年開始。 各品種均使用 80%數據作為訓練集，剩余 20%作為測試集，構建策略主要是在 測試集上。

（3）根據第二部分技術分析，形態理論中，通過觀察前期的 K 線形態，預測 后續將會完成的形態，進而判斷價格趨勢，那么前期每個交易日的開盤價、最高 價、最低價、收盤價可以算作是各個特征，而未來的價格漲跌形成標記。通過監 督學習算法，輸入訓練集中各個特征數據，以漲跌為標記，即可訓練出模型用于 測試集。

假設觀察前期 n1 個交易日的開盤價、最高價、最低價、收盤價，則共計 4*n1 個特征，將特征進行標準化處理（這里將當日價格作為除數進行歸一化處理）以 去除量綱影響，對應預測未來 n2 個交易日的漲和跌，標記分別為 1 和-1。 報告中 n1 取 10 到 100 個交易日，步長為 10，n1>n2，這樣一個算法參數下 有 45 個組合。 各種算法，比如 KNN，通過訓練集構建模型，然后在測試集上測試，可以理 解為找到歷史中最為相似的價格形態進行預測，此方法與實際交易最為接近；對 于 SVM，相當于使用超平面將訓練集劃分為漲和跌兩類；對于 LS，使用漲跌幅度 進行回歸；綜合來看，各種算法相當于將過去 n1 個交易日的形態映射到一個空間 中進行分類，進而預測未來 n2 個交易日的漲跌。 （4）策略在測試集上進行構建，每個交易日進行滾動預測，每次開倉為 1/n2 單位資金，開平倉交易成本設置為 0.0001。

（二）策略回測

這一部分是通過訓練模型，然后在測試集上形成策略。分別從算法角度、品 種角度以及綜合角度，測試機器學習基于技術分析構建策略的效果。

1、算法角度

根據前文分析，分別對各個品種進行 8 種監督學習算法的訓練和測試。 算法角度是指觀察每種算法下各個品種測試集策略的表現。 具體來說，主要衡量指標為卡瑪比率均值，即在該算法下各個參數組合的卡 瑪比率平均值，然后找到表現最優的品種中表現最優的參數，畫出收益率曲線。

從結果來看，KNN、SVM、決策樹、隨機森林、BP 神經網絡算法下表現最優的 均為焦煤，測試集的最優參數卡瑪比率甚至超過 6，主要原因是焦煤的測試集主 要從 2021 年開始，而 2021 年和 2022 年焦煤趨勢行情較多，與 2016 年的焦煤行情接近，比較符合報告的策略思想。 樸素貝葉斯表現最優的為豆油，卡瑪比率為 1.82；線性回歸為白銀，卡瑪比 率為 2.33；邏輯回歸為菜粕，卡瑪比率為 2.03。

2、品種角度

相比于算法角度，品種角度是指品種在各算法下的表現，這里分成黑色、有 色、化工、軟商品、農產品 5 個板塊進行分析。

① 黑色板塊

黑色板塊對螺紋鋼、熱卷、焦炭、焦煤、鐵礦石、玻璃 6 個品種進行測試。

從測試結果來看，焦煤各算法下表現均較好，各算法卡瑪比率均值均大于零， KNN 最優，螺紋鋼、熱卷、焦炭、鐵礦表現最優的算法是 SVM，玻璃最優的是線 性回歸，但是其他算法均不佳，卡瑪比率均值都為負值。

② 有色板塊

有色板塊對銅、鋁、鋅、黃金、白銀 5 個品種進行測試。

從測試結果來看，銅、鋁、白銀各算法下表現均較好，各算法卡瑪比率均值 均大于零，黃金最優的是線性回歸。

③ 化工板塊

化工板塊對 PTA、甲醇、塑料、聚丙烯、PVC 共計 5 個品種進行測試。

從測試結果來看，各個品種的的最優算法均不同，其中甲醇的樸素貝葉斯算 法表現最優，最優參數的卡瑪比率達到 2.88。

④ 軟商品板塊

軟商品板塊對棉花、白糖、橡膠 3 個品種進行測試。

三個品種的最優算法均為線性回歸，棉花表現整體較好，最優參數卡瑪比率 達到 1.88。

⑤ 農產品板塊

農產品板塊對豆粕、菜粕、棕櫚油、菜油、豆油 5 個品種進行測試。

從測試結果來看，豆粕和菜粕表現較好，各算法卡瑪比率均值多數大于零， 且表現最優的算法為邏輯回歸。

⑥ 全品種

將各個板塊最優組合收益率曲線再次組合、

全品種最優組合的卡瑪比率為 7.42，大幅優于各個板塊，顯示出跨板塊組合 的效果較好。

3、整體角度

以上是通過算法角度和品種角度看策略效果，這里進行整體分析。分別計算 各算法下所有品種的策略卡瑪比率均值。

卡瑪比率會出現負值情況，結果會存在偏差，下面從年化收益率角度進行分 析。

從整體年化收益率角度可以看出，表現較好的算法依次是 SVM、隨機森林、 KNN、決策樹，表現較好的品種依次是焦煤、銅、白銀、鋁、豆油、豆粕、菜粕。

（三）回測總結

這一部分根據前兩部分的機器學習和技術分析理論分析，構建國內期貨品種策略。 以過去一段時間的價格作為各個特征值，以未來一段時間的漲跌作為標記， 各種算法相當于將過去 n1 個交易日的形態映射到一個空間中進行分類，進而預 測未來 n2 個交易日的漲跌。那么使用模型對測試集進行預測的過程，相當于在歷 史數據的訓練集中找到最為接近的行情，以此作為預測結果。 報告從算法角度和品種角度進行分析。算法中多個算法表現最好的品種為焦 煤，主要是測試集行情與訓練集中的 16 年行情較為接近；各品種中表現較好的算 法多為 SVM 和線性回歸。通過組合各算法下表現最優的品種收益曲線，發現相比 于單個算法，卡瑪比率優化幅度有限，而通過組合各品種板塊，發現卡瑪比率超 過了 7，得到較大優化，跨板塊組合的效果較好。 從整體卡瑪比率和年化收益率角度可以看出，表現較好的算法均為 SVM、隨 機森林、KNN、決策樹，表現較好的品種均為焦煤、銅、白銀、鋁、豆油、豆粕、 菜粕。

四、總結與建議

第一部分主要介紹機器學習相關內容。 根據任務類型，機器學習可以分為無 監督學習、監督學習、半監督學習、強化學習。其中監督學習是訓練數據中包含 標記，在期貨價格預測中，漲和跌可作為標記，因此監督學習適合進行價格預測。 報告對 KNN、SVM、決策樹、隨機森林等 8 種監督學習方法進行介紹，為下文做鋪 墊。 第二部分對技術分析的三大假設和形態理論進行分析。根據形態理論，當前 的價格走勢會符合其中的一種形態，進而可以判斷未來價格走勢，如果將形態理 論擴展，我們從歷史中找到與當前最相似的行情，不一定是某種形態，那么如果 歷史會重演，我們就可以判斷未來價格走勢。而機器學習方法如 KNN 等算法與該 思想較為一致，可以輔助進行價格判斷。

在前兩部分分析基礎上，第三部分對國內上市時間較長的期貨品種進行策略 構建。以過去一段時間的價格作為各個特征值，以未來一段時間的漲跌作為標記， 各種算法相當于將過去多個交易日的形態映射到一個空間中進行分類，進而預測 未來價格的漲跌。從算法和品種兩個角度進行分析，算法中多個算法表現最好的 品種為焦煤；各品種中表現較好的算法多為 SVM 和線性回歸。通過組合各算法下 和各品種板塊收益曲線，發現板塊組合卡瑪比率超過了 7，得到較大優化，跨板 塊組合的效果較好。 從整體卡瑪比率和年化收益率兩個角度來看，表現較好的算法均為 SVM、隨 機森林、KNN、決策樹，表現較好的品種均為焦煤、銅、白銀、鋁、豆油、豆粕、 菜粕，可以主要對這些品種使用機器學習方法輔助預測和策略構建。

編輯：999感冒靈