在上一篇文章中，我著重於從計算和數學視角理解強化學習，以及我們在業務中使用演算法時面臨的挑戰。
在本文中，我將探討強化學習在交易中的應用。金融行業一直在探索人工智慧和機器學習的應用，但金融風險讓人們不願這麼做。近年來，傳統的演算法交易得到了發展，如今高計算能力的系統已經實現了任務的自動化，但交易員們仍然要負責制定交易決策。一個股票購買演算法模型可能會基於一份估值和增長指標條件清單，來定義一個“買入”或“賣出”訊號，然後由交易員定義的某些特定規則觸發。
例如，這個演算法可能很簡單，只要在收盤時觀察標準普爾指數比過去30天的高點還要高，就買入，或者該指數比過去30天的低點還低，就平倉。這些規則可以是趨勢跟蹤、反趨勢或基於自然界的模式。不同的技術分析師不可避免地會對模式和確認條件有不同的定義。
為了使這種方法系統化，交易員必須指定精確的數學條件，以清楚地確定是否形成了頭肩頂模式（譯者注：頭肩頂（Head & Shoulders Top）是股票價格和市場指數最為常見的倒轉形態圖表之一。頭肩頂形態為典型的趨勢反轉形態，是在上漲行情接近尾聲時的看跌形態，圖形以左肩、頭部、右肩及頸線構成[1]。），以及確定確認該模式的精確條件。
在當前金融市場的先進機器學習領域，我們可以看看在2017年10月亮相的EquBot公司的AI型交易所交易基金(AI-based Exchange Traded Funds ETFs )。EquBot將這些ETFs 自動化，收集來自數千家美國公司的市場資訊、超過100萬個市場訊號、季度新聞文章和社交媒體帖子。
一個給定的ETF可能會選擇30到70家有很高市場升值機會的公司，它將從每筆交易中繼續學習。另一個知名的市場參與者Horizons也推出了類似的主動AI全球ETF (Active AI Global ETF)，這款ETF利用包括交易員制定策略在內的監督機器學習技術開發而成。使用監督學習方法，人工交易員幫助選擇閾值、解釋延遲、估計費用等等。
Fig1：使用監督學習技術的交易流程圖（譯者注：紙交易（paper trading），即在模擬賬戶中進行交易[2]。）
當然，如果要完全自動化，人工智慧驅動的交易模型必須比預測價格做得更多。它需要一個基於規則的策略，將股票價格作為輸入，然後決定是買入、賣出還是持有。
2018年6月，摩根士丹利(Morgan Stanley)任命賓夕法尼亞大學(University of Pennsylvania)的電腦科學家邁克爾•卡恩斯(Micheal Kearns)擔任執行長，以擴大人工智慧的應用。在接受彭博社採訪時，卡恩斯博士指出，“雖然標準的機器學習模型對價格進行預測，但它們沒有具體說明行動的最佳時間、交易的最佳規模或交易對市場的影響。” 他補充說：“通過強化學習，你正在學習如何預測你的行為對市場狀況的影響。”
強化學習允許端到端優化和最大化回報。至關重要的是，強化學習模型本身會調整引數，以使其接近最優結果。例如，我們可以想象，當下跌超過30%時，會產生巨大的負面回報，這迫使模型考慮使用另一個策略。我們也可以建立模擬來改善在關鍵情況下的反應。例如，我們可以在強化學習環境中模擬延遲，以便為模型生成負面激勵。這種負面回報反過來又迫使模型學習應對延遲的變通方法。類似的策略允許模型隨著時間的推移自動調整，不斷地使其更強大和適應性更強。
Fig2：使用強化學習模型進行交易的流程圖
在IBM，我們在DSX平臺（IBM Data Science Experience （DSX））上建立了一個複雜的系統，利用強化學習的力量進行金融交易。該模型利用歷史股票價格資料，通過在每一步中採用隨機策略進行訓練，並根據每筆交易的盈虧來計算回報函式。
“IBM資料科學體驗平臺（DSX）是一個企業資料科學平臺，它為團隊提供了最廣泛的開源和資料科學工具，以滿足任何技能需求，在多雲環境中構建和部署任何地方的靈活性，以及更快地操作資料科學成果的能力。”
以下圖表示了將強化學習方法與金融交易應用在一起的使用案例。
Fig3：強化學習交易模型
我們使用alpha指標(積極的投資回報,ROI)來衡量強化交易模型的表現，並根據代表市場整體走勢的市場指數來評估投資的表現。最後，我們以一個簡單的買入&持有策略模型和ARIMA-GARCH策略模型來進行模型評估對比。我們發現，該模型根據市場走勢進行了非常精細的調節，甚至可以捕捉到頭肩頂的模式，這些都是可以預示市場逆轉的重要趨勢。
強化學習可能並不適用於所有業務場景，但它捕捉金融交易微妙之處的能力肯定會顯示出它的複雜性、威力和更大的潛力。
請繼續關注我們在更多業務場景中測試強化學習的能力!
[1] 百度百科：
https://baike.baidu.com/item/%E5%A4%B4%E8%82%A9%E9%A1%B6
[2] https://www.avatrade.cn/education/trading-for-beginners/paper-trading.html
原文標題：
Reinforcement Learning: The Business Use Case, Part 2
原文連結：
https://www.kdnuggets.com/2018/08/reinforcement-learning-business-use-case-part-2.html