針對vnpy的mongodb資料庫,合併多個主力合約行情為連續行情資料
最近在做股指期貨的策略實現,發現股指期貨的主力合約是按月變化,比起商品期貨4個月或者半年一切換更為頻繁,之前商品期貨還可以手動做切換主力月資料回測,股指期貨一定要做合併連續主力行情資料。
通常主力合約生效時間段就是上月合約交割日到當月合約交割日,比如IC1902, 這個19年2月合約,作為主力合約的時間就是上月合約IC1901交割日(2019年1月18日)到IC1902交割日(2019年2月15日)這段時間。IC1902可能存在的行情資料可能好幾個月,但其作為主力合約行情就是按照IC1902時間倒退一個月資料,那麼只要抓起IC1902倒數1個月資料就可以。
當時實際上,可能在交割前幾天比如 2019年1月16日, IC1902的交易量就大於未交割合約,那麼其實從2019年1月16日,主力合約就是IC1902了,所以還是要考慮交易量對比。
那麼整理下思路:
1. 我們需要有多個股指期貨合約資料,比如IC1902,IC1901.....;這些資料至少是從結束交割日倒退之前兩個月行情,
2. 建立一個放置連續主力合約行情的collection IC.hot,用來存放連續行情,
3. 按照時間從今到前取讀取collections, 比如按照 IC1902, IC1901, IC1812.....讀取collection,讀取出來資料按datetime倒排,然後保險起見取結束日往前兩個月行情,一天行情有240分鐘,兩個月不考慮節假日取14400條,
4. 插入IC1902的最後兩個行情,這裡開始做判斷
4.1 如果這個時間沒有同樣時間點bar資料,那麼可能是IC.hot為空,直接插入
4.2 如果有,判斷新插入bar的交易"volume",如果大於已有bar的交易量,可以替代,同時可以反推之前時點都是IC1902為主力
4.3 如果確認IC1902為主力合約,那麼之後所以都插入。
from pymongo import MongoClient from pymongo import DESCENDING from vnpy.trader.vtObject import * from vnpy.trader.vtGlobal import globalSetting if __name__ == "__main__": dbClient = MongoClient(globalSetting['mongoHost'], globalSetting['mongoPort'], connectTimeoutMS=500) db = dbClient["VnTrader_1Min_Db"] # 連線資料庫VnTrader_1Min_Db, 此處出發一分鐘bar collectionlist = [db["IC1902"],db["IC1901"],db["IC1812"],db["IC1811"],db["IC1810"],db["IC1809"],db["IC1808"], db["IC1807"],db["IC1806"],db["IC1805"],db["IC1804"],db["IC1803"],db["IC1802"]] targetcol = db["IC.hot"] # 讀取collection ID902.... 和目標collection IC.hot for collection in collectionlist: l = collection.find({}).sort("datetime", DESCENDING).limit(14400) #按照datetime倒序,抓取約2個資料 beMajor = False #主力合約標識定義為False for bar in l: #按照一分鐘bar遍歷 del bar["_id"] #讀取的bar是字典集,算出key ”_id", 不然覆蓋會提示不可改key失敗 flt = {'datetime': bar["datetime"]} #用datetime為關鍵欄位查詢 if beMajor == False: oldbar = targetcol.find_one(flt) #讀取IC.hot裡面已有的同一個時間的bar if oldbar is None: targetcol.update_one(flt, {'$set': bar}, upsert=True) print(bar["date"], bar["time"]) #如果沒有已有時間bar,插入 else: if bar["volume"] > oldbar["volume"]: beMajor = True targetcol.update_one(flt, {'$set': bar}, upsert=True) print(bar["date"], bar["time"]) #如果有,判斷IC1902的bar和已有的bar的量大小,如果IC1902比較多,那麼反推之前的就是IC1902為主力,插入並更新主力標誌 else: pass else: targetcol.update_one(flt, {'$set': bar}, upsert=True) print(bar["date"], bar["time"]) #如果IC1902為主力,直接插入
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/22259926/viewspace-2637607/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 針對vnpy的不同期貨品種行情資料清理
- VNPY 行情資料中非行情資料清理
- 利用聚寬(Joinquant)資料來源為vnpy新增期貨行情資料
- mysql資料庫多表同結構合併資料MySql資料庫
- 針對不同場景的Python合併多個Excel方法PythonExcel
- Java怎麼把多個物件的list的資料合併Java物件
- 時序資料庫 TDengine 簽約華銳技術,助力行情資料處理分析資料庫
- 兩個歷史表的資料合併
- merge into合併資料
- 為VNPY增加資料庫記錄交易資料功能資料庫
- 【SQL】Oracle資料庫監控sql執行情況SQLOracle資料庫
- Mongodb資料庫連線MongoDB資料庫
- pandas 兩列資料合併
- Excel 快速合併多行資料為一行Excel
- VNPY使用一個方法處理多個事件EVENT,來計算期貨單個合約資金比率事件
- 從業務連續性到資料安全合規,企業該如何應對?
- Oracle連線MongoDB資料庫OracleMongoDB資料庫
- 資料檔案合併與拆分
- PHP的工資行情PHP
- MS SQL資料庫中合併複製詳解SQL資料庫
- 多個excel合併Excel
- Yii連線多個資料庫的方法資料庫
- mysql將多行資料合併或按組合並MySql
- 關聯式資料庫和NoSQL結合使用:MySQL + MongoDB資料庫MySqlMongoDB
- 實戰資料結構(3)_兩個單連結串列間的合併操作資料結構
- Laravel 使用多個資料庫連線Laravel資料庫
- el-table 合併相同資料的列
- el-table合併相同資料的行
- SparkSQL:Parquet資料來源之合併後設資料SparkSQL
- 資料處理之欄位合併
- 資料結構--線段樹合併資料結構
- oracle資料庫連續相同資料的統計方法Oracle資料庫
- MS SQL Server資料庫中合併複製詳解SQLServer資料庫
- 為鏈上的智慧合約開發者提供全面的工具和資料
- GoCardless提升資料質量與實施資料合約的7個關鍵經驗Go
- Excel合併單元格資料的方法教程Excel
- 2.6 Laravel配置多個資料庫連線Laravel資料庫
- Oracle資料庫中的表連線方式及使用場合Oracle資料庫