想知道Python的資料驅動程式設計框架Da0tabot是怎麼執行?
前言
Da0tabot是用於 Web 爬蟲、ETL、資料管道任務開發的高效能 Python 資料驅動程式設計框架。
**
特性:**
- 資料驅動程式設計框架
- 基於協程的並行
- 基於型別和內容的函式路由
安裝:
pip install -U databot
Databot is…
簡單
每2秒載入一次CoinDesk比特幣價格. 高階價格聚合案例參見 here.
from databot.flow import Pipe, Timer
from databot.botframe import BotFrame
from databot.http.http import HttpLoader
def main():
Pipe(
Timer(delay=2), # send timer data to pipe every 2 sen
"http://api.coindesk.com/v1/bpi/currentprice.json", # send url to pipe when timer trigger
HttpLoader(), # read url and load http response
lambda r: r.json[`bpi`][`USD`][`rate_float`], # read http response and parese as json
print, # print out
)
BotFrame.render(`simple_bitcoin_price`)
BotFrame.run()
main()```
流程圖形化
databot 生成的流程圖:
![](https://yqfile.alicdn.com/bf817f05db212da5438a3d02eb60c10b304a0862.png)
>小編推薦一個學python的學習qun 740322234
無論你是大牛還是小白,是想轉行還是想入行都可以來了解一起進步一起學習!裙內有開發工具,很多幹貨和技術資料分享!
**快速**
節點並行執行可以很好的處理流資料
**視覺化**
執行函式: BotFrame.render(`bitcoin_arbitrage`) Databot 將會把資料處理流程生成為 graphviz 圖片:
https://github.com/kkyon/databot/blob/master/examples/bitcoin_arbitrage.png
**可重放**
配置可重放模式: config.replay_mode=True 異常發生在第N步的時候,不用從第一步執行到第N步,Databot可以從完成的最近點(通常是第N-1步)重新開始執行,在開發階段可以節約很多時間。
相關文章
- python程式設計怎麼換行Python程式設計
- 程式碼是怎麼執行的?
- 學Python的方法是什麼 怎麼能學好Python程式設計Python程式設計
- 大家是怎麼程式設計的程式設計
- python 多執行緒程式設計Python執行緒程式設計
- Python多執行緒程式設計Python執行緒程式設計
- 什麼是DDD領域驅動設計的戰略設計?
- 什麼是DDD領域驅動設計的戰術設計?
- 程式設計模式-表驅動程式設計程式設計設計模式
- 什麼是領域驅動設計(DDD)?- mathias
- Python驅動ansys執行apdl檔案Python
- 荷蘭銀行構建可擴充套件的後設資料驅動的資料攝取框架套件框架
- V8是怎麼執行JS程式碼的JS
- 驅動精靈是幹嘛的 驅動精靈怎麼安裝驅動
- Selenium–資料驅動(python)Python
- Java的併發程式設計中的多執行緒問題到底是怎麼回事兒?Java程式設計執行緒
- 『JVM』我不想知道我是怎麼來滴,我就想知道我是怎麼沒滴JVM
- Python系統程式設計之執行緒Python程式設計執行緒
- gops 是怎麼和 Go 的執行時進行互動的?Go
- python怎麼執行dirPython
- 領域驅動設計中的聚合是什麼? - James Hickey
- python UDP程式設計是什麼意思?PythonUDP程式設計
- 不要再問我Java程式是怎麼執行的了!Java
- iPhone上也能執行AI模型,瞧瞧別人家的程式設計師是怎麼用Core ML的iPhoneAI模型程式設計師
- 新手能轉行學Python嗎 怎麼能學好Python程式設計Python程式設計
- 什麼是Python執行緒?Python執行緒如何建立?Python執行緒
- 基於Python的介面自動化-unittest測試框架和ddt資料驅動Python框架
- 關於《深入理解計算機系統》 程式碼是怎麼執行的計算機
- 怎麼停止spyder執行的程式
- 執行計劃沒變,執行時快時慢是怎麼回事?
- Python併發程式設計之執行緒中的資訊隔離(五)Python程式設計執行緒
- 手機怎麼執行pythonPython
- 什麼是DDD領域驅動設計的統一語言?
- 轉行能學Python開發嗎 怎麼能學好Python程式設計Python程式設計
- Python程式設計常用的資料型別Python程式設計資料型別
- .NET非同步程式設計——給執行緒傳遞資料非同步程式設計執行緒
- Python SQLite資料庫程式設計PythonSQLite資料庫程式設計
- 為什麼要進行領域驅動設計? - Vincent