想知道Python的資料驅動程式設計框架Da0tabot是怎麼執行?
前言
Da0tabot是用於 Web 爬蟲、ETL、資料管道任務開發的高效能 Python 資料驅動程式設計框架。
**
特性:**
- 資料驅動程式設計框架
- 基於協程的並行
- 基於型別和內容的函式路由
安裝:
pip install -U databot
Databot is…
簡單
每2秒載入一次CoinDesk比特幣價格. 高階價格聚合案例參見 here.
from databot.flow import Pipe, Timer
from databot.botframe import BotFrame
from databot.http.http import HttpLoader
def main():
Pipe(
Timer(delay=2), # send timer data to pipe every 2 sen
"http://api.coindesk.com/v1/bpi/currentprice.json", # send url to pipe when timer trigger
HttpLoader(), # read url and load http response
lambda r: r.json[`bpi`][`USD`][`rate_float`], # read http response and parese as json
print, # print out
)
BotFrame.render(`simple_bitcoin_price`)
BotFrame.run()
main()```
流程圖形化
databot 生成的流程圖:
![](https://yqfile.alicdn.com/bf817f05db212da5438a3d02eb60c10b304a0862.png)
>小編推薦一個學python的學習qun 740322234
無論你是大牛還是小白,是想轉行還是想入行都可以來了解一起進步一起學習!裙內有開發工具,很多幹貨和技術資料分享!
**快速**
節點並行執行可以很好的處理流資料
**視覺化**
執行函式: BotFrame.render(`bitcoin_arbitrage`) Databot 將會把資料處理流程生成為 graphviz 圖片:
https://github.com/kkyon/databot/blob/master/examples/bitcoin_arbitrage.png
**可重放**
配置可重放模式: config.replay_mode=True 異常發生在第N步的時候,不用從第一步執行到第N步,Databot可以從完成的最近點(通常是第N-1步)重新開始執行,在開發階段可以節約很多時間。
相關文章
- 程式是怎麼執行的
- 程式碼是怎麼執行的?
- python程式設計怎麼換行Python程式設計
- 資料驅動的介面設計
- 大家是怎麼程式設計的程式設計
- 請教:域驅動設計和模型驅動設計是什麼樣的關係模型
- 學Python的方法是什麼 怎麼能學好Python程式設計Python程式設計
- 『JVM』我不想知道我是怎麼來滴,我就想知道我是怎麼沒滴JVM
- 驅動精靈是幹嘛的 驅動精靈怎麼安裝驅動
- 荷蘭銀行構建可擴充套件的後設資料驅動的資料攝取框架套件框架
- V8是怎麼執行JS程式碼的JS
- 程式設計模式-表驅動程式設計程式設計設計模式
- 程式執行緒新解:什麼是程式?什麼是執行緒?執行緒
- 事件驅動程式設計事件程式設計
- python 多執行緒程式設計Python執行緒程式設計
- Python多執行緒程式設計Python執行緒程式設計
- 如何進行“資料採集系統”的領域驅動設計
- Java的併發程式設計中的多執行緒問題到底是怎麼回事兒?Java程式設計執行緒
- Posix執行緒程式設計指南(2)-執行緒私有資料 (轉)執行緒程式設計
- gops 是怎麼和 Go 的執行時進行互動的?Go
- 不要再問我Java程式是怎麼執行的了!Java
- 程式設計興趣真的是由“熱情”驅動的嗎?程式設計
- python多執行緒程式設計2—執行緒的建立、啟動、掛起和退出Python執行緒程式設計
- Windows驅動程式框架Windows框架
- python怎麼執行dirPython
- 執行計劃沒變,執行時快時慢是怎麼回事?
- python多執行緒程式設計1— python對多執行緒的支援Python執行緒程式設計
- iPhone上也能執行AI模型,瞧瞧別人家的程式設計師是怎麼用Core ML的iPhoneAI模型程式設計師
- Python多執行緒程式設計(二)Python執行緒程式設計
- java學習Java程式設計:什麼是守護執行緒?Java程式設計執行緒
- 關於《深入理解計算機系統》 程式碼是怎麼執行的計算機
- 什麼是DDD領域驅動設計的統一語言?
- 怎麼停止spyder執行的程式
- C#多執行緒程式設計(1):執行緒的啟動C#執行緒程式設計
- python UDP程式設計是什麼意思?PythonUDP程式設計
- 再談“我是怎麼招聘程式設計師的”程式設計師
- Aaron Swartz:我是怎麼招聘程式設計師的程式設計師
- 關於資料驅動設計的6個誤區