Airflow 中文文件:用Dask擴充套件

sas???發表於2018-11-29

DaskExecutor允許您在Dask分散式群集中執行Airflow任務。

Dask叢集可以在單個機器上執行,也可以在遠端網路上執行。 有關完整詳細資訊,請參閱分散式文件

要建立叢集,首先啟動排程程式:

 # default settings for a local cluster
DASK_HOST = 127 .0.0.1
DASK_PORT = 8786

dask-scheduler --host $DASK_HOST --port $DASK_PORT

接下來,在任何可以連線到主機的計算機上啟動至少一個Worker:

dask-worker $DASK_HOST : $DASK_PORT

閱讀全文/改進本文

相關文章