下載facebook資料記錄(還未完成)

天花板上飛著魚發表於2020-11-11

1.下載https://github.com/facebookresearch/LASER/tree/master/tasks/CCMatrix資料

2. 用dl_cc_matrix.py檔案下載解析。

3. import cc_net報錯

https://pypi.org/project/cc-net/#files下載

②只能在python3.7環境下安裝

4.

①建立虛擬環境

conda create -n py37 python=3.7

②啟用環境

conda activate py37

啟用時報錯:

解決:

[xxx]$ source activate
[xxx]$ source deactivate

③進入環境

conda activate py37

④安裝cc_net

pip install ./cc_net-0.0.0-py3-none-any.whl

5.import typing_extensions報錯

pip install typing_extensions

6.執行dl_cc_matrix.py報錯

檢查了一下process_wet_file檔案中沒有CCSegmentsReader

解決:

https://github.com/facebookresearch/cc_net/blob/dev/cc_net/process_wet_file.py下載一份包含CCSegmentsReader的process_wet_file檔案放原目錄下。

7.執行dl_cc_matrix.py報錯

判斷應該是下載沒有開放,暫時無法解決,等待他們開放下載。

相關文章