sra 資料轉成 fastq並改名
把sra資料移動到我們工作目錄後,我們開始sra轉faq。
正式執行程式碼之前,必須先拿一個樣品測試下程式碼能否執行成功,這點很關鍵,因為這步就算成功執行也特別慢,要是程式碼再出錯了就更浪費時間了。
拿第一個樣品做測試
ls SRR5315196.sra |fastq-dump -gzip --split-3 -O ./ SRR5315196.sra
sra-tools 裡的 fastq-dump工具可以將SRR檔案轉換為FASTQ格式,–split-3參數列示如果是雙端測序就自動拆分,如果是單端不受影響。也就是說,–split-3引數可以將PE的sra檔案解壓後的fastq檔案拆分成_1.fastq和_2.fastq,如果示例資料集是SE測序,不會進行拆分。–gzip轉換fastq為壓縮檔案,節省空間。
單個測試成功,那我們就寫迴圈進行批量轉換格式。
cat >sra.sh #寫指令碼 ls SRR* |while read id; do (fastq-dump -gzip
–split-3 -O ./ i d ) 1 > . / {id}) 1>./ id)1>./{id}.sra.log 2>&1;done #多個迴圈 nohup bash sra.sh & #掛後臺執行
這步一定一定記得掛後臺執行(nohup cmd &)因為特別慢,不掛後臺你一掉線就功虧一簣了。
我們解讀下這個寫入指令碼里面的迴圈命令:
ls SRR* 是為了能夠把當前資料夾下所有從NCBI上下載的SRR資料列出來
fastq-dump -gzip --split-3 -O ./ ${id} 這條命令是告訴系統,我要轉換成fastq格式並且要壓縮的;而且表示如果是雙端測序就自動拆分,如果是單端不受影響;-O ./
i
d
表
示
輸
出
(
o
u
t
p
u
t
)
到
當
前
文
件
夾
下
,
文
件
名
前
綴
不
變
(
這
樣
的
話
輸
出
張
這
樣
S
R
R
5315196.
f
a
s
t
q
.
g
z
)
1
>
.
/
{id} 表示輸出(output)到當前資料夾下,檔名字首不變(這樣的話輸出張這樣SRR5315196.fastq.gz) 1>./
id表示輸出(output)到當前文件夾下,文件名前綴不變(這樣的話輸出張這樣SRR5315196.fastq.gz)1>./{id}.sra.log 2>&1 (0.標準輸入;1.標準輸出;2.標準錯誤)這個命令是說,重定向標準輸出到當前檔案下SRR5315197.sra.sra.log檔案,且標準輸出、標準錯誤到一個檔案中(2>&1)
製作config檔案
製作config檔案的作用: 從NCBI上下載SRA資料,之後再轉成 fastq.gz格式,在此過程中把原本的檔名(SRR號)改成在跑流程時可以區分各樣本的檔名,生信分析中 檔案命名很重要,生成fastq檔案時,如果不進行更改操作就會直接生成 SRR****.fastq.gz ,我們不能這樣,只有這些SRR號我們根本不知道這些樣品是些什麼,生信分析很重要的一點就是從檔名上我們就要知道這是個什麼資料。
首先還去NCBI下載SRA資料的那個介面下載個 txt 檔案
下載到自己的電腦上後,匯入到伺服器上
匯入成功後,使用命令:
$ head -1 SraRunTable.txt | tr ‘\t’ ‘\n’|cat -n
檢視該檔案的第一行(表頭)把它轉化成列,並加上行號。
相關文章
- sra轉fastq格式AST
- ncbi下載資料sra和轉換fastq流程AST
- Linux下把sra檔案轉成fastq檔案LinuxAST
- 本地blast的使用及SRA轉fastq,解決sra轉換成fastq後bwa無法識別的問題AST
- 老曹的作業本之sra轉fastqAST
- GEO資料庫下載 SRA資料庫
- voc資料集轉換成coco資料集
- [20181102]資料檔案改名與awr.txt
- 新增多個資料夾進行同時改名
- FastQ檔案格式AST
- Keras 轉換成 Tensorflow 模型格式並使用Keras模型
- Python將經緯度資料轉換成浮點資料Python
- 乾貨 | YOLOV5 訓練自動駕駛資料集,並轉成tensorrt【左側有碼】YOLO自動駕駛
- 如何將高通量測序原始資料上傳到NCBI的SRA(The Sequence Read Archive)資料庫?Hive資料庫
- Vite打包zip並改名為md5sum雜湊案例Vite
- .net接收post請求並把資料轉為字典格式
- Oracle使用RMAN將普通資料檔案轉成ASMOracleASM
- 高中輔導班為何改名成培訓機構了?
- excel表格怎麼轉換成word文件 表格資料轉換到文件Excel
- js將有父子關係的資料轉換成樹形結構資料JS
- JS中的資料型別轉換:String轉換成Number的3種方法JS資料型別
- Oracle blob型別資料轉換成 base64編碼Oracle型別
- 【工業大資料】工廠大資料之資料來源分析;如何挖掘並駕馭大資料的價值,成為“大資料企業”?大資料
- python 將Mnist資料集轉為jpg,並按比例/標籤拆分為多個子資料集Python
- golang實現檔案上傳並轉存資料庫功能詳解Golang資料庫
- 使用遞迴遍歷並轉換樹形資料(以 TypeScript 為例)遞迴TypeScript
- 如何全面解析資料並創造資料故事
- python爬取股票資料並存到資料庫Python資料庫
- LLM並行訓練3-資料並行並行
- 記事本怎麼轉換成excel表格 怎麼把記事本資料生成excel資料Excel
- (12)caffe總結之影像資料轉換成db(leveldb/lmdb)檔案
- win10 分盤如何改名_win10系統盤如何改名Win10
- steam怎麼改名字 steam改名字-118怎麼解決
- 資料結構-並查集資料結構並查集
- 大資料成神之路大資料
- 構建並實現資料抽取、轉換、清洗、脫敏、載入等功能。
- 將UIView轉成UIImage,將UIImage轉成PNG/JPGUIView
- go語言將表資料動態轉成切片(欄位任意擴充)Go