請教 linux, bash的先進、專家。我需要下載一些 gene data sets. 在網上找到了用
cat file | xargs wget 這樣的 commands. 但是研究單位裡要求一次只能同時下載8個
檔案，第一批8個檔案下載完，再接著下載第2批8個檔案，直到所有檔案下載。請教一下以下問題
(1) 不知道我以下的code要如何改，才能一次頂多下載8個檔案?
(2) 如果有些檔案已經先部分下載了，用 wget --continue是否可以重啟下載?
(3) 如果有些檔案已經先完全下載了，該如何避免重複下載?
以下是我的code. cat接的檔案是下載檔案的路徑。這一個有63個路徑。其他的還有幾百個。
# Change current directory to the output folder
cd ${dir_PRJNA579178}
cat ${dir_PRJNA579178}/data-access-download-links_no-header.tsv | wc -l
# 63
# Change end of file symbol to Linux
dos2unix data-access-download-links_no-header.tsv
# Download files in current directory without having to specify output file
paths
## xargs -n 1: cat will pass one argument at a time (-n 1) to wget
## xargs -P 8 wget: execute at most 8 parallel wget processes at a time (-P 8)
cat data-access-download-links_no-header.tsv | xargs -n 1 -P 8 wget
--limit-rate=2m
感謝指教
--
