IBM Aspera 提供高速数据传输,用于在本地数据中心和任何主要云环境之间移动大量数据
一 安装aspera-connect
latest version: https://d3gcli72yxqn2z.cloudfront.net/downloads/connect/latest/versions.js
下载
wget -c https://download.asperasoft.com/download/sw/connect/3.8.1/ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz
OR
https://www.ibm.com/aspera/downloads/ 注册账号后可获取最新版的下载地址
wget -c https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/08luo/0/ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.tar.gz
wget -c https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/08luo/0/Connect_User_3.9.7_Linux.pdf
安装
tar xf tar xf ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.tar.gz
sh ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.sh
二 使用
2.1 ascp命令基本用法
**ascp [OPTION] SRC DEST**
常用参数:
- -v Verbose mode
- -i PRIVATE-KEY-FILE Private-key file name (id_rsa)(私钥文件)
- -k RESUME-LEVEL : 0,3,2,1 (断点续传)
- -P SSH-PORT TCP port used for SSH authentication(NCBI为33001)
- -l MAX-RATE Max transfer rate(最大限速)
- -T Disable encryption(不使用加密模式)
为了方便,可把在PATH中创建一个ascp可执行文件 ```bash cat >/usr/local/bin/ascp<<EOF~/.aspera/connect/bin/ascp -T -v \
-i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh \
anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA/gene2refseq.gz .
!/bin/bash
DIR=/path/to/aspera/connect export PATH=\$DIR/bin:\$PATH exec ascp -i \$DIR/etc/asperaweb_id_dsa.openssh -l 200m -k 1 “$@” EOF
chmod 755 /usr/local/bin/ascp
现在你可以直接使用`ascp`命令了<br />![image.png](https://cdn.nlark.com/yuque/0/2019/png/149045/1575441793463-ad7612ec-6058-42ee-85a2-81411f97bdce.png#crop=0&crop=0&crop=1&crop=1&height=157&id=KVWgs&name=image.png&originHeight=157&originWidth=657&originalType=binary&ratio=1&rotation=0&showTitle=false&size=60531&status=done&style=none&title=&width=657)
```bash
ascp -Tv anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA/gene2refseq.gz .
2.2 下载NCBI数据
https://www.ncbi.nlm.nih.gov/public/ https://www.ncbi.nlm.nih.gov/projects/faspftp/ ftp://ftp.ncbi.nlm.nih.gov/
ASCP下载地址:**anonftp@ftp.ncbi.nlm.nih.gov**``**:/path**
SRC可以是一个或多个,可以是文件或目录
例如要下载目录:ftp://ftp.ncbi.nlm.nih.gov/gene/DATA/
ascp的下载地址则为:anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA
ascp -Tv anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA .
# OR
ascp -Tv --host=ftp.ncbi.nlm.nih.gov --user=anonftp --mode=recv /gene/DATA .
2.3 下载ENA数据
ASCP下载地址:**era-fasp@fasp.sra.ebi.ac.uk**``**:/path**
例如要下载文件:ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR346/SRR346368/SRR346368.fastq.gz
ascp -P 33001 -Tv era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR346/SRR346368/SRR346368.fastq.gz .
三 可能的报错
1 连接不上服务器
ascp: Failed to open TCP connection for SSH, exiting. Session Stop (Error: Failed to open TCP connection for SSH)
原因:可能是Linux防火墙的没有开放端口
解决办法:
# 开放33001端口
sudo iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
sudo iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT
# 查看
sudo iptables -L
- https://www.ncbi.nlm.nih.gov/books/NBK242625/
- https://www.jianshu.com/p/df34b99cbd43
- http://blog.sina.com.cn/s/blog_149c7d4b60102wi3j.html
- http://boyun.sh.cn/bio/?p=1933
原文链接:https://www.yuque.com/suqingdong/bioinformatics/aspera/