IBM Aspera 提供高速数据传输,用于在本地数据中心和任何主要云环境之间移动大量数据

一 安装aspera-connect

latest version: https://d3gcli72yxqn2z.cloudfront.net/downloads/connect/latest/versions.js
下载

https://downloads.asperasoft.com/downloads

  1. wget -c https://download.asperasoft.com/download/sw/connect/3.8.1/ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz

OR

https://www.ibm.com/aspera/downloads/ 注册账号后可获取最新版的下载地址

  1. wget -c https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/08luo/0/ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.tar.gz
  2. wget -c https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/08luo/0/Connect_User_3.9.7_Linux.pdf

安装

  1. tar xf tar xf ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.tar.gz
  2. sh ibm-aspera-connect-3.9.7.175481-linux-g2.12-64.sh

image.png

二 使用

2.1 ascp命令基本用法

**ascp [OPTION] SRC DEST**
常用参数:

  • -v Verbose mode
  • -i PRIVATE-KEY-FILE Private-key file name (id_rsa)(私钥文件)
  • -k RESUME-LEVEL : 0,3,2,1 (断点续传)
  • -P SSH-PORT TCP port used for SSH authentication(NCBI为33001)
  • -l MAX-RATE Max transfer rate(最大限速)
  • -T Disable encryption(不使用加密模式)
    1. ~/.aspera/connect/bin/ascp -T -v \
    2. -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh \
    3. anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA/gene2refseq.gz .
    为了方便,可把在PATH中创建一个ascp可执行文件 ```bash cat >/usr/local/bin/ascp<<EOF

    !/bin/bash

    DIR=/path/to/aspera/connect export PATH=\$DIR/bin:\$PATH exec ascp -i \$DIR/etc/asperaweb_id_dsa.openssh -l 200m -k 1 “$@” EOF

chmod 755 /usr/local/bin/ascp

  1. 现在你可以直接使用`ascp`命令了<br />![image.png](https://cdn.nlark.com/yuque/0/2019/png/149045/1575441793463-ad7612ec-6058-42ee-85a2-81411f97bdce.png#crop=0&crop=0&crop=1&crop=1&height=157&id=KVWgs&name=image.png&originHeight=157&originWidth=657&originalType=binary&ratio=1&rotation=0&showTitle=false&size=60531&status=done&style=none&title=&width=657)
  2. ```bash
  3. ascp -Tv anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA/gene2refseq.gz .

2.2 下载NCBI数据

https://www.ncbi.nlm.nih.gov/public/ https://www.ncbi.nlm.nih.gov/projects/faspftp/ ftp://ftp.ncbi.nlm.nih.gov/

ASCP下载地址:**anonftp@ftp.ncbi.nlm.nih.gov**``**:/path**
SRC可以是一个或多个,可以是文件或目录
例如要下载目录:ftp://ftp.ncbi.nlm.nih.gov/gene/DATA/
ascp的下载地址则为:anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA

  1. ascp -Tv anonftp@ftp.ncbi.nlm.nih.gov:/gene/DATA .
  2. # OR
  3. ascp -Tv --host=ftp.ncbi.nlm.nih.gov --user=anonftp --mode=recv /gene/DATA .

2.3 下载ENA数据

http://ftp.sra.ebi.ac.uk/

ASCP下载地址:**era-fasp@fasp.sra.ebi.ac.uk**``**:/path**
例如要下载文件:ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR346/SRR346368/SRR346368.fastq.gz

  1. ascp -P 33001 -Tv era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR346/SRR346368/SRR346368.fastq.gz .

三 可能的报错

1 连接不上服务器

ascp: Failed to open TCP connection for SSH, exiting. Session Stop (Error: Failed to open TCP connection for SSH)

原因:可能是Linux防火墙的没有开放端口
解决办法:

  1. # 开放33001端口
  2. sudo iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
  3. sudo iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT
  4. # 查看
  5. sudo iptables -L

原文链接:https://www.yuque.com/suqingdong/bioinformatics/aspera/