对象存储服务,存储大文件,支持高并发和可扩容
    竞品: 七牛云,FastDFS(分布式存储)

    1,下载工具:

    1. wget http://gosspublic.alicdn.com/ossutil/1.6.6/ossutil64

    2,修改文件执行权限:

    1. chmod 755 ossutil64

    3,使用交互式配置生成配置文件: (也可以手动去改这个文件/root/.ossutilconfig)

    1. ./ossutil64 config
    2. 该命令将创建一个配置文件,在其中存储配置信息。 请输入配置文件路径(默认为:/home/user/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径):
    3. 请输入endpointhttp://oss-cn-shenzhen.aliyuncs.com
    4. 请输入accessKeyIDyourAccessKeyID
    5. 请输入accessKeySecretyourAccessKeySecret
    6. 请输入stsToken

    也可以手动修改 /home/user/.ossutilconfig 这个配置文件

    4,下载文件

    1. ./ossutil64 cp -r oss://ops-wall/ops_wall/310/2019-04 /usr/local/seektruth/oss-file/金融云/ops-wall/310 -j 150 --update --snapshot-path=/root/snapshot

    5,参数解释
    —jobs项来控制多个文件上传/下载/拷贝时,文件间启动的并发数。默认是3
    —parallel项来控制分片上传/下载/拷贝一个大文件时,每一个大文件启动的并发数。
    注意:

    • 通常情况下,当ECS虚拟机或者服务器在网络、内存、CPU等资源不是特别大的情况下,建议将并发数调整到100以下。如果网络、内存、CPU等资源没有占满,可以适当增加并发数。
    • 如果并发数调得太大,由于线程间资源切换及抢夺等,ossutil上传/下载/拷贝性能可能会下降。并发数过大可能会产生EOF错误。所以请根据实际的机器情况调整—jobs和—parallel选项的数值。如果要进行压测,可在一开始时调低这两项数值,然后逐渐调大直至找到最优值。

    —update(可缩写为-u)选项,只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,ossutil才会执行上传操作。
    —snapshot-path选项,ossutil在指定的目录下生成文件上传的快照信息,在下一次指定该选项上传时,ossutil会读取指定路径下的快照信息进行增量上传。