对象存储服务,存储大文件,支持高并发和可扩容
竞品: 七牛云,FastDFS(分布式存储)
1,下载工具:
wget http://gosspublic.alicdn.com/ossutil/1.6.6/ossutil64
2,修改文件执行权限:
chmod 755 ossutil64
3,使用交互式配置生成配置文件: (也可以手动去改这个文件/root/.ossutilconfig)
./ossutil64 config
该命令将创建一个配置文件,在其中存储配置信息。 请输入配置文件路径(默认为:/home/user/.ossutilconfig,回车将使用默认路径。如果用户设置为其它路径,在使用命令时需要将--config-file选项设置为该路径):
请输入endpoint:http://oss-cn-shenzhen.aliyuncs.com
请输入accessKeyID:yourAccessKeyID
请输入accessKeySecret:yourAccessKeySecret
请输入stsToken:
也可以手动修改 /home/user/.ossutilconfig 这个配置文件
4,下载文件
./ossutil64 cp -r oss://ops-wall/ops_wall/310/2019-04 /usr/local/seektruth/oss-file/金融云/ops-wall/310 -j 150 --update --snapshot-path=/root/snapshot
5,参数解释
—jobs项来控制多个文件上传/下载/拷贝时,文件间启动的并发数。默认是3
—parallel项来控制分片上传/下载/拷贝一个大文件时,每一个大文件启动的并发数。
注意:
- 通常情况下,当ECS虚拟机或者服务器在网络、内存、CPU等资源不是特别大的情况下,建议将并发数调整到100以下。如果网络、内存、CPU等资源没有占满,可以适当增加并发数。
- 如果并发数调得太大,由于线程间资源切换及抢夺等,ossutil上传/下载/拷贝性能可能会下降。并发数过大可能会产生EOF错误。所以请根据实际的机器情况调整—jobs和—parallel选项的数值。如果要进行压测,可在一开始时调低这两项数值,然后逐渐调大直至找到最优值。
—update(可缩写为-u)选项,只有当目标文件不存在,或源文件的最后修改时间晚于目标文件时,ossutil才会执行上传操作。
—snapshot-path选项,ossutil在指定的目录下生成文件上传的快照信息,在下一次指定该选项上传时,ossutil会读取指定路径下的快照信息进行增量上传。