使用ossimport工具进行不同账号间的Bucket增量复制(单机模式)

下载并解压ossimport-2.3.4.zip

添加配置文件

  1. #开启增量复制
  2. isIncremental=true
  3. incrementalModeInterval=36000
  4. #源ak值
  5. srcAccessKey=***
  6. srcSecretKey***
  7. #源地域
  8. srcDomain
  9. #源Bucket
  10. srcBucket
  • 新建Dockerfile

    From openjdk
    LABEL Name=ossimport-2.3.4 Version=0.0.1
    COPY . .
    WORKDIR .
    CMD ["bash","import.sh"]
    
  • 新建pod.yaml

    apiVersion: v1
    kind: Pod
    metadata:
    name: ossimport_job
    labels:
      name: ossimport_job
    spec:
    containers:
    - name: ossimport_job
      image: docker.fralychen.com/test/ossimport23:pod
      - volumeMounts:
        - name:  OSSConfig
        mountPath:  /config
    volumes:
      - name:  OSSConfig
      hostPath:
        path:  ~./config
    

    打包部署

  1. 打包\推送
    1. 校验Dcokerfile
    2. 打包 docer build --pull --rm -f "Dockerfile" -t ossimport23:latest "."
    3. 打标并推送到镜像仓库docker tag ossimport23 docker.fralychen.com/test/ossimport23:pod
  2. 部署
    1. 校验YAML模板文件 pod.yaml
    2. 通过kubectl部署到kuberneteskubectl app -f pod.yaml

A&Q:

Docker镜像构建时有那些需要注意的

config/local_job.cfg配置文件中需要填写AK值,单机模式下可通过hostpath挂载运行,或者使用Secret配置,有关Secret的说明可以参考

640X60.jpg