环境安装

在 Notebook 打开

环境安装

在 Notebook 打开

本篇文章介绍ModelScope使用所需的环境安装指南。 ModelScope Library目前支持tensorflow，pytorch深度学习框架进行模型训练、推理， 在Python 3.8+, Pytorch 1.11+, Tensorflow上测试可运行。

注： 大部分语音模型当前需要在Linux环境上使用，并且推荐使用python3.8 + tensorflow 2.13.0 + torch 2.0.1 的组合。部分模态模型可以在mac，windows等环境上安装使用，少部分模型需要tensorflow1.15.0。

基于ModelScope官方镜像直接使用#

为了让大家能直接用上ModelScope平台上的所有模型，无需配置环境，ModelScope除了在网站上集成了Notebook在线编程环境以外，同时也提供了官方镜像，方便有需要的开发者获取。基于官方镜像，可以跳过所有的环境安装和配置，直接使用，当前我们提供的最新版本的CPU镜像和GPU镜像可从如下地址获取：

最新镜像#

CPU环境镜像(python3.10)： 
  1. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.12.0
  2. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.12.0
  3. registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.12.0
GPU环境镜像(python3.10)： 
  1. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.12.0
  2. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.12.0
  3. registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.12.0

历史版本#

极少部分模型和最新镜像不兼容，参考模型卡片，应用最新历史镜像。
CPU环境镜像(python3.10)： 
  1. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.0-tf2.14.0-1.10.0
  2. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.0-tf2.14.0-1.10.0
  3. registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.0-tf2.14.0-1.10.0
GPU环境镜像(python3.10)： 
  1. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda11.8.0-py310-torch2.1.0-tf2.14.0-1.10.0
  2. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda11.8.0-py310-torch2.1.0-tf2.14.0-1.10.0
  3. registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda11.8.0-py310-torch2.1.0-tf2.14.0-1.10.0
CPU环境镜像(python3.7)： 
  1. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py37-torch1.11.0-tf1.15.5-1.6.1
  2. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py37-torch1.11.0-tf1.15.5-1.6.1
CPU环境镜像(python3.8)： 
  1. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch1.11.0-tf1.15.5-1.8.1
  2. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch1.11.0-tf1.15.5-1.8.1
  3. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf1.15.5-1.8.1
  4. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf1.15.5-1.8.1
GPU环境镜像(python3.7)： 
  1. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.6.1
  2. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.6.1
GPU环境镜像(python3.8)： 
  1. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py38-torch1.11.0-tf1.15.5-1.8.1
  2. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py38-torch1.11.0-tf1.15.5-1.8.1
  3. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1
  4. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1
CPU环境镜像(python3.8)： 
  1. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf2.13.0-1.9.5
  2. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf2.13.0-1.9.5
  3. registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch2.0.1-tf2.13.0-1.9.5
GPU环境镜像(python3.8)： 
  1. registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5
  2. registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5
  3. registry.us-west-1.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.0.1-tf2.13.0-1.9.5

Python环境配置#

操作系统 linux windows MacOS Python python3.7 python3.8 深度学习框架 pytorch tensorflow1.x tensorflow2.x 计算平台 CPU GPU 运行此命令 pip3 install torch==1.11.0 torchvision torchaudio —extra-index-url https://download.pytorch.org/whl/cpu 首先，参考文档 安装配置Anaconda环境。 安装完成后，执行如下命令为modelscope library创建对应的python环境。 
  1. conda create -n modelscope python=3.8
  2. conda activate modelscope

安装深度学习框架#

  1. pip3 install torch torchvision torchaudio
  1. pip install --upgrade tensorflow==2.13.0 # 仅支持 CPU 的版本
注： 客观上在国内使用pip安装的时候，如果默认是用海外的pypi源的话，可能因为网络问题，下载速度受限。如果有这个现象，可以考虑通过pip的”-i”命令行选项来手工配置仓库来源，例如”-i https://pypi.tuna.tsinghua.edu.cn/simple “ 可以将配置仓库来源使用”清华源”。例如： 
  1. pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
常见的可用源还包括 “-i https://mirrors.bfsu.edu.cn/pypi/web/simple“, “-i https://mirrors.ustc.edu.cn/pypi/web/simple “等等，可以根据自己的网络条件自行选择。

ModelScope Library 安装#

注： 如果在安装过程中遇到错误，可以前往常见问题查找解决方案。

1. pip安装#

如果您在使用阿里云ECS等产品，配置如下pip源，可以加快安装速度 
  1. pip config set global.index-url https://mirrors.cloud.aliyuncs.com/pypi/simple 
  2. pip config set install.trusted-host mirrors.cloud.aliyuncs.com
ModelScope Libarary由核心框架，以及不同领域模型的对接组件组成。如果只需要ModelScope模型和数据集访问等基础能力，可以只安装ModelScope的核心框架： 
  1. pip install modelscope
但如果需要进一步具体使用ModelScope平台上承载的，包括多模态，NLP，CV，语音等不同领域的模型，来进行模型推理以及模型训练、微调等能力，则需要安装各个领域上不同的依赖。例如， 如仅需体验多模态领域的模型，可执行如下命令安装领域依赖： 
  1. pip install "modelscope[multi-modal]"
如仅需体验NLP领域模型，可执行如下命令安装领域依赖（因部分依赖由ModelScope独立host，所以需要使用”-f”参数）： 
  1. pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如果使用miniconda环境，需要提前安装setuptools_scm。 如仅需体验CV领域模型，可执行如下命令安装领域依赖（因部分依赖由ModelScope独立host，所以需要使用”-f”参数）： 
  1. pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如仅需体验语音领域模型，可执行如下命令安装领域依赖（因部分依赖由ModelScope独立host，所以需要使用”-f”参数）： 
  1. pip install "modelscope[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

注意：当前大部分语音模型需要在Linux环境上使用，并且推荐使用python3.8。

如仅需体验科学计算领域模型，请执行如下命令： 
  1. pip install "modelscope[science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

注：

  1. 如果您已经安装过ModelScope，但是需要升级使用新版发布的Library，可以使用 
  1. pip install modelscope --upgrade
来升级到最新版本。也可以通过指定特定版本号来选择选择某一版本。
  1. 目前极少部分部分模型仅支持tensorflow1.15.5的Linux环境使用。 其他大部分模型可以在windows、mac（x86）上安装使用。
  2. 语音领域中一部分模型使用了三方库SoundFile进行wav文件处理，在Linux系统上用户需要手动安装SoundFile的底层依赖库libsndfile，在Windows和MacOS上会自动安装不需要用户操作。详细信息可参考SoundFile官网。以Ubuntu系统为例，用户需要执行如下命令: 
  1. sudo apt-get update
  2. sudo apt-get install libsndfile1
  1. CV领域的少数模型，需要安装mmcv-full， 如果运行过程中提示缺少mmcv，请参考mmcv安装手册进行安装。 注意这里需要安装的是mmcv 1.x版本(mmcv-full)，请不要安装mmcv 2.0及以上版本。 这里提供一个最简版的mmcv-full安装步骤，但是要达到最优的mmcv-full的安装效果（包括对于cuda版本的兼容），请根据自己的实际机器环境，以mmcv官方安装手册为准。
  1. pip uninstall mmcv && pip uninstall mmcv-full # 如果已经安装过简装版本的mmcv，请先卸载
  2. pip install -U openmim 
  3. mim install mmcv-full
  4. # 如果您使用python3.10，torch 2.1.0和2.1.1，cuda 11.8.0，12.1.0，可以按照如下方式安装 
  5. # 版本1.7.0+torch2.1.1cu121 1.7.0+torch2.1.0cu121 1.7.0+torch2.1.1cu118 1.7.0+torch2.1.0cu118
  6. pip install mmcv_full=='1.7.0+torch2.1.1cu121' -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

2. 通过源码安装#

可通过从GitHub上下载ModelScope源码进行安装。 适合本地开发调试使用，修改源码后可以直接执行。 ModelScope的源码可以直接clone到本地： 
  1. git clone git@github.com:modelscope/modelscope.git
  2. cd modelscope
  3. git fetch origin master
  4. git checkout master
安装依赖 如仅需体验多模态领域模型，可执行如下命令安装依赖： 
  1. pip install ".[multi-modal]"
如仅需体验NLP领域模型，可执行如下命令安装依赖： 
  1. pip install ".[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如果使用miniconda环境，需要提前安装setuptools_scm。 如仅需体验CV领域模型，可执行如下命令安装依赖： 
  1. pip install ".[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
部分cv模型目前使用mmcv1.7.0，可以通过如下方式安装： 
  1. # 目前只支持python3.10 torch支持2.1.0和2.1.1，cuda支持11.8.0，12.1.0
  2. # 对应版本1.7.0+torch2.1.1cu121 1.7.0+torch2.1.0cu121 1.7.0+torch2.1.1cu118 1.7.0+torch2.1.0cu118
  3. pip install mmcv_full=='1.7.0+torch2.1.1cu121' -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如仅需体验语音领域模型，请执行如下命令： 
  1. pip install ".[audio]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如仅需体验科学计算领域模型，请执行如下命令： 
  1. pip install ".[science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
如果您所有领域的模型功能都想体验，可执行如下命令 
  1. pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
注意：极少数模型仅支持tensorflow1.15.5的Linux环境

安装验证#

安装成功后，即可使用对应领域模型进行推理，训练等操作。这里我们以NLP领域为例。安装后，可执行如下命令，运行中文分词任务，来验证安装是否正确： 
  1. python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今天天气不错，适合 出去游玩'))"

SWIFT安装#

SWIFT是ModelScope官方提供的大模型（LLM&SD模型）训练推理框架。如果你对这类模型的训练过程有需求，推荐使用SWIFT。

Wheel包安装#

可以使用pip进行安装： 
  1. pip install ms-swift -U

源代码安装#

  1. git clone https://github.com/modelscope/swift.git
  2. cd swift
  3. pip install -e .
有关如何使用SWIFT，可以参考Swift使用指南。 有关如何使用大模型进行训练和推理, 可以参考大模型训练与推理。 有关如何使用文生图进行训练和推理, 可以参考文生图训练与推理。

Notebook环境#

用户可以使用ModelScope官方提供的免费显卡资源：
  1. 进入ModelScope官方网站并登录
  2. 点击左侧的我的Notebook并开启一个免费GPU实例
  3. 愉快地薅A10显卡羊毛

环境安装Linux - 图1

环境安装Linux - 图2

在线Python环境：

启动2min，自动关闭1h

环境安装Linux - 图3

https://discourse.jupyter.org/c/jupyterlab

嵌套了另一个社区

环境安装Linux - 图4

环境安装Linux - 图5

环境安装Linux - 图6

交互式建模 PAI-DSW

PAI-DSW（Data Science Workshop）是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，提供代码编写、调试及运行的沉浸式体验。提供丰富的异构计算资源，预置多种开源框架的镜像，实现开箱即用的高效开发模式。