交互式建模（DSW）

更新时间：2024-01-04 11:10:52

产品详情

相关技术圈

我的收藏

dsw阿里云-简介 - 图2

DSW概述

更新时间：2024-01-04 11:10:52

产品详情

相关技术圈

我的收藏

DSW是PAI产品的云端机器学习开发IDE，为您提供交互式编程环境，适用于不同水平的开发者。本文为您介绍DSW的功能特点和使用流程等。 DSW集成了开源JupyterLab，并以插件化的形式进行深度定制化开发。您无需进行任何运维配置，即可进行Notebook编写、调试及运行Python代码。同时，DSW提供丰富的计算资源，且对接多种数据源。通过EASCMD的方式，可以将DSW获得的训练模型部署为EAS模型服务。

快速入门

您可以参考如下视频，快速了解DSW支持的主要功能。

功能特性

  • 支持资源实时监控。在算法开发过程中，可以显示CPU或GPU的使用情况。
  • 支持多源数据接入，包括MaxCompute、OSS和NAS。
  • 支持编写和运行SQL语句。
  • 支持多种资源类型，包括公共资源组（包括纯CPU及多种GPU算力卡）和专有资源组。
  • 支持灵活切换各类资源，有效降低使用成本。
  • 预置常用大数据开发包和算法库，且支持自定义安装第三方库。

使用流程

步骤一：准备工作

  • 准备资源组创建DSW实例前，您需要准备好训练任务所需的通用计算资源（包括公共资源组和专有资源组）或灵骏智算资源（包括专有资源组）。完成DLC授权后，系统将为您准备好公共资源组，无需手动添加。如果您需要使用专有资源组，则需要先购买并配置资源组，详情请参见新建及管理通用计算资源和新建资源组并购买灵骏智算资源。
  • 准备数据集 - 使用公共资源组创建DSW实例：PAI将赠送免费云盘作为持久化存储。但免费云盘存储空间有限，您可以通过挂载数据集来扩展实例存储空间。 - 使用专有资源组创建DSW实例：DSW实例使用自带的系统盘作为临时存储，您可以通过挂载数据集来实现数据持久化存储。
  • 目前支持挂载OSS、NAS和CPFS类型的数据集，如何创建数据集，请参见创建及管理数据集。
  • 准备镜像创建DSW实例前，您需要准备好需要安装的镜像，DSW实例将基于所选择的镜像来构建运行环境。目前支持选择以下类型的镜像： - 官方镜像DSW预置了多种类型的官方镜像，例如pytorch、tensorflow、modelscope等。每种镜像均提供了不同的版本，以满足您对特定框架版本的需求，从而方便您进行模型开发、训练和部署等工作。 - 自定义镜像您也可以使用已创建的自定义镜像来满足特定场景下的开发需求。关于如何创建自定义镜像，请参见查看并添加镜像。

步骤二：创建及使用DSW实例

完成上述准备工作后，您可以创建DSW实例。具体操作，请参见创建及管理DSW实例。 DSW实例的特殊应用场景如下，您可以单击对应链接查看详细内容：

步骤三：准备开发所需要的数据文件

目前，DSW支持接入多种数据源，包括OSS、NAS和MaxCompute，以实现数据的上传和下载功能。您可以将开发所需的数据文件从不同的数据源导入到DSW实例中，并将处理后的数据导出到指定的数据源。此外，DSW实例还提供了数据上传和下载功能，适用于小数据量的文件传输。更多关于数据传输的详细介绍，请参见读写数据与文件传输。

步骤四：使用DSW进行模型调试和训练

您可以将在DSW中开发的Notebook或Python代码提交到DLC进行离线训练，具体操作，请参见提交离线任务至DLC。 您也可以直接在DSW实例页面进行模型训练，DSW实例提供了交互式的开发环境，使您能够更直观地查看模型训练过程并进行代码调试。此外，在DSW实例中，您还可以管理第三方库，以满足特定的开发需求。更多操作实践，请参见DSW使用案例汇总。

后续步骤

后续，您可以将训练好的模型部署为EAS在线服务，以实现模型推理功能。具体操作，请参见服务部署：EASCMD&DSW。