概述
PAI-Rapidformer结合了多种优化技术，对PyTorch版Transformer模型的训练进行优化，从而达到最优的训练性能。本文介绍PAI-Rapidformer的工作原理和使用流程。
背景信息
PAI-Rapidformer是PAI推出的PyTorch版针对Transformer系列模型的训练优化工具，可以通过数据-模型-训练系统联合优化，达到最优的训练性能。它有机融合了Megatron的3D混合并行，DeepSpeed和FairScale的模型状态切分，ONNX Runtime的计算图优化，Dynamic Shape等多种优化技术，通过加速开关的方式来组合部分或者全部的优化技术。
PAI-Rapidformer的所有优化技术可以无缝对接Huggingface/Megatron/FairSeq/EasyTexMiner提供的Transformer模型库。同时，PAI-Rapidformer对吞吐性能以及收敛可靠性进行了基准评测，从而确保优化结果可复现且不会对模型的精度或指标产生非预期影响。
工作原理
PAI-Rapidformer以Docker镜像的形式安装。您可以在代码中调用PAI-Rapidformer的接口或者预制的Pretrainer/Finetuner训练加速器，且能够在本地对模型训练进行性能验证。此外，您还可以便捷地尝试不同的优化策略、探索更多的优化参数组合。
使用流程
您可以参考如下流程使用PAI-Rapidformer：
若有收获，就点个赞吧
0 人点赞
