transformers仓库模型类型众多，下面总结一下如何下载模型至指定目录，并加载使用。

前置条件

  • 已经安装transformers仓库。

    模型下载

  • 以google/mt5-base为例

    1. from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
    2. # 保存tokenizer至指定目录./google_mt5-base
    3. tokenizer = AutoTokenizer.from_pretrained("google/mt5-base")
    4. tokenizer.save_pretrained('./google_mt5-base')
    5. tokenizer.save_vocabulary('./google_mt5-base')
    6. # 保存pretrained model至指定目录./google_mt5-base
    7. model = AutoModelForSeq2SeqLM.from_pretrained("google/mt5-base")
    8. model.save_pretrained('./google_mt5-base')

  • 保存结果

image.png