详细内容请见：
huggingface的github：https://github.com/huggingface/transformers
官方文档：https://huggingface.co/transformers/

目录结构

image.png
注：原始的目录结构可参照huggingface的github的项目。

核心文件夹：
data：数据集，生成的cache文件也会存放在data_dir的同级文件夹下。
examples：入口文件，包含各类任务的入口文件，如分类回归任务的run_glud.py、多模态任务的mm-imdb、命名实体识别的run_ner.py、问答任务的run_squad.py、多项选择的run_multiple_choice.py、文本生成任务的run_generation.py。详细内容可查看官方github的examples下的README。
models：非官方，自己下载的model，如中文等预训练模型huggingface并未提供，自己下载后可存放在该文件夹下。
output：非官方，模型输出。
scripts：非官方，运行脚本。
src：源包，包含transformers的各个模型的文件，以及读取和评估文件。

如何使用自己的数据集？

以LIAR数据集为例进行流程介绍。

配置环境

根据官方提供的requirements.txt安装python虚拟环境。

数据集

将数据集存放在data文件夹下，自行划分文件结构即可。
image.png

入口文件

选择对应任务入口文件，如run_glue.py，可复制并修改为自己需要使用的文件（如run_classifier.py），以便后续增添自己需要的内容。
image.png

运行脚本

可按照如下结构划分各个任务的运行脚本结构，也可自己设计目录结构。
image.png

  1. #!/usr/bin/env bash
  2. set -eux
  4. export TASK=FakeNews # 任务名
  5. export TASK_NAME=LIAR # 子任务名
  6. export DATA_DIR=data/${TASK}/${TASK_NAME} # 数据集目录
  7. export OUTPUT_NAME=output # 模型输出目录
  8. export MODEL=roberta # 模型总称
  9. export MODEL_NAME=roberta-base # 模型名称
  11. export TRAIN_BATCH_SIZE=4 # 训练批次大小
  12. export EVAL_BATCH_SIZE=256 # 评估批次大小
  13. export SAVE_STEPS=1000 # 模型输出间隔
  14. export MAX_SEQ_LENGTH=64 # 句子最大长度
  16. # 用于在前一个输出模型上继续训练
  17. export STAGE_NUM=1    # 子模型阶段（可无）
  18. export NEXT_STAGE_NUM=3 # 下一个子模型阶段（可无）
  20. python ./examples/run_classifier.py \ # 入口文件
  21.     --model_type ${MODEL} \
  22.     --model_name_or_path ${MODEL_NAME} \
  23.     --task_name ${TASK_NAME} \
  24.     --do_lower_case \
  25.     --data_dir ${DATA_DIR} \
  26.     --max_seq_length ${MAX_SEQ_LENGTH} \
  27.     --per_gpu_train_batch_size ${TRAIN_BATCH_SIZE}   \
  28.     --per_gpu_eval_batch_size ${EVAL_BATCH_SIZE}   \
  29.     --per_gpu_test_batch_size ${EVAL_BATCH_SIZE}   \
  30.     --per_gpu_pred_batch_size ${EVAL_BATCH_SIZE}   \
  31.     --learning_rate 1e-5 \ # 学习率
  32.     --weight_decay 0.0001 \ # 权重衰减
  33.     --num_train_epochs 1.0 \ # 轮次输目
  34.     --output_dir ${OUTPUT_NAME}/${TASK}/${TASK_NAME}-${MODEL_NAME}/stage_${NEXT_STAGE_NUM} \
  35.     --save_steps ${SAVE_STEPS} \
  36.     --overwrite_cache \ # 是否覆盖cache，标记则为覆盖，默认读取cache
  37.     --eval_all_checkpoints \ # 验证所有输出模型
  38.     --do_test \
  39.     --do_eval \
  40.     --do_train \

读取数据

src/transformers/data/processors/glue.py
可复制一份作为自己的读取文件。
包含五个部分，

convert_examples_to_features

转化函数，可不用修改。

XXXXProcessor

各个任务的读取类，以LIAR任务举例。
  1. class LIARProcessor(DataProcessor):
  2.     """Processor for the LIAR data set (My version)."""
  3.     def get_example_from_tensor_dict(self, tensor_dict):
  4.         """See base class."""
  5.         return InputExample(tensor_dict['idx'].numpy(),
  6.                             tensor_dict['sentence'].numpy().decode('utf-8'),
  7.                             None,
  8.                             str(tensor_dict['label'].numpy()))
  10.     def get_train_examples(self, data_dir):
  11.         """See base class."""
  12.         logger.info("LOOKING AT {}".format(os.path.join(data_dir, "train.tsv")))
  13.         return self._create_examples(
  14.             self._read_tsv(os.path.join(data_dir, "train.tsv")), "train")
  16.     def get_dev_examples(self, data_dir):
  17.         """See base class."""
  18.         return self._create_examples(
  19.             self._read_tsv(os.path.join(data_dir, "dev.tsv")), "dev")
  21.     def get_test_examples(self, data_dir):
  22.         """See base class."""
  23.         return self._create_examples(
  24.             self._read_tsv(os.path.join(data_dir, "test.tsv")), "dev")
  26.     def get_pred_examples(self, data_dir):
  27.         """See base class."""
  28.         return self._create_examples(
  29.             self._read_tsv(os.path.join(data_dir, "test.tsv")), "pred")
  31.     def get_labels(self):
  32.         """See base class."""
  33.         return ["pants-fire", "false", "barely-true", "half-true", "mostly-true", "true"]
  35.     def _create_examples(self, lines, set_type):
  36.         """Creates examples for the training and dev sets."""
  37.         examples = []
  38.         for (i, line) in enumerate(lines):
  39.             if i == 0:
  40.                 continue
  41.             guid = line[0]
  42.             label = line[1]
  43.             if set_type in ["train", "dev", "test"]:
  44.                 text_a = line[2]
  45.                 text_a = self.preprocess(text_a)
  46.                 examples.append(InputExample(guid=guid, text_a=text_a, text_b=None, label=label))
  47.             elif set_type == "pred":
  48.                 text_a = line[2]
  49.                 text_a = self.preprocess(text_a)
  50.                 examples.append(InputExample(guid=guid, text_a=text_a, text_b=None, label=None))
  51.         return examples

tasks_num_labels

类别数。

  1. tasks_num_labels = {
  2.     "liar": 6,
  3. }

processors

指定对应的processor类。

  1. processors = {
  2.     "liar": LIARProcessor,
  3. }

output_modes

任务类型，分类任务(classification)/回归任务(regression)。


评估任务

src/transformers/data/metrics/init.py

评估函数
  1.     # micro-F1
  2.     def acc_and_f1_micro(preds, labels):
  3.         acc = simple_accuracy(preds, labels)
  4.         precision = metrics.precision_score(y_true=labels, y_pred=preds, average='micro')
  5.         recall = metrics.recall_score(y_true=labels, y_pred=preds, average='micro')
  6.         f1 = metrics.f1_score(y_true=labels, y_pred=preds, average='micro')
  7.         return {
  8.             "acc": acc,
  9.             "precision": precision,
  10.             "recall": recall,
  11.             "micro-f1": f1,
  12.             "acc_and_f1": (acc + f1) / 2,
  13.         }
  16.     # macro-F1
  17.     def acc_and_f1_macro(preds, labels):
  18.         acc = simple_accuracy(preds, labels)
  19.         precision = metrics.precision_score(y_true=labels, y_pred=preds, average='macro')
  20.         recall = metrics.recall_score(y_true=labels, y_pred=preds, average='macro')
  21.         f1 = metrics.f1_score(y_true=labels, y_pred=preds, average='macro')
  22.         return {
  23.             "acc": acc,
  24.             "precision": precision,
  25.             "recall": recall,
  26.             "macro-f1": f1,
  27.             "acc_and_f1": (acc + f1) / 2,
  28.         }
  31.     # classification-report
  32.     def classification_report(preds, labels, target_names=None):
  33.         f1 = metrics.f1_score(y_true=labels, y_pred=preds, average='macro')
  34.         report = metrics.classification_report(y_true=labels, y_pred=preds, target_names=target_names, digits=4)
  35.         return {
  36.             "report": report,
  37.             "score_name": "macro-f1",
  38.             "macro-f1": f1,
  39.         }
  41.     # 回归任务
  42.     def pearson_and_spearman(preds, labels):
  43.         pearson_corr = pearsonr(preds, labels)[0]
  44.         spearman_corr = spearmanr(preds, labels)[0]
  45.         return {
  46.             "pearson": pearson_corr,
  47.             "spearmanr": spearman_corr,
  48.             "corr": (pearson_corr + spearman_corr) / 2,
  49.             "score_name": "spearmanr",
  50.         }

指定对应任务的评估方法

可自己写一个函数，以替换glue的。

  1.     def my_compute_metrics(task_name, preds, labels, target_names=None):
  2.         assert len(preds) == len(labels)
  3.         if task_name == "fnews":
  4.             return {"acc": simple_accuracy(preds, labels)}
  5.         elif task_name == "liar":
  6.             return classification_report(preds, labels, target_names)
  7.         else:
  8.             raise KeyError(task_name)

运行任务

windows下可进入git bash执行sh脚本。

进入虚拟环境

source activate xxxxxx

运行脚本

bash xxxxxxx