Studio2.0 BERT文本风控示例

算法简介

BERT 文本分类是通用的基于BERT的分类模型，输出文本数据，输出分类标签，适用于文本打标和文本情感分析等任务。模型结构如下所示：

尽管该组件名字称为 BERT，但事实上支持ALBERT，RoBerta 等ModelZoo里的模型。

可视化配置参数

【输入桩配置】

【右侧参数表单】

字段设置：

参数设置：

执行调优：

【输出桩配置】

PAI命令及说明

1. PAI命令

PAI -name easy_transfer_app_ext
   -Dmode=train
   -DmodelName=text_classify_bert
   -DinputTable=odps://${your_project}/tables/${train},odps://${your_project}/tables/${dev}
   -DfirstSequence=sentence
   -DlabelName=label
   -DlabelEnumerateValues=0,1
   -DsequenceLength=15
   -DcheckpointDir=oss://${your_bucket}/${your_path}
   -DbatchSize=32
   -DnumEpochs=1
   -DoptimizerType=adam
   -DlearningRate=5e-5
   -DuserDefinedParameters='pretrain_model_name_or_path=pai-bert-base-zh'
   -Dbuckets=oss://${your_bucket}/
   -Darn=${your_role_arn}
   -DossHost=${your_host}

2. 参数说明

3、输出结果

运行的开始之后就可以打开logview看运行的进度，从stderr可以看到运行的状态：

这里的PAI命令里有个-DcheckpointDir参数，填写的就是输出模型的checkpointDir。运行完之后可以通过oss console来看到checkpointDir里存储的信息，示例输出结果如下：

包括如下内容：

• 模型中间结果：avg_loss是训练的loss，eval是评测的结果，variables是模型参数，其他的为模型的checkpoint和meta信息
• 部署的模型：deployment放的是可以部署的模型，可以直接对接PAI EAS的服务。详见：https://help.aliyun.com/document_detail/113696.html

  支持计算资源

  
  【MaxCompute】

具体示例

首先可以下载 训练集 和 评估集，其中 train.csv , dev.csv 是用\t 分隔的 .csv 文件：

1       22829   兴诚13773665959吴强
1       22830   逃课的人666
1       22831   谈个有膜的

我们定义这五个字段为 label,example_id, sentence。注意，这里的label=0是正常样本，label=1是黑样本。
我们对各数据创建表，并将相应的数据上传到 ODPS 上：

CREATE TABLE ez_text_classify_train(
    label STRING, example_id INT, sentence STRING);
CREATE TABLE ez_text_classify_dev(
    label STRING, example_id INT, sentence STRING);

odpscmd -e --config=${odps_config} "tunnel upload train.csv ez_text_classify_test_train -fd \t;"
odpscmd -e --config=${odps_config} "tunnel upload dev.csv ez_text_classify_test_dev -fd \t;"

参考以上可视化配置参数。创建工作流，新建两个输入组件（读数据表组件），对应训练数据和测试数据。将两个输入组件和模型组件连接，运行即可获得结果。工作流示例如下：