任务进展

1. NLP 部分

上周跟于永达博士请教之后，发现切入方向错了。这周根据他的建议重新学习了一下当前NLP模型的基础知识。

  • 阅读了《Attention Is All You Need》和《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》两篇论文，见NLP文献阅读笔记。目前已经对NLP预训练模型和工作原理有了基本的了解。
  • 在本地搭建了anaconda环境，学习 上的NLP预训练模型，目前默认模型的样例代码可以跑，具体用法还处于基础学习阶段。

    2. AST 部分

  1. 学习eclipse jdt相关api的使用

  2. 重写生成AST的代码，替换原始jar包，改为使用maven的方式管理依赖，地址https://gitee.com/wangqixing1761/ast-parser

    问题记录

    hugging face的网络不太稳定，from_pretrain()下模型有时候快有时候慢。

    下周计划

  3. 继续深入学习hugging face上的预训练模型，找一找是否有处理文档的。

  4. 找一找BERT、文档处理相关的论文来阅读。
  5. 跟进一下AST部分的任务。