该讲座系中国科学技术大学的《科学与社会》研讨课 MSRA 系列讲座第一期：周明博士的《沟通无界——自然语言处理让生活更美好》，讲座笔记以作记录。
点击查看【bilibili】

image.png

NLP进展

image.png
image.png

神经网络自然语言处理的关键技术

词的语义表示 WordEmbedding

以word2vec为例：
image.png

句子表示 Sentence Embedding

image.png

编码解码 Encoder-Decoder

image.png

Encoder-Decoder with Attention

image.png

Transformer

image.png

BERT Bidirectional Encoder Representation from Transformers

image.png

Pre-training Fine-tuning

image.png

自然语言处理实例

语义分析，信息抽取，自动文摘，多模态问答，图像注解，机器翻译，手语翻译，对联，猜谜语，看图写诗，模态生成(根据歌词，生成歌曲)

存在问题和未来发展

  • 缺乏常识和推理
  • 多轮对话
  • 无休止的计算资源的军备竞赛，耗能，污染环境
  • 数据的问题：标注代价，隐含歧视，数据偏差，隐私侵犯

比如如何做到不侵犯隐私的情况下，做到定制化的服务，做隐私保护下的机器学习，比如现在的联邦学习方向
image.png

image.png

人才培养

image.png

感悟

这次讲座除了关于NLP的前沿进展的讲解之外，我觉得收获很大的就是这个这个人才培养方面，当代大学生应该树立远大的理想，要有高远的格局，人生境界要高，不能小富即安，还有就是成长型的思维，害怕失败这样是不哈的，当进入一个新的领域学习的时候，进展不太顺利，遇到很多困难，要善于排解，善于自我激励，这就是周明老师提到的软实力。
其实仔细想想如果心理承受能力不强，受不了打击，爱抱怨也必然成不了大事，之所以觉得很受用，是因为自己身上也有这样的问题，害怕挫折，缺乏自信，爱抱怨，受不了打击，还要戒骄戒躁，努力克服这些缺点，才能变得更强大。积极的人看到每一次的挑战，都会看到一些机会，而消极的人，会看到一些忧患。所以说“机遇”，既有危机，也有新的机会。

理想如晨星，我们永不能触到，但我们可以像航海者一样，借星光的位置而航行。

参考：中科大 × MSRA | 周明博士讲座实录：自然语言处理让生活更美好
写于2020.6.19凌晨