2019-09-04-✨NLP入门极简教程

任何列书单和在线视频超过10条的，基本都是混子。列了几十本书和几百小时在线视频的人，大部分自己连1/10都没读完过。这种人统称为“书单教育家”，代表人物就是罗文益。

要我说，读一本deep learning和PRML，读python和numpy的官方文档，看一个Andrew Ng和Hinton的coursera，剩下的读一读经典paper和github开源代码，动手造造轮子，就完全足够入门了。

在线课程推荐

• 【双语字幕】斯坦福CS224n《深度学习自然语言处理》课程(2017) by Chris Manning & Richard Socher
  推荐理由：面向NLP的深度学习课程，从基础神经网路讲起，到概率模型，再到word2vec，最后讲到RNN模型在NLP领域的应用等，是NLP方向的必修课。
  #bilibili#搬运：https://www.bilibili.com/video/av13383754/
• 【双语字幕】斯坦福CS224n《深度学习自然语言处理》课程(2019) by Chris Manning
  上一门课程的升级版，补充了更多内容
  #bilibili#搬运：https://www.bilibili.com/video/BV1Eb411H7Pq?share_source=copy_web
• 李宏毅老师的系列课程
  地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses.html
• 林轩田老师的课程，机器学习基石和机器学习技法
  主页： https://www.csie.ntu.edu.tw/~htlin/mooc/
• YSDA course in Natural Language Processing
  这门课程是2021年的，使用Tensorflow/Keras 以及 Pytorch 作为实现框架！！！

2018线上课程的文字版讲解：https://lena-voita.github.io/nlp_course.html#preview_text_clf
每周的课程 PPT 和研讨会材料位于 ./week* 文件夹中

机器学习 书籍推荐

1. 周志华的《机器学习》作为通读教材，不用深入，从宏观上了解机器学习
2. 李航的《统计学习方法》作为经典的深入案例，仔细研究几个算法的来龙去脉 | 书中的代码python实现
3. 《Deep Learning》Ian Goodfellow / Yoshua Bengio / Aaron Courville
   (花书)不是一次就能读完读透的，已经有基础的同学可以当作工具书来用，在碰到难题或者面试前都可以翻
4. 《神经网络与深度学习》 邱锡鹏
5. 模式识别与机器学习(PRML)
   下载主页 本书代码 机器学习经典教材《PRML》所有代码实现

NLP 书籍推荐

1. 《统计自然语言处理（第二版）》宗成庆
   主要内容：本书介绍了统计自然语言处理的基本概念、理论方法和最新研究进展，内容包括语言模型、隐马尔可夫模型、语料库技术、汉语自动分词与词性标注、句法分析、词义消歧、篇章分析、统计机器翻译、语音翻译、文本分类、信息检索与问答系统、自动文摘和信息抽取、口语信息处理与人机对话系统等。
2. 《Introduction to Information Retrieval》Chris Manning
   排名/搜索领域的一本好书。本书在国内有中译本《信息检索导论》，必读-第2、6章
3. 《Neural Network Methods for Natural Language Processing》
   本书内容涵盖了自然语言处理的方方面面，从底层的词法分词、语法分析和语义分析，到和应用更为接近的自然语言处理任务要、对话系统等。书中将自然语言处理、计算语言学以及语音识别等内容融合在一起，把各种技术相互联系起来，让读者了解怎样才能最佳地利用每种技术，怎样才能将各种技术结合起来使用。本书在国内有中译本《自然语言处理综论》
4. 进阶可选《Speech and Language Processing》
   对NLP领域神经网络应用的深入介绍

下载：https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf

NLP 课外补充书籍

1. 《数学之美》+《智能问答》+《机器翻译》+《知识图谱》
2. 《自然语言处理实战》 20年底出版，配有Keras代码，比其他深度学习框架都容易些。

面试相关 书籍推荐

1. 《百面机器学习》《百面深度学习》Hulu团队出品，基本是面试必备了，可以迅速不就遗漏知识点
2. 川大毕业极客创建项目《深度学习500问》
   地址： https://github.com/yuquanle/DeepLearning-500-questions

炼丹调参

• 深度学习网络调参技巧
• 《Deep Learning for Vision: Tricks of the Trade》Marc’Aurelio Ranzato 在 CVPR 上 的 presentation slides/talk（Youtube 等地方可以搜到）。caffe 作者之一贾扬清推荐。涉及到了许多 DL 的调参技巧（在 slides 比较靠后的地方）
• 机器学习算法如何调参？这里有一份神经网络学习速率设置指南
• 构建深度神经网络，我有 20 条「不成熟」的小建议
• 入门 深度学习模型的简单优化技巧
• 谷歌机器学习 43 条规则：机器学习工程的最佳实践经验
• 教程 从超参数到架构，一文简述模型优化策略
• http://yyue.blogspot.com/2015/01/a-brief-overview-of-deep-learning.html
• https://flashgene.com/archives/9846.html
• https://wulc.me/2018/05/01/梯度裁剪及其作用/
• https://www.zhihu.com/question/57828011

参考

2021年NLP入门书籍推荐-李rumor
NLP入门推荐书目（2019版）-刘知远
NLP爱好者学习资源推荐汇总
初入NLP领域的一些小建议-香农科技·李级为