:::info

1. 该板块内容汇总分享的是我个人研究学习过、且主观认为质量优秀的技术资料。
2. 注重实用性、易读性，避免信息过载；不保证学术性。
3. 后续如有需求将考虑开设单独的学术研究板块。 :::

   一、ChatGPT及LLM重要论文

   【GPT研究必读论文】Training language models to follow instructions with human feedback

   Training language models to follow instructions with human feedback.pdf
   InstructGPT可视为ChatGPT前身。因为ChatGPT的技术原理并未公布，这篇论文也是了解OpenAI如何调教ChatGPT的必读技术文献。

   【OpenAI科学家分享】这波LLM崛起的3要素

   Scaling, emergence, and reasoning (Jason Wei, NYU).pdf
   OpenAI（前Google）的高级研究科学家JasonWei在推特介绍了这波LLM崛起的3要素：Scaling laws（规模），Emergent abilities（涌现），Reasoning via prompting（推理）。整个Slides逻辑清晰、详略得当、深入浅出，很好的阐释了这波GPT的魔法。可以发现CoT对于Emergent是非常关键的。
   
   @_jasonwei
   
   原推指路（附有详细的PPT和视频）

   很难相信Jason Wei这位涌现能力的世界权威，2020年才从达特茅斯本科毕业。

Attention Is All You Need【注意力机制经典论文】

Attention Is All You Need.pdf
本论文原是聚焦在自然语言处理领域，但由于其出色的解释性和计算性能开始广泛地使用在AI各个领域。

二、技术文章

ChatGPT背后的语言模型简史

ChatGPTNLP神经网络深度学习大语言模型
中文内容，万字篇幅，访问无需科学上网。
内容覆盖自然语言处理、神经网络、深度学习、生成式预训练等技术发展历史，值得研读。余认为除论文外，技术角度讲解ChatGPT前世今生的资料，看这一篇足矣，不用看营销号不懂技术的小编东拼西凑的内容。

RLHF: Reinforcement Learning from Human Feedback（从人类反馈中强化学习）

ChatGPT大语言模型强化学习
英文内容，文笔简练。
文章不涉及NLP等专业知识，但是把预训练、监督微调、人类反馈强化学习说清楚了。适合想了解AI原理但没有技术背景的人学习。如需阅读本文中文版👉网友翻译“从人类反馈中强化学习”

ChatGPT原理解析

ChatGPT强化学习大语言模型
相对好懂的文章，简明扼要介绍了ChatGPT的底层技术和原来那些（不够好用的）NLP语言大模型有啥区别。 :::info 一中一英，一技术角度、一科普角度，关于以ChatGPT为代表的大语言模型的技术内容，此三篇基本囊括。为避免贪多嚼不烂，此处不再分享更多。 :::