图灵奖David Patterson教授-芯片架构创新加速人工智能(海报).jpeg 版权归清华大学五道口科学企业家课程所有,本传播供学习笔记使用。如需转载,务必附上本声明,链接:> 知乎链接@人比山高

讲座要点

  • 人工智能、机器学习、深度神经网络是如何发展到今天的?
  • 计算机产业如何对抗正在放缓的摩尔定律?
  • 有没有办法让计算机的性能一年提高10倍?
  • 如何用搭乐高积木的方式制造超级计算机?
  • 未来的芯片企业能翻过因特尔、ARM两座大山吗?

    第一部分小结:领域专用架构(DSA)芯片需求的崛起

  1. 人工智能(AI)近些年的发展主要得益于其分支学科机器学习(ML)的进步,而机器学习(ML)中最重要的技术是深度神经网络(DNN);
    2. 机器学习(ML)未来发展主要有两个需求,分别是:a)更多的数据,和b)更快的计算机;其中,海量数据会在未来由云计算和物联网提供,但通用计算芯片的速度却受限于摩尔定律的放缓;
    3. 如何满足机器学习对更快计算机的需求?——领域专用架构(DSA),即让计算机从架构层面就专注特定领域的计算,提升运算速度,这是未来计算机发展的重要趋势;
    4. 同时,领域专用架构(DSA)给云计算和边缘计算的设备制造提出了挑战;
    云计算:通过互联网传输,依托分布式数据中心对计算任务进行处理;
    边缘计算:通过互联网连接的大量微型终端计算设备(物联网终端、手机等);

第二部分小结:DSA理念下的云端计算:初代TPU的成功案例

  1. 张量处理单元(TPU)是在2013年开始,为应对更庞大的计算任务而提出的芯片概念,是领域专用架构(DSA)的典型成功实例;
    2. 由于采用DSA理念,2015年第一代TPU在每瓦功耗对应的专用计算性能上得到了大幅度提升(Intel CPU的约80倍,NVIDIA GPU的约30倍);
    3. TPU的成功得益于舍弃了通用计算芯片(CPU/GPU)中一些不必要的设计,节约功耗的同时提升了计算性能;

第三部分小结:DSA理念下的云端计算:构建面向神经网络(NN)的超级计算机

  1. 2012年开始,对于AI训练的计算需求每年增加10倍,远超传统芯片算力的增速,业界需要面向AI训练的专用超级计算机;
    2. 为了实现这一目标,TPU芯片首先需要关注其【互联特性】。考虑到大量数据需要在芯片间进行交换,而传统数据中心的网络速度不能满足高速AI训练的需求,因此2代TPU中设计了定制的核间互联(ICI)模块,速度高达500GB/s;
    3. TPU其次要关注其运算的【数据类型】,传统芯片中的32位浮点运算所需功耗和芯片面积较高,因此当前ARM、Intel等公司均已宣布未来芯片将采用16位脑浮点运算,从而进一步降低TPU芯片功耗,提升计算性能;
    4. 在上述改进的基础上,Google开发了2代和3代TPU,其中3代TPU的运算性能与NVIDIA的Volta芯片相比,基准计算性能持平,AI训练相关性能约为后者5倍;
    5. 更重要的,3代TPU展现出非常好的【可扩展性】,即随着并联TPU芯片量的增加,运算速度可实现线性提升(而传统芯片随着并联芯片数量增加,边际性能收益会递减),这主要得益于核间互联(ICI)模块实现的芯片间高速通信;
    6. 当前,基于DSA理念的TPU芯片组成的AI训练超级计算机,其性能已经在多项性能中比肩/超过现有的全球超级计算机500强;

第四部分小结:DSA理念下的边缘计算:RISC-V架构的发展

  1. 目前,AI计算的需求在边缘端(手机、物联网终端等)显著增加,而边缘计算对功耗比更加敏感,需要更加精简的“词汇表”(即更精简的芯片架构)实现软硬件的对话。因此,像是阿里平头哥芯片、Pygmy芯片等都开始采用RISC-V架构提升其AI运算效率;
    2. RISC-V的七大优势:免费开源、云端和边缘端均可使用、安全可信、很大升级空间、模块化编程、设计简单且优雅、社区化全球运营;
    3. RISC-V国际协会在瑞士注册成立,目前已经有来自47个国家的超过588名会员,中国是其中重要的成员之一,大约15%的RISC-V组织位于中国;
    4. RISC-V是一种开源的指令集架构,能够大幅度降低芯片产品的开发成本,有望打破目前Intel、ARM对芯片架构的知识产权垄断;
    5. RISC-V的架构有望在电脑、手机、服务器、嵌入式设施等等各种场景中使用,同时缓解在当前紧张的国际环境之下芯片产业进一步全球化的阻力;
    6. David Patterson教授、谭章熹教授、张林教授带领的RIOS实验室,是当前RISC-V架构研发推广的重要新进展,地点位于深圳,它结合了深圳市、清华大学和加州大学伯克利分校的共同资源,以开源技术为理念,力求促进RISC-V技术发展,培养未来芯片技术的领袖。

讲座思维导图:

图灵奖David Patterson教授-芯片架构创新加速人工智能.jpeg