1. NAS 是什么

Nerual Architecture Search，NAS 神经网络架构搜索，它的作用是用来搜索（或者说设计）神经网络结构，因此它是一种方法。

2. 为什么要 NAS

因为以前的神经网络结构都是人工设计的，过程漫长、繁琐且效果不一定好（神经网络结构的设计，超参数和参数的调优等等），所以 NAS 的出现就是为了在无人工干预的情况下能够针对特定的深度学习问题检测出有效的神经网络结构。

3. NAS 是怎么做的

NAS 原理：从搜索空间中根据搜索策略得到子网络，然后根据性能评估策略对子网络进行性能评估，如此反复。
抽出三要素：

  1. 搜索空间：候选神经网络结构的集合。
  2. 搜索策略：定义如何在搜索空间中进行搜索。常见搜索方法有：随机搜索、贝叶斯优化、强化学习、进化算法、基于梯度的算法。
  3. 性能评估策略：评估搜索出的子网络的性能。
    1. 用一些低保真的训练集来训练模型
    2. 借鉴于工程优化中的代理模型
    3. 迁移学习
    4. One-Shot

对这三要素的不同实现，得到不同的 NAS 算法。

参考

机器之心-NAS