从大量候选变量中选择最终的预测变量有以下两种流行的方法：逐步回归法（stepwise method）和全子集回归（all-subsets regression）。

r in action 190

逐步回归中，模型会一次添加或者删除一个变量，直到达到某个判停准则为止。

  1. 向前逐步回归（forward stepwise regression）每次添加一个预测变量到模型中，直到添加变量不会使 模型有所改进为止。
  2. 向后逐步回归（backward stepwise regression）从模型包含所有预测变量开始， 一次删除一个变量直到会降低模型质量为止。
  3. 向前向后逐步回归（stepwise stepwise regression， 通常称作逐步回归，以避免听起来太冗长），结合了向前逐步回归和向后逐步回归的方法，变量 每次进入一个，但是每一步中，变量都会被重新评价，对模型没有贡献的变量将会被删除，预测 变量可能会被添加、删除好几次，直到获得最优模型为止。
  4. 逐步回归法的实现依据增删变量的准则不同而不同。
  5. MASS包中的stepAIC()函数可以实现 逐步回归模型（向前、向后和向前向后），依据的是精确AIC准则。
  6. AIC值越低越好

    全子集回归

    全子集回归是指所有可能的模型都会被检验。分析员可以选择展示所有可能的结果，也可以展示n个不同子集大小（一个、两个或多个预测变量）的最佳模型。
    例如，若nbest=2， 先展示两个最佳的单预测变量模型，然后展示两个最佳的双预测变量模型，以此类推，直到包含 所有的预测变量。
    全子集回归可用leaps包中的regsubsets()函数实现。你能通过R平方、调整R平方或 Mallows Cp统计量等准则来选择“最佳”模型。