学习问题的标准描述

定义：如果一个计算机程序针对一个任务T，可以根据经验E改善性能度量P，则称这个程序可以从经验E中学习。
对于所有学习问题，需要确定这三个要素，任务，经验和性能度量。

学习系统的设计

1. 训练经验的选择

训练经验对于一个学习程序的性能起到了至关重要的左右，那么选择训练经验需要考虑哪些方面呢？可以从三个角度考虑。（下文的训练经验均以E表示）

  • E是否能对学习器作决策提供直接或者间接的反馈？
    • 监督学习：数据-标签（直接反馈）
    • 强化学习：动作序列-奖励（间接反馈）
  • 学习器可以多大程度上控制E？
    • 监督学习：无控制
    • 主动学习：询问
    • 强化学习：完全控制
  • E可以多好地表示真实分布？
    • 最关键

      要学习的目标知识的类型

      对于不同的学习任务，学习器需要学习的目标知识通常是不同的，通常我们使用目标函数表示要学习的目标知识

      目标知识的表示

      学习的机制

      归纳偏置：
      假设空间：