S03-线性分类

背景简介

线性回归作为统计机器学习里的基本模型，根据对其不同的方面进行拓展出现了很多不同的模型

• 线性：线性回归拓展为非线性模型，又分为三种

  1. 属性非线性：线性回归的回归方程是一次的，非线性可变为高次，例如多项式回归
  2. 全局非线性：让整个回归方程转换为非线性方程，例如加入非线性激活函数，称之为线性分类
  3. 系数非线性：线性回归权重是不变化的，权值可变时就为非线性的，例如感知机、山景网络等
• 全局性：线性回归未对样本分层进行回归，实际可以划分为几块子样本分别建模，例如线性样条回归，决策树
• 数据未加工：线性回归的数据本身没有经过任何处理，如果经过特殊处理就可以变为其他模型，例如PCA、数据流行

线性分类概述

这一部分主要讨论线性分类，线性分类主要分为两种

1. 硬输出：即，输出为明确的类型。典型的有感知机、线性判别分析

2. 软输出：即，输出为一个概率值，也可表示为%3Dp%2CP(y%3D1%7CX)%3D1-p#card=math&code=P%28y%3D0%7CX%29%3Dp%2CP%28y%3D1%7CX%29%3D1-p)。软输出又可分为两种

   • 判别模型：直接输出#card=math&code=P%28Y%7CX%29)，例如Logistic Regression
   • 生成模型：假定一个先验#card=math&code=P%28Y%29)，先求解似然#card=math&code=P%28X%7CY%29)，再根据贝叶斯估计去计算#card=math&code=P%28Y%7CX%29)，类似于MAP。例如GDA(Gaussian Discriminant Analysis)