image.png

  • 分类任务
  • 中间过程清楚简单

  • 基础模型

    Sigmoid函数

    image.png

  • 值到概率的转换

image.png

  • 逻辑边界可以很复杂

    似然函数

    image.png
    image.png

    梯度下降

  • 机器学习中默认对数使用 ln

image.png

  • 多分类相比单一分类多了一步归一化

    Python实现

    image.png
    image.png

  • 选择不使用原数据的列名，而是自己指定

image.png

  • 观察数据维度

image.png

  • 将正样本和负样本分别提取出来

image.png

  • 可视化展示原始数据

image.png

sigmoid函数

image.png

image.png
image.png

预测函数

image.png
image.png

  • 原始数据中加入x_0 = 1的一列
  • 初始化参数向量 零向量

image.png
image.png
image.png

  • 数据检查

    损失函数

    （代价函数/目标函数）
    image.png
    image.png

    计算梯度

    image.png

    梯度下降

  • 更新参数

image.png

  • 三种停止策略

    • 限制迭代次数
    • 检测误差函数大小
    • 检测下降梯度大小

      洗牌

      image.png

      参数更新

      image.png
      image.png

      可视化显示

      image.png
      image.png
      image.png
      image.png
      image.png
      image.png
      image.png

      方法对比

  • 随机梯度下降

  • 部分梯度下降
  • 全样本梯度下降

image.png

  • 如果每次仅迭代一个样本（即随机梯度下降）

image.png
image.png
image.png
image.png

  • 部分梯度下降

image.png

  • 标准化

image.png
image.png
image.png
image.png

  • 数据的预处理很重要

    精度

    image.png