Logistic Regression

逻辑回归是常用的线性分类器，处理的是分类任务，与回归无关。

单一的逻辑回归只能处理二分类问题，一类标签为1，一类标签为0。

使用线性函数：

经过Sigmoid激活函数：

激活函数的输出代表了样本为类别1的概率。

因此合并上述两个公式，当转化为上述一式，当转化为上述二式。

对于整个样本集的似然函数即为每个点的概率乘积：

为了方便求解，对似然函数取log：

在此处，希望越大越好。但由于机器学习中的优化任务往往是最小化任务，因此为似然函数取负号，作为目标损失函数。

针对某一组和，有损失函数如下：

如果使用梯度下降进行优化，使用链式求导法则：

在实际项目中，常使用SGD、拟牛顿法、FTRL方法进行优化。