逻辑回归算法讲解 (算法 + 案例)

逻辑回归 (Logistic Regression)

1.1 逻辑回归与线性回归的关系

逻辑回归是用来做分类算法的，大家都熟悉线性回归，一般形式是 Y=aX+b，y 的取值范围是 [-∞, +∞]，有这么多取值，怎么进行分类呢？不用担心，伟大的数学家已经为我们找到了一个方法。

首先我们先来看一个函数，这个函数叫做 Sigmoid 函数：

函数中 t 无论取什么值，其结果都在 [0,-1] 的区间内，回想一下，一个分类问题就有两种答案，一种是 “是”，一种是“否”，那 0 对应着“否”，1 对应着“是”，那又有人问了，你这不是[0,1] 的区间吗，怎么会只有 0 和 1 呢？这个问题问得好，我们假设分类的阈值是 0.5，那么超过 0.5 的归为 1 分类，低于 0.5 的归为 0 分类，阈值是可以自己设定的。

好了，接下来我们把 aX+b 带入 t 中就得到了我们的逻辑回归的一般模型方程：

结果 P 也可以理解为概率，换句话说概率大于 0.5 的属于 1 分类，概率小于 0.5 的属于 0 分类，这就达到了分类的目的。

1.2 损失函数

逻辑回归的损失函数跟其它的不同，先一睹尊容：

解释一下，当真实值为 1 分类时，用第一个方程来表示损失函数；当真实值为 0 分类时，用第二个方程来表示损失函数，为什么要加上 log 函数呢？可以试想一下，当真实样本为 1 是，但 h=0 概率，那么 log0=∞，这就对模型最大的惩罚力度；当 h=1 时，那么 log1=0，相当于没有惩罚，也就是没有损失，达到最优结果。所以数学家就想出了用 log 函数来表示损失函数，把上述两式合并起来就是如下函数，并加上正则化项：

最后按照梯度下降法一样，求解极小值点，得到想要的模型效果。

1.3 多分类问题 (one vs rest)

其实我们可以从二分类问题过度到多分类问题，思路步骤如下：

将类型 class1 看作正样本，其他类型全部看作负样本，然后我们就可以得到样本标记类型为该类型的概率 p1。
然后再将另外类型 class2 看作正样本，其他类型全部看作负样本，同理得到 p2。
以此循环，我们可以得到该待预测样本的标记类型分别为类型 class i 时的概率 pi，最后我们取 pi 中最大的那个概率对应的样本标记类型作为我们的待预测样本类型。