Logistic回归和Sigmoid函数的理解

文章目录

看《机器学习实战》一书的Logistic回归记录下自己的理解，书上的例子用的是二维向量；该方法预测用的是Sigmoid函数（信号与系统的阶跃函数）。
$$
\sigma(z) = \cfrac{1}{1 +e^{-z}}
$$

Sigmoid函数的输入记为z，下面公式用于确定z：
$$
z = w_{0}x_{0} + w_{1}x_{1} + w_{2}x_{2} + …+ w_{n}x_{n}
$$

书上用的梯度上升算法确定系数w的数值。
$$
w = w + \alpha\delta f(w)
$$
该算法一直迭代找出w的系数，代码里是w（n，1），$\alpha = 0.001$ 循环500次得出系数矩阵。

该函数二维上就是在一些散点中画一条线来划分出不同的特征点，我们要找W就是这条线的系数。

书上给的给出的代码例程不能很好的运行，我做了简单的修改最后结果如下图：

修改过的源码上传到我的GitHub了地址

因为这个解法要迭代全部数据计算量比较大，后面的优化都是为了减少计算量做的比较好理解了就不在这里说明了。