感知机算法

文章目录

1. 1. 什么是感知机
2. 2. 感知机算法

上节说了下Sigmoid函数做分类器，来做感知机学习(<<李航.统计学习方法>>)

什么是感知机

感知机是二分类的线形分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。

定义：假设输入空间（特征空间）是$x \subseteq R^n $,输出空间是$Y={+1,-1}$。输入$x \in \chi$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y \in Y$实例的类别。由输入空间到输出空间的如下函数

$$f(x) = sign(w.x+b)$$

称为感知机。其中，w和b为感知机模型参数，$w \in R^n$叫做权值(weight)或权值向量(weight vector)，$b \in R$叫作偏置(bias)，w.x表示w和x的内积。sign是符号函数，即
$$
\begin{equation}
sign(x)=\begin{cases}
+1& x\ge0\\
-1& x<0
\end{cases}
\end{equation}
$$

感知机算法

输入：训练数据集$T={(x_1,y_1),(x_2,y_2,)…(x_N,y_N)}$，其中$x_i \in \chi=R^n,y_i \in Y={-1,+1}$,i=1,2,…N;学习率$\eta(0<\eta\leq1)$;

输出：w，b；感知机模型$f(x)=sign(w*x + b)$.

1. 选取初值$w_0,b_0$
2. 在训练集中选取数据$(x_i,y_i)$
3. 如果$y_i(w*x_i)+b\leq0$

$$
w \gets w+\eta y_{i}x_i\\
b \gets b+\eta y_i
$$

1. 转至（2），直至训练集中没有误分类点。

解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整w,b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。