感知器模型的输入空间为$\chi\subseteq\mathbb{R}^n$,输出空间为$y=\{+1,-1\}$感知器定义为:$f(x)=sign(wx+b)$感知器学习策略输入空间中任意点$x_0$到超平面S的距离:$\frac{1}{||w||}|wx_0+b|$误分类数据$(x_i,y_i)$,$-y_i(wx_i+b)>0$误分类点$x_i$到超平面S的距离$-\frac{1}{||w||}y_i(wx_i+b)$误分类点集M,所有误分类点到超平面S$-\frac{1}{||w||}\sum_{x_i\in{M}}y_i的距离(wx_i+b)$因此,感知器损失函数定义为$L(w,b)=-\sum_{x_i\in{M}}y_i(wx_i+b)$感知器学习算法(原表)输入:训练数据集$T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)\}$$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}=\{+1,-1\}$,学习率$\eta$输出:w,b;感知器模型$f(x)=sign(wx+b)$(1)选择初始值$w_0$,$b_0$(2)选择$(x_i,y_i)$(3)IF$y_i(wx_i+b)≤0$$w←w+\eta{y_ix_i}$$b←b+\eta{y_i}$(4)转(2)直到没有误分类点。另外:感知机算法是收敛的,训练数据上的误分类次数k满足$k≤(\frac{R}{\gamma})^2$感知机学习算法(对偶形式)由原形成$w←w+\eta{y_ix_i}$$b←b+\eta{y_i}$进行n次,w,b约$(x_i,y_i)$增量为$a_iy_ix_i$和$a_iy_i$记录$a_i=n_i\eta$,最后学习到的w,b表示为$w=\sum_{i=1}^{N}a_iy_ix_i$$b=\sum_{i=1}^{N}a_iy_i$输入:训练数据设置$T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)\}$$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}=\{+1,-1\}$,学习率$\eta$输出:a,b;感知器模型$f(x)=sign(\sum_{j=1}^{N}a_jy_jx_j·x+b)$其中$a=(a_1,a_2,...,a_N)^T$(1)$一个←0$;$b←0$(2)训练集选择$(x_i,y_i)$(3)IF$y_i(\sum_{j=1}^{N}a_jy_jx_j·x_i+b)≤0$$a_i←a_i+\eta$$b←b+\eta{y_i}$(4)转到(2)直到没有误分类的点。记住Gram矩阵$G=[x_i·x_j]_{N×N}$
