开始更新《统计学习方法》的笔记理解以及代码实现系列。边学边记录吧，加油。
感知机(perceptron)是二类分类的线形分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。其旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。分为原始形式和对偶形式。感知机在1957年由Rosenblatt提出，是神经网络与支持向量机的基础。——摘自《统计学习方法》P35。
1. 感知机模型
定义（感知机）：假设输入空间（特征空间）是 $\chi \subseteq \mathcal{R}^2$，输出空间是 $\mathcal{Y} = \lbrace+1, -1\rbrace$。输入$x \in \chi$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y \in \mathcal{Y}$表示实例的类别。由输入空间到输出空间的如下函数：
$$f(x) = sign(w \cdot x + b) \tag{1.1}$$
称为感知机。其中 $w$ 和 $b$ 为感知机模型参数，$w \in \mathcal{R}^n$ 叫作权值(weight)或权值向量(weight vector)，$b \in \mathcal{R}$ 叫作偏置(bias)，$w \cdot x + b$ 表示 $w$ 和 $x$ 的内积。$sign$ 是符号函数，即
$$f(x)=
\begin{cases}
0& \text{x=0}\
1& \text{x!=0}
\end{cases}$$
1 | 好久之前挖的坑...找时间再填吧。 |