决策边界

人工神经网络或感知器的反向传播算法，网络可学到的决策边界的类型由隐含层数决定。

如果没有隐含层，那么只能学习线性问题。如有一个隐含层，使用万能逼近定理可学到Rⁿ的紧子集的任何连续函数，因此可学到任意的分类边界。

支持向量机 能找到一个超平面，把特征空间分为具有最大间隔的2个类。如果问题在最初不是线性可分的，通过核方法把它映射到高维空间变为线性可分。

神经网络通过分类边界学习来极小化经验误差（empirical error）。支持向量机 通过分类边界学习来极大化经验间隔（maximizes the empirical margin）。