多元分类

one-vs.-rest[1]^{:182, 338} （或one-vs.-all，OvA或OvR）策略需要为每一个类别分别建立一个唯一的二分类基分类器，属于此类的所有样本均为正例，其余的全部为负例。这一策略需要基分类器去产生一个实值置信度以供决策，而不仅仅是预测出一个类标签：只是预测出类标签可能会导致归类的不明确（可能有多个基分类器都预测为正例），以致于一个样本会被预测属于多个类别。[1]^:182[注 1]

通过OvR方法使用二分类算法L建立多分类学习器，其伪代码表示如下：

输入：

• 二分类训练算法L
• 样本集合X
• 标签集合y 使y_i ∈ {1, … K} 是样本X_i的类标签

输出：

• 一个二分类分类器序列f_k，k ∈ {1, …, K}

执行过程：

• 对于{1, …, K}中的每个元素k：
  • 构建一个新标签向量z，其中y_i = k时z_i = 1，否则 z_i = 0（或-1）
  • 将L 应用于X、z 以获得f_k

当进行多分类时，需要将所有的二分类分类器应用于一个未知样本x，x的最终分类类别即为产生最大置信度的分类器所对应的标签k：

${\displaystyle {\hat {y}}=\arg \max _{k\in 1\ldots K}f_{k}(x)}$

尽管这一策略很流行，但它是一个受到些许问题困扰的启发式算法。首先，不同分类器之间置信度分布可能不同，这些分类器各自输出的置信度之间不一定具有可比性。其次，即使一个多分类训练集的类别是均衡分布的，其所对应的二分类所看到的类别分布也是不均衡的，因为它们所看到的负例个数通常远多于正例个数（即类别不平衡问题）。[1]^:338

在one-vs.-one （OvO） 的转化中，对于一个K类多分类问题，训练 K (K − 1) / 2 个二分类分类器；每一个二分类分类器从初始多分类训练集中收集其中两个类别的所有样本，并学习去区分这两个类别。在预测时，会有一个投票：所有 K (K − 1) / 2 个二分类分类器被应用于一个未知样本，并且那个得到最多“+1”预测的类别会成为最终的多分类预测结果。[1]^:339

像OvR一样, OvO也受些许问题困扰：在它输入空间的一些区域会收到相同数目的投票。[1]^:183