半监督学习

半监督学习（英語：）是机器学习的一个分支，它在训练时使用了少量的有标签数据（Labeled data）和大量的无标签数据（Unlabeled data）。半监督学习介于无监督学习（训练数据全部无标签）和有监督学习（训练数据全部有标签）之间。半监督学习旨在缓解训练数据中有标签数据有限的问题。

该图展示了无标签样本对半监督学习影响的示例。上图展示了仅采用有标签样本（白圈和黑圈）进行分类的一个可能的边界。下图展示了使用有标签样本（白圈和黑圈）及无标签样本（灰圈）进行分类的边界。该过程可以看作聚类，使用有标签数据来标记聚类，让聚类边界远离高密度区域，或者学习数据所在的一维流形。

机器学习与
范式 监督学习 無監督學習 線上機器學習 元学习 半监督学习 自监督学习 强化学习 基于规则的机器学习 量子機器學習
问题 统计分类 生成模型 迴歸分析 聚类分析 降维 密度估计 异常检测 数据清洗 自动机器学习 关联规则学习 語意分析 结构预测 特征工程 表征学习 排序学习 语法归纳 本体学习 多模态学习
监督学习 (分类 · 回归) 学徒学习 决策树学习 集成学习 Bagging 提升方法 随机森林 k-NN 線性回歸 朴素贝叶斯 人工神经网络 邏輯斯諦迴歸 感知器 相关向量机（RVM） 支持向量机（SVM） 迁移学习 微调
聚类分析 BIRCH CURE算法 层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移
降维 因素分析 CCA ICA LDA NMF PCA PGD t-SNE SDL
结构预测 圖模式 貝氏網路 條件隨機域 隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子 孤立森林
人工神经网络 自编码器 認知計算 深度学习 DeepDream 多层感知器 RNN LSTM GRU ESN 储备池计算 受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision transforme 脉冲神经网络 Memtransistor 电化学RAM（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD） 多智能体 Self-play RLHF
与人类学习 主动学习 众包 Human-in-the-loop
模型诊断 学习曲线
数学基础 内核机器 偏差–方差困境 计算学习理论 经验风险最小化 奥卡姆学习 PAC学习 统计学习 VC理论
大会与出版物 NeurIPS ICML ICLR ML JMLR
相关条目 人工智能术语 机器学习研究数据集列表 机器学习概要

无监督学习适用的的问题往往有着大量的无标签样本，同时获得有标签样本成本较高。部分其它机器学习分支有着相同动机，但是遵从不同的假设和方法，例如主动学习和弱监督学习。将无标签样本和少量有标签样本同时使用时，会对学习的准确性产生极大改善。为特定问题获得有标签的数据通常需要熟练工（例如转录音频片段）或进行物理实验（例如确定蛋白质的三维结构，或者确定特定地点是否有油气）。由此，获得有标签样本的成本往往较高，获取大型的、完全标注的样本集是不可行的；同时，获取无标签的样本成本往往相对较低。此时，半监督学习具有较大的使用价值。半监督学习在机器学习和人类学习的建模方面也具有理论价值。

正式的来说，半监督学习假设有${\displaystyle l}$个独立同分布的样本${\displaystyle x_{1},\dots ,x_{l}\in X}$及对应的标签${\displaystyle y_{1},\dots ,y_{l}\in Y}$，和${\displaystyle u}$个无标签的样本${\displaystyle x_{l+1},\dots ,x_{l+u}\in X}$。半监督学习结合这些样本来获得相比于放弃无标签样本进行有监督学习或放弃有标签样本进行无监督学习更好的分类性能。

半监督学习可以是推断学习或归纳学习。[1]推断学习的目的是推断给定无标签样本${\displaystyle x_{l+1},\dots ,x_{l+u}}$的正确标签；归纳学习的目的是推断${\displaystyle X}$到${\displaystyle Y}$的正确映射。

直观地说，学习问题可以看成一次考试，有标签样本是为了帮助学习，由老师解答的样题。推断学习中，未解决的问题是考试题目；归纳学习中，它们是会构成考试的练习题。

对整个输入空间进行推断学习没有必要（依据Vapnik准则，也是不够谨慎的）。然而在实践中，为推断学习和归纳学习设计的算法通常交替使用。