迁移学习

最早被引用的关于迁移学习的工作被认为属于洛麗安·普拉特。他在1993年制定了基于可辨识性的转移（DBT）算法。[2]

1997年，机器学习期刊发表了一期专门讨论迁移学习的期刊，[3] 而到了1998年，该领域已经发展到包括多任务学习，[4] 以及对其理论基础的更深入完善的分析。[5] 1998年，由普拉特和塞巴斯蒂安·特龍编辑的《Learning to Learn》[6]便是对该主题的回顾。

迁移学习也被应用于认知科学，比如《Connection Science》杂志就于1996年出版了一版特殊期刊，描述了如何通过使用迁移学习重新利用已有神经网络。[7]

迁移学习是由域和任务定义的。域${\displaystyle {\mathcal {D}}}$由特征空间${\displaystyle {\mathcal {X}}}$和边缘概率分布${\displaystyle P(X)}$构成，其中${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$。给定域${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$，任务由标签空间${\displaystyle {\mathcal {Y}}}$和目标预测函数${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$两部分组成，函数${\displaystyle f}$预测${\displaystyle x}$对应的标签${\displaystyle f(x)}$。任务${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$是从含有样本对${\displaystyle \{x_{i},y_{i}\}}$的训练数据中学习得到的，其中${\displaystyle x_{i}\in X,y_{i}\in {\mathcal {Y}}}$。[8]

给定原域${\displaystyle {\mathcal {D}}_{S}}$及其任务${\displaystyle {\mathcal {T}}_{S}}$，目标域${\displaystyle {\mathcal {D}}_{T}}$及其任务${\displaystyle {\mathcal {T}}_{T}}$（满足${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$或${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$），迁移学习旨在通过利用${\displaystyle {\mathcal {D}}_{S}}$和${\displaystyle {\mathcal {T}}_{S}}$的知识，帮助学习${\displaystyle {\mathcal {D}}_{T}}$域的目标预测函数${\displaystyle f_{T}(\cdot )}$。[8]

迁移学习的算法基础可以源自马尔可夫逻辑网络[9]和贝叶斯网络。[10]迁移网络还被利用与发现癌症种类 [11]、建筑物人员限额[12]、普适智能游戏玩家[13]、语句分类[14][15]以及筛选垃圾邮件（短信）。[16]

• Thrun, Sebastian; Pratt, Lorien. . Springer Science & Business Media. 6 December 2012 [2022-12-23]. ISBN 978-1-4615-5529-2. （原始内容存档于2022-07-02）.