文本到图像生成模型

在深度学习兴起之前，搭建文生图模型的尝试仅限于通过排列现有的组件图像，如来自美工图案数据库的素材，形成类似于拼贴画的图像。[2][3]

相反的任务，即给图像配文更具有可操作性，在第一个文生图模型出现之前，就已经出现了一些类似的模型。[4]

第一个现代文生图模型是alignDRAW，由多伦多大学研究人员于2015年推出，扩展了之前的DRAW架构（其使用带有注意力机制的循环变分自编码器）使其能以文本序列作为输入。[4] alignDRAW生成的图像是模糊的，并不逼真，但该模型能归纳出训练数据中没有的物体（如红色校车）。并适当的处理新的提示，如“停车标识在蓝天上飞”，表明它并不仅仅是在“回放”训练集中的数据。[4][5]

以“A stop sign is flying in blue skies（在蓝天上飞行的停车标识）”为文本提示，由AlignDRAW生成的8张图像(2015)。（经过放大处理以显示细节）[6]

2016年，Reed、Akata、Yan等人首先试图将生成对抗网络用于文生图任务。[5][7]通过用狭窄的、特定领域的数据集训练的模型，他们能够从文字说明中生成“视觉上可信的”物体，如从“an all black bird with a distinct thick, rounded bill（一只全黑的鸟。有明显的厚而圆的喙）”中生成“视觉上可信的”鸟和花。在更多样化的COCO数据集上训练的模型产生的图像“从远处看……令人鼓舞”，但在细节上缺乏一致性。[5]后来的系统包括VQGAN+CLIP、[8]XMC-GAN和GauGAN2。[9]

最早引起公众广泛关注的文生图模型之一是OpenAI的DALL-E，它是一个公布于2021年1月的Transformer模型系统。[10]2022年4月，又发布了能生成更复杂、更逼真图像的DALL-E 2，[11]2022年8月又出现了公开发布的Stable Diffusion。[12]

继其他文生图模型之后，由语言模型驱动的文生视频平台开始涌现，如Runway、Make-A-Video、[13]Imagen Video、[14] Midjourney[15]Phenaki等，[16]它们可以从文本和/或文/图描述生成视频。[17]

AI艺术机器学习模型高级结构示意图。展示了AI艺术领域中影响较大的模型与应用，及之间的关系和依赖性。

文生图模型有各种不同架构。文本编码这一步可以用循环神经网络如长短期记忆（LSTM）网络实现，后来更流行的是Transformer模型。对于图像生成这一步，通常使用条件生成对抗网络，近年来扩散模型也很受欢迎。与其直接训练一个以文本为输入、以高分辨率图像为输出的模型，不如先训练一个模型来生成低分辨率图像，再用一个或多个辅助的深度学习模型来提升质量，填补更精细的细节。

文生图模型是在大型（文，图）对数据集的基础上训练的，通常是从互联网上抓取来的。谷歌大脑在2022年的Imagen模型中使用的大型语言模型仅用到了纯文本数据（其权重随后被冻结），并得到了积极的结果，这与以往的标准方法不同。[18]

来自3个不同公开数据集的文-图对例子。训练文生图模型的数据通常采自这些数据集。

训练文生图模型需要一个与文字说明相互相匹配的图像数据集。常用于此目的的数据集是微软于2014年发布的COCO（Common Objects in Context，语境中的常见对象），其由约12.3万张描述各种物体的图片组成，每张图片都有5条说明，由人类标注。Oxford-120 Flowers和CUB-200 Birds是较小的数据集，各有约1万张图片，分别限于花和鸟。它们的主题范围比较窄，因此用它们训练领域内的高质量文生图模型难度较小。[7]

评价文生图模型的质量十分具有挑战性，需要评估多种不同的属性。与任何生成性图像模型相同，所生成的图像最好比较真实（看起来像是来自训练集的有意义图像），且风格多样。文生图模型的一个具体要求是，生成的图像在语义上应与用于生成图像的文字说明相一致。这个一致性的度量与许多方案，有些是自动的，有些则基于人类的判断。[7]

评估图像质量和多样性的常用算法指标是初始分数（Inception score，IS），它基于预训练的Inception v3图像分类模型应用于文生图模型生产的图像样本时，预测的标签分布。一个单一标签的可能性越高，分数就越高，这是基于鼓励“独特性”的理念做出的。另一个较为知名的指标是与其相关的FID分数，它根据预训练的图像分类模型的最后一层所提取的特征，对生成的图像和真实训练图像的分布进行比较。[7]

纽约现代艺术博物馆的“思考机器:1959-1989,计算机时代的艺术与设计”（Thinking Machines: Art and Design in the Computer Age, 1959–1989）展览提供了AI在艺术、建筑和设计中的应用概况。展示AI用于生产艺术作品的展览有2016年谷歌赞助的旧金山灰色区域基金会的慈善活动和拍卖会，以及2017年于洛杉矶和法兰克福举办的“非人类：AI时代的艺术”（Unhuman: Art in the Age of AI），艺术家们在那里实验了DeepDream算法。2018年春，美国计算机协会专门出版了一期以计算机和艺术为主题的杂志。2018年6月，允许观众与AI互动的艺术作品“人与机器的二重奏”（Duet for Human and Machine）于Beall艺术+技术中心首演。奥地利Ars Electronica和维也纳应用艺术博物馆在2019年开设了关于AI的展览。Ars Electronica的2019年节日主题“盒子之外”（Out of the box）探讨了艺术在可持续社会转型中的作用。

2022年9月，一位专家得出结论：“AI艺术现在无处不在”，甚至专家也不知道它将意味着什么。[19]一家新闻媒体确定“AI艺术蓬勃发展”，并报道了专业艺术家的版权和自动化问题，[20]一家新闻媒体则调查了网络社区面对大量此种作品时的反应，[21]也有人提出了对深伪技术的担忧。[22]一部杂志强调了实现“新的艺术表现形式”的可能性，[23]一篇社论指出，它可能被视为一种受欢迎的“人类能力的增强”。Vincent, James. . The Verge. 2022-09-15 [2022-11-09]. （原始内容存档于2023-02-14）.[24][25]

以“月夜里盛满银河的游泳池”（swimming pool filled with a galaxy on a moonlit night）为提示，用Midjourney生成的图像

这种增强的例子可能包括，使业余爱好者能扩大非商业的市场定位体裁（常见的是赛博朋克衍生体裁，如太阳庞克）。

包括AI艺术在内的合成媒体在2022年被描述为一个主要的技术驱动趋势，可能会在将来几年内影响商业。.[25]

• 生成式人工智能
• 人工智能艺术
• Sora
• Stable Diffusion