DALL-E

DALL-E模型最初于2021年1月5日由OpenAI发布。[7]

2022年4月，OpenAI宣布了新版本的DALL-E 2，声称它可以从文本描述中生成照片般逼真的图像，另外还有一个允许对输出进行简单修改的编辑器。根据OpenAI的公告，该程序仍处于研究阶段，访问权限仅限于小部分测试版用户。该模型有时仍会犯一些人类不会犯的严重错误。[8]OpenAI称DALL-E 2是一个“可以从文本描述中生成原创、逼真的图像和艺术”的模型。[9]

DALL-E是与CLIP（Contrastive Language-Image Pre-training，对比图文预训练）模型一起开发并向公众发布的。[7]CLIP是一个单独的模型，其作用是理解输出图像并为其打分。[2]DALL-E生成的图像由CLIP模型进行筛选，以呈现最高质量的图像。[7]

GPT模型最初由OpenAI于2018年开发[10]，其使用了Transformer架构。第二版的GPT-2于2019年发布。[11]2020年又再次扩大规模发布了拥有1750亿个参数的GPT-3。[1]

DALL-E模型是GPT-3的多模态实现，共拥有120亿个参数[1]，使用从网络上收集的文本和图像对进行训练。 [7]它使用零样本学习从描述和提示中生成输出，而无需进一步训练。[12]

DALL-E会根据提示生成多个图像，之后由CLIP模型对这些图像进行排序。[2]CLIP模型使用了超过4亿对图像和文本进行训练。[1]该模型是一个图像识别系统[13]，它的训练集是从网络上抓取的图像与描述，而不是诸如ImageNet之类的经过整理的标记图像数据集。[7]CLIP将图像与所有文本相关联。[7]它能够预测哪个文本（从32768个随机采样的文本中选择）最适合图像，使其在之后有能力识别不在其训练集之中的图像中的对象。 [7]

DALL-E能够生成各种风格的图像，从照相写实主义图像[1]到绘画和表情符号。它还可以“操纵和重新排列”图像中的对象。[1]其创作者指出DALL-E的一项能力是在没有明确指示的情况下将设计元素正确放置在新颖的作品中：“例如，当被要求画一个白萝卜擤鼻涕、喝拿铁或骑独轮车时，DALL-E通常能在合理的位置画出手帕、手和脚。” [14]

DALL-E展现了多种能力。《Input》[15]、NBC[16]、《自然》[17]等的报道文章中都提到了DALL-E生成的“穿着芭蕾舞裙遛狗的小白萝卜插图”。 [1][18][19]而它生成的“鳄梨形状的扶手椅”也同样受到关注。[7][20]另一方面，DALL-E还展现出了足以解决瑞文氏标准推理测验（通常用于测量人类智力的视觉测试）的视觉推理技能。 [21]

剑桥大学机器学习教授尼尔·劳伦斯（Neil Lawrence）认为DALL-E这类模型有能力存储关于我们这个世界的信息，并以人类认为非常自然的方式进行推广。佐治亚理工学院交互计算学院副教授马克·里德尔（Mark Riedl）则认为DALL-E的演示结果表明它能够协调地融合概念，这是人类创造力的关键要素，同时他指出DALL-E绘制的插图比过去几年其他的Text2Image（由文本生成图像）系统要出色许多。[22]

DALL-E模型在没有特定提示的情况下也能够推断合适细节的能力也受到了关注。技术博客ExtremeTech注意到，DALL-E绘制的“穿着圣诞毛衣的企鹅”不仅会生成企鹅穿着毛衣的图像，而且还会生成与主题相关的圣诞老人帽。[23]另一个技术博客Engadget则注意到模型生成的“一幅一只狐狸冬天坐在田野里的画”中出现了适当放置的阴影。[12]此外，DALL-E展示了对视觉和设计趋势的广泛理解。例如，DALL-E可以绘制指定年代的手机或吸尘器的照片，它了解这些物体的形态是如何随时间改变的。[23][12]

不过有时模型也会出现错误。比如DALL-E 2就无法区分“一本黄色的书与一个红色的花瓶”与“一本红色的书与一个黄色的花瓶”这两个描述，也无法区分“正在咖啡拉花的熊猫”与“熊猫图案的咖啡拉花”。[24]