GPT-1

选择BookCorpus作为训练数据集的一部分原因是其中包含了长篇连续文本，有助于模型学习处理长距离信息[7]。该数据集包含来自各种流派的7,000多本未发表的小说。当时其他可用的数据集虽然更大，但缺乏这种长距离结构（在句子级别上被“洗牌”）[5] 。

研究人与使用ftfy库清理BookCorpus文本，以标准化标点和空格，并由spaCy进行标记化[5]。

GPT-1采用了十二层的仅解码变换器，使用了12个掩码的自注意力头，每个头有64个维度状态（总共768个维度状态）。GPT-1采用了Adam优化算法，而非简单的随机梯度下降；学习率在前2000次更新中线性增加到最大值2.5×10⁻⁴，然后通过余弦调度减少到0[5]。

尽管微调是针对特定任务进行调整的，但其预训练过程并没有调整；为了执行各种任务，只对其底层的与任务无关的模型架构进行了最小的更改[5]。尽管如此，GPT-1仍然在多个语言处理任务中改进了以往的基准，在许多任务上的表现优于面向任务的判别式训练模型[5]。

在自然语言推理（又称文字蕴涵）任务中，GPT-1在QNLI（维基百科条目）和MultiNLI（转录的演讲、流行小说和政府报告等来源）两个数据集上分别比以往最佳结果提升了5.8%和1.5%。该任务评估的是其解释一对句子，并将它们之间的关系分类为“蕴涵”、“矛盾”或“中立”的能力[5][8]。在与问题回答和常识推理相关的两个任务上，GPT-1也优于以前的模型，分别在RACE（中学和高中考试题目的数据集）上提升了5.7%[9]，在Story Cloze Test上提升了8.9%[10]。

在语义相似性（又称释义检测）任务方面，GPT-1预测两个句子是否语义对等的能力比以往最佳结果提高了4.2%，该任务使用了Quora问题对（Quora Question Pairs，QQP）数据集[5]。

在使用语言可接受性语料库（，CoLA）进行文本分类任务时，GPT-1获得了45.4分，而以前最好的得分是35.0[5]。在GLUE（一种多任务测试）上，GPT-1取得了72.8的总体得分，优于以前的最好成绩68.9分[11]。