原文标题：《从 GPT-1 到 GPT-4 看 ChatGPT 的崛起》

　　原文作者：阿法兔研究笔记

　　ChatGPT 是个啥？

　　ChatGPT 是个啥？

　　近期，OpenAI 发布了 ChatGPT，是一个可以对话的方式进行交互的模型，因为它的智能化，得到了很多用户的欢迎。ChatGPT 也是 OpenAI 之前发布的 InstructGPT 的亲戚，ChatGPT 模型的训练是使用 RLHF（Reinforcement learning with human feedback）也许ChatGPT 的到来，也是 OpenAI 的 GPT-4 正式推出之前的序章。

　　什么是 GPT？从 GPT-1 到 GPT-3 

　　Generative Pre-trained Transformer （GPT），是一种基于互联网可用数据训练的文本生成深度学习模型。它用于问答、文本摘要生成、机器翻译、分类、代码生成和对话 AI。

　　2018 年，GPT-1 诞生，这一年也是 NLP（自然语言处理）的预训练模型元年。性能方面，GPT-1 有着一定的泛化能力，能够用于和监督任务无关的 NLP 任务中。其常用任务包括：

• 自然语言推理：判断两个句子的关系（包含、矛盾、中立）

• 问答与常识推理：输入文章及若干答案，输出答案的准确率

• 语义相似度识别：判断两个句子语义是否相关

• 分类：判断输入文本是指定的哪个类别

　　虽然 GPT-1 在未经调试的任务上有一些效果，但其泛化能力远低于经过微调的有监督任务，因此 GPT-1 只能算得上一个还算不错的语言理解工具而非对话式 AI。

　　GPT-2 也于 2019 年如期而至，不过，GPT-2 并没有对原有的网络进行过多的结构创新与设计，只使用了更多的网络参数与更大的数据集：最大模型共计 48 层，参数量达 15 亿，学习目标则使用无监督预训练模型做有监督任务。在性能方面，除了理解能力外，GPT-2 在生成方面第一次表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演通通不在话下。