2020年的GPT3将GPT模型提升到全新的高度，其训练参数是GPT-2的10倍以上，技术路线上则去掉了初代GPT的微调步骤，直接输入自然语言当作指示，给GPT训练读过文字和句子后可接续问题的能力，同时包含了更为广泛的主题。

图源：Medium GPT系列模型的数据集训练规模

现在的ChatGPT则是由效果比GPT3更强大的GPT-3.5系列模型提供支持，这些模型使用微软Azure AI超级计算基础设施上的文本和代码数据进行训练。

具体来说，ChatGPT在一个开源数据集上进行训练，训练参数也是前代GPT3的10倍以上，还多引入了两项功能：人工标注数据和强化学习，相当于拿回了被GPT3去掉的微调步骤，实现了在与人类互动时从反馈中强化学习。

也因此，我们得以看到一个强大的ChatGPT：能理解人类不同指令的含义，会甄别高水准答案，能处理多元化的主题任务，既可以回答用户后续问题，也可以质疑错误问题和拒绝不适当的请求。

当初，GPT-3只能预测给定单词串后面的文字，而ChatGPT可以用更接近人类的思考方式参与用户的查询过程，可以根据上下文和语境，提供恰当的回答，并模拟多种人类情绪和语气，还改掉了GPT-3的回答中看似通顺，但脱离实际的毛病。

展现出ChatGPT对问题分辨能力的一则回答

不仅如此，ChatGPT能参与到更海量的话题中来，更好的进行连续对话，有上佳的模仿能力，具备一定程度的逻辑和常识，在学术圈和科技圈人士看来时常显得博学而专业，而这些都是GPT-3所无法达到的。

ChatGPT自己回答与前代GPT3的能力区别

尽管目前ChatGPT还存在很多语言模型中常见的局限性和不准确问题，但毋庸置疑的是，其在语言识别、判断和交互层面存在巨大优势。同属于生成式AI范畴，ChatGPT在速度上已经比DeepMind研究人员提出的聊天机器人Sparrow（麻雀）模型领先一步。

有分析指出，OpenAI一直坚定不移的只用自然文本的上文来训练模型推动了GPT3到ChatGPT的成果，其顺应了人类思考的逻辑，最终由量变推动了质变。

相关报道: