过去十年间，谷歌、Facebook、亚马逊、苹果和微软等硅谷科技巨头纷纷开启AI军备竞赛，先后成立专门的AI实验室，而最终业界公认的做纯AI研究的顶级实验室只有三家：背靠谷歌的DeepMind、背靠微软的OpenAI和背靠Facebook的FAIR。其中，被谷歌收购的DeepMind因拥有AlphaGo最为家喻户晓。

OpenAI在2015年底创立于旧金山，其联合创始人是马斯克以及硅谷知名孵化器Y Combinator的前掌门人奥特曼。不过，近年马斯克多以OpenAI的出资人角色出现，奥特曼才是这家公司的主导者和现任CEO。

不到五年时间，OpenAI就依靠GPT3跃升为全球AI领域顶级公司，与DeepMind并称AI圈的“双子星”。事实上，Meta的Fair实验室也一直在自然语言处理和对话型AI领域深耕，但其成果以发表论文为主，显得较为低调。今年6月，大举向元宇宙转型的Meta决定AI部门不再“集中化研究”，而是分布式下放，以便与实际业务结合，导致Fair的前途并不明朗。

OpenAI足以与AlphaGo一战的“武器”正是GPT3，这个2020年推出的巨型语言处理模型怪兽，可以完成诸如答题、写论文、文本摘要、语言翻译和生成代码等壮举，其诞生被视作人工智能竞赛的里程碑事件。

ChatGPT的前世今生

如果梳理OpenAI的GPT（Generative Pre-trained Transformer）系列技术路线，可以探寻出OpenAI的布局思路。

OpenAI最初提出的GPT1，采取的是生成式预训练Transform模型（一种采用自注意力机制的深度学习模型），此后整个GPT系列都贯彻了这一谷歌2017年提出，经由OpenAI改造的伟大创新范式。

简要来说，GPT1的方法包含预训练和微调两个阶段，预训练遵循的是语言模型的目标，微调过程遵循的是文本生成任务的目的。

2019年，OpenAI继续提出GPT-2，所适用的任务开始锁定在语言模型。GPT2拥有和GPT1一样的模型结构，但得益于更高的数据质量和更大的数据规模，GPT-2有了惊人的生成能力。不过，其在接受音乐和讲故事等专业领域任务时表现很不好。

相关报道: