OpenAI GPT-5难产,互联网公开资料已无法满足其胃口

OpenAI GPT-5开发遇阻力,成本高昂,还得请专家来投喂。

其实在见识过如今GPT-4的“实力”之后,小江已然不敢想象未来的GPT-5能达到怎样的高度。再联想下科幻作品中桥段,脑补的画面不可谓之不“美丽”。但,根据最近消息OpenAI的GPT-5开发工作似乎遭遇了“卡壳”。

GPT-5“难产”

据《华尔街日报》12月20日报道,OpenAI耗资巨大的“猎户座”(Orion)项目,也就是传闻的中GPT-5似乎正面临不小的麻烦。这款代号神秘的GPT-5模型原计划在2024年中旬登场,但截至目前,历经18个月的锤炼,它并没有取得预期的成果。

示意图.jpg

源自其他媒体报道,OpenAI为了让“猎户座”更加聪明,已经进行了两轮超大规模训练,每次训练都需要数月时间和大量数据支持。然而,有关人士透露,每次训练都会冒出新问题,而且模型的表现总是差强人意。用一位前高管的话来说,“GPT-4表现像优秀高中生,但GPT-5的目标是部分任务能达到博士水平”。但这“博士”门槛显然高得离谱。

更棘手的是,训练GPT-5的成本堪称“天文数字”。据估算,仅6个月的算力成本就高达5亿美元,而GPT-4的训练成本“才”刚过1亿美元。

AI模型的“参数”(parameters)是衡量其能力的重要指标,就像大脑神经元数量。理论上,参数越多,模型越强大,但训练成本也就越高。从GPT-1的1.17亿参数到GPT-4的1.76万亿,OpenAI一路飙升了10倍。然而,参数的增加也意味着问题更复杂,开发难度更大。

相关数据.png

早在2023年,OpenAI就启动了一个名为“厄拉克斯”(Arrakis)的测试项目,试图为“猎户座”奠定技术基础,但效率低得令人发指,项目很快被叫停。这不仅让OpenAI蒙受损失,也让主要投资者微软的部分高管大为光火。

更重要的是,当今互联网上的公开数据已不能满足GP-T迭代的胃口。为了破局,OpenAI甚至已经开始雇佣专家(软件工程师和数学家等)来生成供“GPT-5”训练的新数据,但就模型的“吞吐量”和学习速度来说,这方法几乎和杯水车薪无疑,进展依旧缓慢。

另一方面,OpenAI的“窝里斗”同样让项目雪上加霜。过去一年里,超过20位高管和研究人员离职,许多是业内顶尖科学家。与此同时,竞争对手却在快速推进。Anthropic的模型被认为在性能上超越了GPT-4,谷歌推出的NotebookLM也备受好评。

Anthropic.jpg

在“猎户座”掉队的日子里,OpenAI试图另辟蹊径,推出了GPT-4的精简版,还开辟了新方向,比如可以生成AI视频的“Sora”项目,以及通过推理提升模型智能的“o1”推理模型。

所谓推理模型,旨在让AI像人类一样分析问题,而不是简单地“背书”。比如,OpenAI开发的“o1”可以针对问题生成多个答案,然后选出最佳选项。理论上,这种方法可以大幅提升性能,但批评者认为,它不过是“高级模仿”,并不能真正解决新问题。苹果公司甚至指出,这类模型在遇到无关细节时会“崩溃”。

面对质疑,OpenAI CEO山姆·奥特曼并未放弃。他在最近的演讲中表示,公司正开发新的推理模型,但何时推出GPT-5仍是未知数。

山姆-奥特曼

结语

OpenAI的“猎户座”项目如今像极了一场豪赌,押注的是技术、时间和巨额资金。随着竞争加剧,业内纷纷猜测,曾经“一骑绝尘”的OpenAI是否会被后浪拍在沙滩上。GPT-5究竟能否如愿登场,还需时间给出答案。

本文编辑:@ 江城子

©本文著作权归电手所有,未经电手许可,不得转载使用。