大模型似乎没那么 " 热 " 了。今年 6 月，ChatGPT 访问量环比下滑 9.7%，为其推出以来首次下滑。从全球范围看，尽管不断有企业发布或更新大模型，但媒体和公众似乎没那么 " 上头 " 了。
在昨天举行的 2023 世界人工智能大会青年优秀论文奖颁奖仪式暨青年科学家论坛上，复旦大学计算机科学技术学院教授邱锡鹏直言，虽说是 " 百模大战 "，但各家大模型之间同质化严重，实质性的创新比较少。事实上，大模型远未到变成一个单纯的工程问题的时候，距离人们理想中的通用人工智能，其本身还有许多科学问题亟待解决。
" 百模大战 " 其实是挤同一条赛道
(资料图片仅供参考)
" 大模型还有科学价值吗？" 邱锡鹏在开场白中似乎就给大模型浇了一盆冷水。大模型的爆火并非偶然，是几十年科研不断推进的结果，但在 ChatGPT 爆火后，一个明显的变化是这一领域中科学进步少了，大家都寄希望于通过工程手段 " 大力出奇迹 "。
比如，现在几乎所有的大模型预训练都基于 Transformer 架构，这固然是一个非常好用的架构，但其弊端也愈发显现，它所耗费的计算资源非常庞大，需要超级算力的支撑。
另外，生成范式成为主流，这使得想要使用大模型，就必须将自己的任务变成生成式的，即便是那些非常复杂的结构化预测问题也都要用生成式方法解决。甚至，连生成式范式也在趋向统一，原先还有 Seq2Seq（一种用于序列到序列的深度学习模型）和 LM（语言模型）两大类，现在只剩下后者。
而且，研究领域也在萎缩。邱锡鹏说，以自然语言处理（NLP）为例，2015 年之前，这个领域还有多个不同方向，比如对话、问答、机器翻译等，那时的学者各自有着自己的研究，并从别的研究领域中获得灵感，而现在大家都涌向大语言模型这条单一赛道。
大模型面临 " 十大科学挑战 "
尽管大模型展现出通往通用人工智能的潜力，但这条路并不好走。邱锡鹏列出了大模型亟需解决的 " 十大科学挑战 "，包括架构设计、思维链、幻觉、多模态延展、自动化评价、平民化等。其中，大模型的架构创新是当务之急。邱锡鹏说，大模型之所以称为大模型，是因为其庞大的数据量使其拥有了涌现的能力，虽然人们至今不知道涌现是如何发生的，但是否有涌现是区别大模型与小模型的主要特征。换言之，想要大模型更智能，继续扩大其规模是一条显而易见的路。
但是，当下主流的 Transformer 架构已经制约了模型的进一步扩大。这是因为 Transformer 的复杂度是输入字符长度的平方级，每多输入一个字符，计算量就会以指数级增长。因此，" 只有找到更高效的新架构，才能支持未来模型规模的进一步扩张。"
另一个对大模型发展至关重要的问题是评价体系。尽管当下有许多测评大模型优劣的榜单，但业内对此并没有形成统一标准。而且对于擅长 " 刷题 " 的大模型来说，很多数据集上的表现已不足以衡量其真实能力。
颠覆性创新常在 " 冷门 " 处
深入研究创新规律不难发现，越是扎堆的 " 热门 " 圈子，往往难出颠覆性创新成果，ChatGPT 本身就是个 " 冷门选手 " 爆火的案例。在其火遍全球之前，在大语言模型领域，谷歌的 " 理解与生成相结合 " 的路线是绝对的主流，在这种情况下，研发 ChatGPT 的 OpenAI 公司仍然选择坚持走自己的路。
现在，原本默默无闻的生成式 AI 成为了 " 顶流 "。当人们一哄而上投入其中时，仍有一部分人还在坚持以 IBM 沃森机器人为代表的 "AI 符号主义 " 技术路线。以 " 爆款 " 常偏爱 " 冷门 " 的创新规律来看，或许未来的 " 核爆点 " 会奖励默默坚持的 " 少数派 "。
事实上，获得今年世界人工智能大会最高奖项 SAIL 奖（卓越人工智能引领者奖）的论文《机器学习结合阻抗谱技术预测锂电池老化》，就不是一个关于大模型的研究。文章第一作者、中山大学物理学院副教授张云蔚说，她只采集了 2 万个电化学阻抗谱，就实现了 AI 精准建模。比起海量数据，更重要的是思路。就是这样一个小模型，将过去需要花费几天才能实现的电池寿命预测缩短到了 15 分钟，且检测精度是原来的 10 倍。
在大模型爆火的半年多时间里，大家似乎形成了一种共识，即只有资金雄厚和数据储备充足的大厂才有进军大模型的资格。对此，邱锡鹏认为，大模型还有大量科学问题需要攻关，这些问题除了预训练阶段需要耗费大算力外，在对齐、指令微调等方面所需的算力并不高。而随着算法的优化，3090 显卡足以能完成大模型的研究，这是一条小公司也能 " 出奇迹 " 的赛道。
作者：沈湫莎
责任编辑：任荃
* 文汇独家稿件，转载请注明出处。
标签：
