大模型的进化方向：Words to Worlds | 对话商汤林达华|AI_新浪财经_新浪网
新浪首页
新闻
体育
财经
娱乐
科技
博客
图片
专栏
更多
标签添加-->
汽车
教育
时尚
女性
星座
健康
房产
历史
视频
收藏
育儿
读书
佛学
游戏
旅游
邮箱
导航
移动客户端
新浪微博
新浪新闻
新浪财经
新浪体育
新浪众测
新浪博客
新浪视频
新浪游戏
天气通
我的收藏
注册
登录
-->
证券<br/> <br/>>
正文
行情
股吧
新闻
外汇
新三板
大模型的进化方向：Words to Worlds | 对话商汤林达华
大模型的进化方向：Words to Worlds | 对话商汤林达华
2025年12月17日 23:16
市场资讯
新浪财经APP
缩小字体
放大字体
收藏
微博
微信
分享
腾讯QQ
QQ空间
炒股就看<br/>金麒麟分析师研报<br/>，权威，专业，及时，全面，助您挖掘潜力主题机会！
（来源：量子位）
李飞飞<br/>团队最新的空间智能模型<br/>Cambrian-S<br/>，首次被一个国产开源AI超越了。
从这张展示空间感知能力的雷达图中，一个名为<br/>SenseNova-SI<br/>的模型，它在多个维度上的能力评分均已将Cambrian-S给包围。
而且从具体的数据来看，不论是开源或闭源，不论是2B或8B大小，SenseNova-SI在各大空间智能基准测试中都拿下了SOTA的成绩：
而这个SenseNova-SI背后的操刀者，正是<br/>商汤科技<br/>。
在量子位与商汤科技联合创始人、首席科学家<br/>林达华<br/>深入交流过程中，他并没有掩饰对这一进展的肯定：
但与此同时，林达华也是随即话锋一转，表示他并不愿意把这个故事简单地讲成“赢了李飞飞”或者“赢了OpenAI”。
更深层的，林达华更像是在释放一种信号，一个关于AI技术范式正在发生剧烈震荡的信号——
单纯依赖参数规模的AI范式逐渐面临瓶颈。我们站在了新的十字路口。
因为在Scaling Law的边际效应开始递减、很多人还在内卷大语言模型时，林达华和他的团队选择的却是一条很少有人走的路：Back to research（回归实验室）。
具体而言，是从最底层开始死磕原生多模态和空间智能，以此来完成<br/>一场从Words（语言）到Worlds（世界）的迁徙<br/>。
而在林达华看来，在这场迁徙中，中国科技公司已经抢到了一张船票。
回望过去三年，从2022年11月ChatGPT横空出世，到GPT-4的震撼登场，AI行业经历了一场狂飙式的野蛮生长。
那是一个把Scaling Law奉为圭臬的时代，只要算力足够大、GPU足够多、数据堆得足够高，模型的能力似乎就能无限增长。
但到了2024年下半年，风向变了。
人们发现，虽然榜单上的分数还在涨，从GPT-4到GPT-5.2，再到Gemini的各种升级版，分数的跃迁越来越快，但带给人们的惊艳感却在边际递减。
林达华一针见血地指出：
与此同时，OpenAI前首席科学家Ilya Sutskever的一声疾呼“Back to Research”，在硅谷和全球AI圈里引发了不小的震动。
这与林达华的思考不谋而合：
为何会如此？简单来说，因为纯语言模型的红利快吃完了。
目前的顶尖大模型，在数学、编程上已经接近奥赛金牌水平，但在理解物理世界、处理三维空间关系上，可能连一个几岁的小朋友都不如。
未来的AGI，绝不会只是一个陪你聊天的Chatbot，也不应仅仅活在文本的逻辑里。它必须是一个能够理解物理世界、具有多感官能力的世界模型。
林达华强调说：
在这个新旧交替的时间节点，商汤选择不再盲目跟随大语言模型的参数竞赛，而是掉转船头，向着原生多模态这快更难啃的方向进发。
现在的多模态大模型，大多都是有局限性的。
对于这个观点，林达华给出了一个非常直观且略带幽默的案例。
哪怕是强如Grok或者GPT-4的早期版本，当你丢给它一张人手的照片，问它有几根手指时，它经常会自信地回答“5根”。
哪怕图片里的人手因为角度或畸变显示出6根或4根，AI的答案依旧是如此。
再比如，给模型看一张简单的三维积木图，问它“从上往下看是什么样子”，大多数模型都会选错。
它们明明看到了图片，为什么还会胡说八道呢？
因为它并没有真正在看。
林达华打了一个极其生动的比方：
在传统的多模态架构（拼接式架构）中，通常是一个视觉编码器（Vision Encoder）加上一个大语言模型。
视觉编码器把图片翻译成语言模型能听懂的Token，然后扔给大语言模型去推理。
在这个过程中，大语言模型依然是那个“闭眼学习了十年”的大脑。它看到“手”这个图像Token，大脑里立刻调出的先验知识是“手有5根手指”，会直接覆盖掉眼睛看到的真实像素细节。
林达华分析道：
这种拼接式的路线，虽然能快速出成果，但缺陷是致命的：
视觉信号在进入大脑的那一刻，就被降维、被阉割了。<br/>大量的空间细节、三维结构、物理规律，在转化为语言Token的过程中流失殆尽。
这就是为什么现在的模型数学能拿金牌，却连手指都数不清、连积木都搭不明白的原因了。
要解决这个问题，修修补补似乎已经是无济于事。必须从底层架构上进行一场彻底的革新。
这场革新的产物，就是商汤刚刚开源的<br/>NEO架构<br/>，以及基于此架构的SenseNova-SI模型。
在深入了解这个架构之前，我们需要先理解什么是原生多模态。
林达华的解释是这样的：
这听起来很抽象，但在技术实现上却极其硬核。
在NEO架构中，视觉Token和文本Token不再是“先后进入”或“翻译关系”，而是“一块进入模型的每一层。
商汤设计了专门的混合注意力机制（Mixed Attention），让模型在进行每一次推理计算时，既能参考文本的上下文，又能实时“回头看”图像的原始特征。
为了让模型真正理解空间，林达华团队还干了一件反直觉的事——
他们不再只用预测下一个词（Next Token Prediction）来训练模型，而是引入了<br/>跨视角预测<br/>。
简单来说，就是给模型看一个物体的正面，让它去预测这个物体侧面、背面长什么样。
林达华表示：
这种原生架构带来的效果是惊人的——
数据效率提升了10倍。
例如SenseNova-SI仅用了同类模型10%的训练数据，就达到了SOTA水平。而且，它不再是靠死记硬背，而是真正理解了三维空间关系。
正如我们前文提到的对比评测中，SenseNova-SI不仅超越了李飞飞团队的Cambrian-S，更是在空间推理、幻觉抑制等关键指标上表现更优。
林达华总结道：
技术再牛，如果不能变成生产力，终究只是实验室里的玩具。
在量子位与林达华的交流过程中，他反复提到了一个词：<br/>工业红线。
这是因为大模型行业目前最大的痛点，除了不够聪明，就是<br/>太贵、太
成为付费用户可以阅读 商汤科技 所有资料
了解更多 →