--休息五分钟。--
梁文锋
各家模型最终效果拉开差距,应该是一个综合上的。
--休息五分钟。--
比较模型效果,肯定是得在相同的成本上来比较,这个才是有意义的。
因为你比较两辆车,也是同价位的车来比较。
做得好的模型跟做得差的模型,这个差别应该不是在具体某个环节,它应该是整体上的。
Anthropic 跟现在超过 OpenAI,这是不是长期的?
我觉得这不是长期的,这肯定是极端性的。
OpenAI 和 Google,未来大概率还是会交替上升,应该是会交替上升。
其实现在Anthropic 在 Code Agent 上的优势没有那么大,其实并没有说它碾压 OpenAI。
我们公司可能有一半的人,平时有一半的人觉得 OpenAI 是更好的。
其实 Anthropic 它有先发优势,但这先发优势应该很快就没了,并不是一个它能够长期占得住的优势。
大家这三家都很厉害,这三家里面的效率是最高的,它花的成本、它花掉的、它烧掉的钱应该是最少的。
在全球 AI 中主导分工的时候,中国公司很有可能扮演的一个角色还是产量最大。
常理来讲,我们的产能最大,包括芯片,芯片可能我们的产能最大,我们的电力最多,所以我们的 AI 最终很有可能我们是三体之一。
中国人会把这产品做到最便宜,然后再在效果上,毕竟国外的商品,现在很多商品中国产跟美国差并没有太大的区别。
未来可能 AI 也是这样,但是中国产的 AI 可能价格会更便宜。
这个便宜可能是系统性的低,就跟其他行业中国提供的服务更便宜可能是一样的。
我要做事情的时候,我习惯的思考是:我现在这个时候做什么收益最大?
如果说我觉得现在做产品收益最大,我觉得去做产品;
如果说我觉得现在把 AGI 先实现收益最大,那我就是先去做 AGI。
显然,我觉得现在做产品不是收益最大的。
如果你是国产卡适配的问题,国产卡现在其实是有一个历史性的机遇的。
因为之前国产卡适配有一个难题,叫生态不好。
就买了卡之后,但是用不起来,它没有英伟达那个生态。
所以说英伟达的护城河是很强的。
但是这个事情在发生变化。
英伟达 CUDA 的护城河在快速地被瓦解,快速被瓦解的原因可能是有三方面。
一方面是现在有了 AI,然后有了 AI 之后,我要建立起这个生态比以前容易很多了,因为 AI 可以写代码。
我可以用 AI 来构建这个生态,就可以把跟英伟达一模一样的生态构建出来。
第一个,因为有 AI;
第二个,有一些新的技术。
比如说,我们家出了一个技术,叫 TileLang,是一种高级语言。
用这个高级语言来写 CUDA 的算子,可以很快地把英伟达的整套生态全部都写一遍,再结合 AI,这个看起来没有什么障碍。
但是现在还没有完成,还没有做完,不过这个技术路线看起来是没有什么障碍的。
还有一点,因为 CUDA,英伟达它是从游戏卡演变出来的,所以它在很多地方,游戏卡的设计跟游戏卡的设置是一脉相承的。
CUDA 是兼容游戏卡的。
以前因为 AI 计算是一个很小的领域,比游戏卡的市场要小,所以这样是合理的。
但是现在计算卡的市场已经比游戏卡更大了,就没有理由这两个还需要耦合起来。
现在的趋势是,以后就不再耦合了。
那么专用芯片,不管是华为还是英伟达自己,以后都是专用芯片,都不是之前的这些东西了。
在这个背景下,原来英伟达生态的作用就大幅度减少了。
因为对于一个专用芯片来讲,跟CUDA 没有什么关系,它跟 CUDA 是不绑定的。
或者说,这个芯片在设计的时候,就已经考虑到怎么建立这个生态了。
有点复杂,但 anyway,国产 AI 芯片替代现在是有个历史性机会的。
我们认为,未来一年之内,我们能够看到有一个事情被验证:国产芯片的生态完全没有问题。
之前认为是有问题的,认为是用不起来、不好用,但是未来我觉得一年之内,我们能够扭转这个认知,或者会用事实来扭转这些。
国产 AI 芯片的硬件和生态都没有问题,唯一有问题的是产能不够。
国产卡适配这一点,没有障碍,英伟达挡不住。
如果是在一个正常的商业环境里面,我能买到英伟达的卡,那么国产替代是比较难的;
但是在英伟达的卡买不到的情况下,所有人都迫不得已,都要去做国产芯片。
在这个背景下,国产卡的适配是没有任何障碍的。
国产卡建立起跟英伟达一样、甚至比英伟达还好的生态,我觉得没有障碍,但还需要时间。
我们现在主要是跟华为有合作。
华为他们自己适配,但我们自己会参与这个生态,会深入参与到华为这个里面去。
华为的问题还是产能不足。
像华为给我们的大概是一万六千张卡的产能, 互联网大厂可能是十几万张,我们一万多张,我觉得这个比例也是比较……但这已经可能是华为就这么多产能了。
所以我们也没法指望在华为上面训后面那个更大的模型,或者说训练几百 B 参数激活的模型,有时就有说在今年。
但是明年、后年说不定是有机会的。
华为卡适配,我们主要做的工作是把它的高级语言编译器做好,把 TileLang 做好。
把TileLang 做好之后,问题可能就迎刃而解了。
这个事情说起来比较复杂,但是我们在做,做完之后再来解释会清晰比较多。
你可以理解,V3 训练的时候,它用的还是英伟达的卡,但是已经不用英伟达的生态了。
V3 用英伟达的卡,但是没有用英伟达的生态,而是我们先写一个高级编译器叫TileLang,然后基于 TileLang 的生态来完成其他所有的事情,就已经几乎不依赖英伟达的生态了。
只要我把这一套东西,把这个过程重新在华为卡上做一遍,那么就完成了。
我觉得这里可能是一个历史性的使命,即可以完全扭转之前大家对国产卡生态不好的认知。
现在有些天时地利基本上都全了,就差时间。
我觉得一年之内,应该会有很多人在上面都有,或者说都明白这问题算是解决了,剩下就是产能的问题。
我对国产算力是比较乐观的。
我觉得在这一点上,英伟达是在掘自己的坟墓。
华为的超节点,华为的 950 超节点,在性能和价格上可以完全平替英伟达的 GB200、GB300。
价格肯定要贵,但贵得有限。
价格贵百分之五十、百分之一百,贵百分之一百无所谓,贵百分之两百都无所谓。
比如贵百分之一百,我觉得已经可以认为在价格上可以平替了。
在任务上也是可以平替的,所有 GB300 能做的任务,华为超节点都能做,延时什么都一样。
唯一的代价是,四张华为卡顶一张英伟达的卡,同时落后两年。
四张顶一张这个可以理解。
落后两年的意思是,四张华为 950 能顶一张 GB300。
落后两年是时间上落后两年。
华为 950 超节点是今年 Q3 还是 Q4 的货,英伟达 GB200 是两年前 Q3 的货,差两年。
英伟达今年 Q3 可能已经有新一代了。
所以我们跟美国在芯片上的差距,我认为生态上以后不会再有差距,但是在芯片上是四倍加两年。
还有问题是,我们会不会向上游进行垂直整合?
我希望不要。
所以有个问题是,我们是不是会往上游应用进行垂直整合?
我们希望不用这个,我希望是其他人来做这个事情。
我不希望我把所有东西都吃了,我只要吃一块就好,我只要吃我最擅长那一块,或者我觉得我们自己认为最核心那一块,然后跟用户直接相关那一块,我觉得可能对于我们的很多产业伙伴来讲,他们比我们更关注类似……应该是别人的意义,不应该我把它诠释了。
未来我们会不会自建大型的集群?
我觉得自建大型的集群是肯定要的,我们自己一直在做这个事情,我们所有的集群都是自己建的。
但是未来要不要自研芯片,我觉得取决于这里的收益有多大,取决于收益有多大。
Tesla、培育……这个事情。
假如说你是运营发电厂的,你并不一定需要去造发电机,对不对?
发电设备可以是别人造的,只要它的价格合理,你为什么要自己造?
所以,我希望不用去做芯片。
我希望能够以合理的价格买到芯片,这样我就不用去做芯片。
我觉得这个很有可能是这样的,就是最近英伟达芯片的利润,不见得是可以……虽然……我们希望只做一块。
我觉得 AI 这个事情很大,并不需要我……我只做一块。
如果聚焦,并且我认为这里的生意利益已经足够大,就如果是 AI 时代会产生很多家万亿级别的公司,我觉得我们是其中一家。
我们一直做其中一小块,我们是其中一家已经没有什么问题了,并不需要我……我并不是信心勃勃要做地方。
我觉得最可能是比较难变,且你真的想做别的话,你还是会有更多的主意,这个会……这是我们的态度。
譬如说,至少在 To B、To C 这两个业务上,目前能看到的,真的想做 To C 闭环的,反而我们做得好;
真的想做 To B 闭环的,说不定也没有我们做得好。
你想要得越多……然后还有,To B 这个可以多说几句。
To B 业务的上限应该还是需求,在现在这一代AGI、AI 技术的背景下,To B 的需求应该是有限的。
它会快速增长,但并不是一个无穷大的事情,最终还是受制于需求,不是算力。
在当前技术的条件下,收入有多大,最终还是取决于需求。
因为你这样想,我十个月就能收回成本,我肯定是如果有去处,我一块买,是因为没有那么多事情。
对,需求应该会越来越大,如果随着技术持续有突破,这个需求会越来越大。
多模态布局,我们一直在做。
对产品来讲,它很重要;
对 C 端用户产品来讲,它很重要。
但是对智能的上限,它是一个组件,它不是主线本身。
但是它作为一个组件,多模态我们肯定会做,而且我们也在做。
我们应该会上相关的模型,就是我们 V4、V4 的后续版本会支持原生的多模态。
但是我们对多模态、对智能来讲,它是个组件,我们不把它当作智能本身,它的主线跟搜索一样。
搜索也是一个组件,多模态也可以,我们的理解它也是一个组件。
Scaling,我们是信Scaling,肯定是规模越大,效果越好,能够解锁更多的功能。
阻止我们 Scaling 的其实就是算力,并不是我们不想 Scaling,是我们没有那么多的算力去做这个 Scaling。
我们没有触摸到这个上限在哪里。
我们训练这么大的模型,并不是因为我觉得这么大的模型就够了,而是我刚好有这么多资源。
我是按照我的资源来算,我能够接受、能够训练的模型是多大,是这样算出来的,并不是这个模型就够了。
目前来看,模型收益还是非常明显的。
我们还没有机会碰到这个 Scaling 的墙,这离我们还很远。
硅谷在说 Scaling 到头的时候,那是对硅谷来说;
对中国人来讲,我们离那个还很远,我们根本就没有 Scaling 到那个程度。
这个 Scaling 包括数据的 Scaling、模型规模的 Scaling,然后训练成本。
我们离探索这个Scaling 的上限还比较远,就是没有那么多算力。
但我们也会不遗余力地去推进这个Scaling 的上限。
包括我们融资完之后,我们有更多的算力,可能训练更大的模型。
时间内买到,就在越短时间内买到;
如果能半年精力全花完,那么这是最好的,实际上做不到。
下一代模型的核心能力,我觉得它必须要有持续学习的能力,它才能叫下一代模型。
在那之前,我们能做的就是成本,然后效果做得更好,速度做得更快。
但是要有大突破,它应该是具备持续学习的。
然后还有一个问题,就是为什么好像我们特别在乎这个模型的计算效率?
因为我确实发现,不是所有人都很在乎这个模型的效率。
一个商业化公司来讲,没有动力去追求模型的效率,因为模型效率高一点……所以,它没有那么大的动力去追求模型效率要非常高。
所以几个创业公司,他们自己并不会……你没有听到他们说低成本是他们追求的东西,因为那个不符合他们的利益。
低成本了,你还赚什么钱?
低成本了,你就收不到什么钱了。
相反,这是我们愿景的一部分。
或者说,我们的愿景,我们的同学在乎这个成本,因为我们的同学都是普通人,他知道用这个都是要花钱的。
他能够有这个同理心:别人要花钱来用,那么别人如果便宜一点,别人能够接受的程度会更高。
所以我们有很多同学还是希望我们能够把成本做到更低。
但是如果你从商业角度讲的话,其实不会这么考虑。
从商业来讲……从成本或者从商业角度讲,这不是第一优先级。
对于不管是创业公司来讲,还是大公司来讲,这个服务成本根本就不高。
但是我觉得我们希望它是比较轻的,我希望它是一个负担得起的,特别是在中国算力紧缺的这样的背景下,是负担得起的,能在国产卡上用的。
我觉得低成本首先是一个结果。
我们的模型确实一直在模型架构上往一个更低成本的方向走,这跟我们的愿景有关系。
我们还有很多在算法上的方法,成本还可以往下走。
成本往下走还有一个原因是,成本越低,我就越能训练更大的模型,我就越能承担起更大的模型。
在同样算力上,在算力有限的情况下,如果我的计算效率更高,我就能够承担起更大的模型。
对大公司来讲,他不一定会这么考虑。
对大公司来讲,资源是可以加的,可以通过加资源来解决。
但是我们会优先考虑成本效率。
数据类模型的价值,数据这个范围比较广,数据应该几乎就等于模型的一半。
为什么我会觉得,如果我想要那个,或者假如设 AI 能够占 GDP 的百分之二十,然后如果说我想要在这里面占百分之五,绝对行不通。
因为我肯定会被另外一个人打败,如果另外一个人说我只要占百分之一,那么肯定就会被他打败。
如果说我的目标是,我要占 AI、全人类 GDP 的百分之五,理论上算这个账还是成立的。
你看 OpenAI,他算这个账好像是能算得过来的,理论上是没问题的。
但是他有个问题,他会被另外一个愿意只占百分之一的人打败。
因为另外一个人说,我做得这么好,但是我只要拿全球 GDP 的百分之一就可以了,那么就会把他打败。
这时候如果又出来另外一个人,说我只要百分之零点一就可以了,那么又会把前面的人给打败。
从宏观上来讲,不管这百分之几是从哪里拿,彼此之间没有区别,都是一样。
拿得多的人会被拿得少的人打败。
甚至你还不用真的拿得多,愿景如果是拿得多的话,你就会被愿景是拿得少的人给打败。
其实大家都没有拿到钱,然后只是一个愿景。
你愿景是拿得多,你就先输了,你就会面临着更大的困难。
这个世界就是这样。
OpenAI 从一开始觉得他真的能够垄断这个世界,但是实际上他会遇到很多很多挑战者。
他会遇到挑战,他就不会那么轻松。
美国会遇到过的挑战,那么他在未来可能还会遇到中国的挑战,因为中国人愿意拿得更少,就可以给你提供这个服务。
在中国,也会有人愿意拿得更少一点。
但最后这里会有个平衡,因为你拿得太少之后,公司商业逻辑就不成立,就活不下去了。
所以你拿得太少了,你活不下去;
你拿太多了,你会被拿得少的人打败。
所以对我们来讲,我们并不是利润要拿最多的钱,或者说算收益最大化的定价,而是只赚一个合理的收益。
这是一个解释。
我是相信这个事的,我并不是去为这个事情找理由,因为没必要找理由。
我本来就这么做的,我这么做肯定是有理由的。
这个理由可能不是非常惯常,但是我觉得公司本来就不惯常。
我们公司的管理其实是两条线:一条线是从上到下,一条是从下到上。
从下而上,就是每个人自己想做什么,自己做,没有人管他,没有 KPI。
从上到下,就是做正事,我们要集体做一个什么事情,需要全公司的人一起来配合。
比如说我们要发 V4,那么就得分工,每个人得做一部分。
那个是从上到下,然后从上到下这个我们叫做“做正事”。
一般我们希望“正事”不要占用员工所有时间的一半,就“正事”不要超过一半。
他还有一半的时间,是不被安排的,他想做什么就做什么。
这是一个研究的范围,让他可以自己去探索,按照他觉得什么重要,他去探索什么,没有前置的要求。
只要公司能够支持,公司算力能够支持他做,或者说他不需要算力,他需要做得很少,那么他根本就不用来协调。
所以我们现在是这样的一个组织方式。
有些人觉得我们是从上而下的,有些人觉得我们是从下而上的,我觉得两个都对。
我的一个标准是,“正事”最好不要超过一半。
我们一般也不太加班。
加班有两个原因。
第一个是,做研究是需要一个比较松弛的环境。
你如果逼得很紧,就没法做研究。
因为既然就是要你自己有这个兴趣,你自己平时要去想这些问题,所以得是在一个比较松弛的环境里,才有可能能够探索。
这是一个出于研究文化的需要。
第二个是,我们非常聚焦。
我们非常聚焦,就意味着我们要做的事情很少。
那我就没那么多事情要做,我就不需要加班。
这个跟前面的克制是一脉相承的。
因为我克制,所以很多时候我就不做了。
那么我要做的事情少了,每个人分到的工作就少了。
你看到我们的产品很多都不完善的,我们也没有去补它。
这也是我们的一种文化。
OK,因为问题很多,我大部分都扫了一遍。
大家还有什么问题,大家提问。
投资人
杨哥,您能分享更多关于持续学习什么时候带来突破的时间线吗?
包括如果实现持续学习,还需要哪些架构、算法的创新,以及其他关键要素?
梁文锋
人少,需要研究。
现在全世界都在研究这个问题。
或者说,对投资人来讲,现在投资人看到的最多的是 AGENT;
但对于我们这些研究的人来讲,现在看到更多的是学习,以及怎么解决学习这个问题。
其实学习可能不是一项技术,它是一个问题。
怎么解决这个问题,可能有很多种技术,不是一项技术,它不是一个东西,会是很多东西。
或者说,AGI 是由很多东西组成的,需要模型,然后还需要很多其他东西。
其实它也是一个工程和算法问题。
这个问题比较专业,但有很多方法,也有很多研究。
投资人
梁总,谢谢。
非常感谢今天这个机会。
我首先非常想回应和感激一下,您最开始说的让我非常感动,也给我们很多启发。
您提到,这个团队带着最大的善意,希望能够在这个行业里面,对这个社会、人类智能的发展有所推动,做一点点贡献。
并且在这个里面,是带着这种使命感和愿景。
我觉得这跟我们所服务公司的企业文化非常相近,就是“修己达人”。
我深刻地理解了为什么您会带领团队做开源的事情。
我会形象地感觉,像我们去做一个榕树这样的小鸟天堂生态,利万物而不争,但这样它就会被大家接纳,万物共生共存,最终就会无处不在。
所以,我们会以这次 投资,同样表达我们对这个使命和愿景的认可、支持和尊重。
同时,我们也希望能够在这个产业未来,我们所擅长的一些领域等,去贡献一些力量。
在这块也想跟您继续请教和探讨。
比如在未来生态的共建当中,现在开源之后,这个行业里有多少伙伴、人才、团队,能够比较好地复现咱们开源目前的一些模型和成果?
未来在下一步想让这个生态进一步发展的时候,您感觉在哪几个方面,需要更多高质量的人才能够衔接到我们的模型,把它复现?
还是说现在 GPU 的算力相对有一些稀缺?
大家未来会不会是一种模型矩阵的方式?
比如咱们把大模型基模做得越来越好,各行各业的伙伴和团队去做一些模型矩阵里面的垂直行业模型,或者一些应用模型。
这块目前的发展怎么样?
未来一步一步,两年、三年,您感觉会长成一个什么样的生态?
这是我第一个想跟您请教的。
第二个,您刚才也跟很多伙伴分享了很多关于 AI 硬件方面的观察。
像 AI 全球大公司,可能单体都会做千亿美元级别的投入,中国目前看起来在硬件算力上有些短板。
您感觉这个多长时间可以解决,并支撑咱们 AI 的发展,让算力和硬件短板不给 AGI 拖后腿?
您觉得这是不是中国人未来使命必达,我们肯定能做出来,只是时间和资金投入的问题?
但同时,可能它会是两方面的。
一方面,模型的进步会让模型智能化的提升,导致单一任务或者某些智能化单体对硬件、对算力的消耗逐渐递减,不再需要那么大算力的运算,因为模型的进步会让它巧算。
我不知道我理解得对不对。
另外一方面,硬件的技术进步会让算力的算能效能更强大。
这会不会是两边相向而行的路径?
现在如果是在这个时点,用现在的 960 也好,还是 H200 也好,去做千亿美元级别的算力投入,您刚才提到说您是给它按三年摊销,那它的实际生命周期,您觉得技术迭代是四五年?
或者直白地说,会不会现在算力中心按现在的卡去建了万卡集群,可能三年之后它其实就是相对不那么先进的算力了?
会不会有现阶段是 under construction、不够用,三年之后变成相对不那么优质的算力有冗余的情况?
我不知道会不会有这样一种现象。
以上两个问题请教您,谢谢。
谢谢。
梁文锋
第一个问题是生态的问题。
我们现在觉得,可能每个企业都面临的问题是人才不够。
但我觉得这个人才短缺会是阶段性的。
我们在每个行业发展的初期,人才都是不够的。
包括以前做网站,刚开始做网站的时候,做网站的人很少,人才很缺。
后来 互联网要做服务端,人才也是很缺的。
但是这种人才短缺都非常快会被解决,也就两三年,因为会培养出大量的人。
AI 人才的短缺也是阶段性的,并且我们已经看到,大幅度被缓解了。
因为 AI 人真的不缺,每个公司很快会把人培养出来,培养人是很快的。
所以,AI 这个行业整体上,不管是生态、模型公司还是什么,人才都不缺。
人才缺肯定是一个短期现象。
历史上从来没有出现过长期缺某一类人的情况。
我还记得十几年前说飞行员很缺,飞行员的培养周期很长,但也很快被解决了。
所以大家不用担心缺人才的问题。
以及国内现在做模型的公司有点太多了,还是太多了。
美国可能就三家,中国做基模的东西太多了。
最终一定是不需要那么多人去做基模的,一定会收敛。
所以资源也是比较分散,某种程度上也比较浪费。
就先于每一家都要做同样的事情,但美国只要三家做,资源只集中在这三家。
中国资源分得很散,每一家拿到的资源就更少。
我觉得这个肯定是会收敛的,一定会,但这需要过程,最终一定会收敛。
不需要那么多家,因为现在可能大家觉得做这个事情的利润率非常高,所以一定要自己做。
但当他发现这个事情可能没有那么高利润的时候,可能就不做了。
最近肯定是没有那么高利润的,我不相信有那么高利润,因为这不符合客观规律。
这意味着我们是处在一个阶段上:如果有一个非常高的利润率,这一定不符合客观规律。
我们应该是一个合理的利润。
所以这是产业的一个现状,我觉得肯定会收敛。
就是大家做大模型的那一部分,其中不要说某一家独占,说“我要拿走全部利润”,这个肯定不行。
如果说每一家都只拿合理的利润,那么其实不需要那么多人去做大模型。
中国最后有个三四家竞争,竞争就很充分了,价格绝对已经够打价格战了。
大模型可能不说两家大公司、两家小公司,可能就已经比较够了。
至于生态上的,我没有什么太多的想法。
我们希望能够扶持更多的人,但是我们并没有那么多的精力。
我们是有这个意愿,并且不会有利益冲突,但是我们有没有去做是另外一回事。
但至少这里边是没有利益冲突的,我们是希望合作共赢的。
首先,我绝对不认为大模型公司可以拿走大部分利润,这个不可能,因为这么多家大模型公司,现在差距不用那么大。
差距只有两个东西:一个是时间,一个是成本。
所以不至于哪一家有暴利,我觉得不至于有暴利。
成本控制得好的人就多赚一点,成本控制得差的人就少赚一点,仅仅此而已。
是不是有回答了?
第一个问题是不是回答完了?
投资人
大家能……你相信以后肯定是有很多人可以……未来其实会……大家数据应用这些的循环迭代……现在可以听到吗?
谢谢。
对,感谢您的回答,也非常深刻地理解和尊重您的这种行业里面的生态战略定位。
比如说数据这一块,现在公开的数据,相信模型公司都已经可以有渠道获取,这个方法应该都不成问题,只是时间和成本的问题。
那么后续比如说将到真正到 AGI 的时候,有可能大家一个设想或者理想的状态是,模型可以自我迭代、自我学习,就是自己训练自己。
那么这一块的话,目前这个数据,您感觉仿真数据是不是可以用起来,还是说真实数据的质量最高?
如果说还是需要来自于真实数据,那会不会是限制这个 AI 的智能还是在人类的过往……这个层面,因为它依赖的是人类真正曾经有过的真实数据?
还是说可以突破这个上限,通过模拟数据、仿真数据、创造数据等等的方式,让这个模型能力去超越人类过往的所有真实……
梁文锋
我觉得是能超越的。
我觉得有两点超越的,比如说围棋,AlphaGo 他下了一手人类从来没有见到过的棋。
就是说,他肯定是在一定的范围内超越人类的。
但是他可能也有上限,他可能也是有局限性。
但是这个局限性我们现在看不到。
我们认为,所以笼统地认为,它是可以基于人类已经有的、我们已经能说出来的知识上,予以超越的。
投资人
那这块后续是靠真实数据还是仿真数据?
它会 work 吗?
梁文锋
不可能就有很多方法。
第二个问题是什么?
投资人
继续请教刚才关于 AI Infra 的问题。 未来相信算力现在大家都是千亿美元级别地在投入。
那么这块的话,有可能我们相信中国人未来在硬件上是使命必达,有一天可能会有高效率的算力,但有可能这个在实践的过程当中,目前还是一个掣肘。
那么未来会不会是两方面向下而行?
一方面是模型的能力迭代之后,它其实对于算力从硬算变成巧算,所以单位模型或者任务对算力的要求和消耗会逐步地边际降低。
另一方面,比如说硬件像卡的能力提升,会让迭代速度越来越快,单卡效率提升。
那么这个在过程当中是怎么样的一个现象?
会不会是说,现在去建了万卡集群,去买了H200 或者 960,但是过个两三年,它就变成了一个相对没有那么优质的算力,相对又变成了一个陈旧的器件?
梁文锋
英伟达的卡基本上你可以按照五年折旧。
华为的卡最多按三年折旧吧。
华为 950 今年能用还挺好的,明年用我觉得还可以,后面再用我觉得可能就真的太费电了。
华为卡生命周期肯定是会短一点,因为它本来就已经比英伟达晚两年了。
但是我觉得差距没那么大。
如果说 B200 现在能买到多少,我觉得都划算。
假如说对于腾讯来讲,阿里巴巴能买到的话,再看量;
如果合理价格能买到,肯定都是划算的。
但不是一个算成本的时候,相信买不到。
我们算力落后,这是一个事实。
这个事实通过三方面来消解。
第一方面是我们承受模型落后,我们只能够用比他们更小的模型,小多少问题就是训练。
我们要承受一定的模型落后,以及模型的尺寸更小。
这落后有一个好处,落后意味着你有更多的时间,你有一定的技术,然后这样的话你就可以用巧妙的方法。
所以我们跟美国的差距可能是落后美国 12 个月,落后美国可能 12 到 18 个月,或者说 6到 12 个月。
反正简单说,就是落后美国两年,然后只用美国二十分之一的算力把这个事情做出来。
这个叙事就是落后一到两年,但是只用它二十分之一的算力。
那么未来我们要把这个叙事改写,就是我们用它几分之一的算力,但是把这个时间缩得更短,缩到 6 个月、3 个月,我觉得这是一个目标。
以及我们甚至可以在某一些方面超越他们。
但是在总体算力还是有数量级差距的情况下,全面超越是不现实的;
但是在某一些重点、有取舍的地方,我们有一些地方超越可能是可以的。
投资人
明白,谢谢梁总。信心满满,一起努力。
时间也留给其他的伙伴,谢谢。
感谢刚才的分享,我这边有两个快速的技术问题。
在刚才聊技术路线当中,提到了我们这一阶段要解决的核心问题是持续学习,也是目前国外研究的热点,叫 RecursiveImprovement。
想请教一下,目前来看,从技术上最大的难点是什么?
从您的视角来看,这个什么时候可以解决?
这是第一个问题。
第二个问题,同时您刚才提到,先解决持续学习,然后再去做智能。
我也想理解一下,您这么提背后的技术根源是什么?
是不是意味着解决完持续学习问题以后,DeepSeek 后续也会做通用智能?
这两个问题请教一下。
梁文锋
技术问题其实解释起来有点……它的难点在于,我们现在还没有找到非常 work 的方法。
全世界都还没有找到好的方法,大家都在摸索。
所以现在还在摸索阶段,就是不知道谁能摸到下一个解决这个问题的方法。
现在还在探索阶段。
我们有很多思路,有很多现在看起来有前途的一些想法,但是都还没有做通。
对,这是第一个。
第二个是,现在我们内部比较看重这样一个叙事:训练我们的下一版模型,我们希望它能够帮助我们自己的开发。
它能够提升 DeepSeek 的效率,我们的模型最首先是提高DeepSeek 自己的工作效率,让我们开发下一版模型的时候,它能够提供更多的帮助。
或者说简单一点,我们做的模型,第一目标不是大家用得好用,而是我们自己用得好用。
首先是对我们自己有用。
对我们自己有用之后,我在开发下一版模型的时候就会更快。
我们内部很多人的想法是这样的:首先要对我们自己有用,首先是给我们自己用。
然后这是实现 AGI 最快的方法。
当我们自己好用,那意味着可能别人也好用,但是首先得保证我们自己好用。
这个叙事有点奇怪,但是确实很多人就是这么想的。
而不是说用户用得好用,我是希望对我们自己帮助更大,这样我们可以实现 AGI,会快很多。
所以这个叙事的逻辑是,来帮助我们实现 AGI。
但首先是帮助我们实现。
我们实现 AGI 需要这个帮助。
现在是非常确定,我们确实需要人工智能来帮助我们实现 AGI。
虽然说它还不是自主地工作,它还是只是跟人搭配,但是已经很有用了。
投资人
第二个问题,就是刚才提到了,先解决持续学习的问题,然后再进入通用智能。
这是您对后续的一个预期吗?
想理解一下这背后的技术根源是什么?
为什么先要解决持续学习,然后再进入通用智能?
您对这块后续的理解。
梁文锋
因为解决持续学习这个问题,可以大大加快我们的研发进度。
如果我先解决了持续学习这个问题,那么通用智能这个问题就不在话下了。
我有了 AI 的辅助,如果 AI 能够持续学习,它的能力应该是非常强的。
现在的 Agent 的能力受限,是因为它不能持续学习,它不能有效地持续学习。
如果说能够先把持续学习做完,那 AI 的能力是非常强的,它能够非常大地提升我们自己研究的效率。
持续学习先做出来,通用智能可能就很容易了,用它来做就很容易。
所以我说这是一个我们比较希望看到的结果,我们比较省力,我们就轻松。
否则现在你要去人工做通用智能,它是一个比较累、比较苦,是一个数据密集、人力密集的事情,性价比也不高。
主持人
线上的问题,看一下聊天群。
觉得 AGI 还需要多久?
国内硬件在这个时间能追上吗?
在 Zoom 会议的那个聊天窗口里面。
梁文锋
好,这个我看了。
华为 950,现在华为是给我们一万六千卡,这应该是可以公开说的。
应该是比 互联网大厂少一个数量级。
华为也只能给我们这么多,因为这个价格也不便宜。
互联网大厂的追求会更大,对互联网大厂来讲,它更需要。
对我们来讲,我们可以买一些不合规的卡。
所以我们买华为 950 的目的,还是希望帮华为把这个生态做好。
一万六千卡的华为 950,只相当于四千卡的 B 系列。
所以说不是一个很大的量,意义不是很大。
不够训一个下一代的模型,它只够训我们现在这一代模型,不够训下一代模型。
但是可以让华为把这个先做好,就是关于华为 950。
然后,AGI 还需要多久?
国内硬件在这个时间能追上吗?
我觉得在 AI 这个事业上面,在 AI 这个事情上,应该国内一两年是能够做到跟国外差不多的,或者可能今年就能做到平替国外的模型。
在 AI 这个事情上,就现在的一个方式、现在这个范式,不是很难的事情,所以今年应该就能做到的。
但它还不是 AGI。
我至少觉得,它得能够持续学习吧。
国产硬件在这个时间能追上吗?
我觉得国产方面可能需要一个几年的时间。
国内首先得解决生态的问题,因为生态是一个信心的问题。
解决生态的问题,然后再解决产能的问题,我觉得应该是能够逐步解决的。
我不太相信未来五年之后,我们还卡在产能的问题上。
现在肯定是卡在产能问题上,今年、明年、后年,我觉得可能都还是卡在产能问题上,但五年之后,我觉得可能不一定,我还是比较乐观的。
然后第二个问题是,思考未来的组织架构,对人员的规划规模。
首先,我们之前的组织架构是非常分散的,因为没有组织架构。
但是我们人在进一步扩大之后,这些肯定是需要做出一些改变的。
现在只能说,这里会需要做很多改变,但现在很难一下子全部表达出来。
最后应该还是要分不同的部门,应该有些部门是我们需要建立起比较严谨的层级结构的。
另外一些部门,可能还是会维持一个比较松散、比较扁平的结构。
随着人员的增加,我们会做这个调整。
应该是我们马上就得做这个调整,因为我已经在做这个调整。
已经不做这个调整的话,很多事情是没法推进下去的。
确实有很多部门,是应该有组织架构的。
然后大家还有问题是,CV 是先于它的哪个版本是吧?
我觉得我们现在,线上发了这个GCV4 这个版本,还是比较粗糙的,然后能力方面还很多都需要时间。
我们一般,对我来讲,一个比较舒适的发版节奏,大概是两三个月发一版。
上次发版可能是四月底,那么下次发版可能是六月底,大概是这样子。
如果没有意外的话,应该还是会一版比一版好的。
在 50B 激活的这个尺度上面,我感觉最终我们跟现在的这波开源不会有太大差别。
就在推理速度跟效果上,我感觉可能就不会有太大的差别。
但是跟它那个大尺寸的模型,就它一个没公开的模型,应该差距还是比较大的。
那个差距应该是,我们这个激活参数应该是做不到的,这就肯定得是一个更大尺寸的模型,可能比如说是 150B。
那么 150B,我觉得按照我们现在训练的进度,今年,乐观的是今年年底可以开始去训练,至少是明年四……差距还是比较大的。
对,这是跟 OCE 的差距。
投资人
你好,我其实有一个问题,就是经常您说到这个 AGI,它实现的过程是一个渐进式的过程,而不是会有一个突变。
所以我可以理解,这是一个没有临界点的过程吗?
梁文锋
它没有临界点,但是它是非线性的。
我们现在比较相信一个叙事是,AI 可以加速 AI 的研究,AI 可以加速 AI 的研究。
就是说,它不是线性的,因为你可以用 AI 来加速你自己的研究,所以它到后面可能是非线性的。
投资人
明白。
所以当下您的这个,我理解前面的结论可能就是,语言模型继续 scaling 是够的,是足够的,做到这个状态。
梁文锋
只能说语言模型的 scaling,我现在没有看到有上限。
我们现在的智力水平,或造成美国的智力水平,都没有看到上限。
投资人
明白。
因为我非常好奇,就是你说,对美国来讲,800B 激活这个模型,说比它能训练起,但它也用不起来,所以它只能训练出来,它也很难拿出来给大家用了,因为确实有点贵。
我之前其实很好奇的一点就是,人类其实拥有语言能力就是近十万年的事情,然后前面可能进化了三十七亿年。
但在训练 AI 这个事情上,可能是可以,你说那个顺序是可以反过来的,但最终可能还是会进入到所谓,也不一定叫世界的模型,还是要进入到物理模型或者具身的那部分,是吧?
就是在这个上限之后。
梁文锋
对,我觉得具身肯定还是要进入,最终具身。
所以对我们公司来讲,自然而言,可能终点都是具身。
因为对一个正常人来讲,他的需求并不是电脑,对不对?
因为正常的人,他吃喝玩乐、衣食住行,他不需要电脑。
他需要的是,所以他还是需要具身智能来解决具体人力的需求。
如果说目标是解约人力需求的话,所以具身我觉得就是绕不过去的。
投资人
明白。
所以阶段性地讲,假如说到达类似,也不一定是临界点,就是可以自进化、可以比较好的自进化,或者接近这个与 SV 的这个上升的到那个时间点上,我很好奇会希望这个状态的 AI 落地的第一个让是……可能跟现在不一样。
梁文锋
我们是希望它能够,就是直接假如说没有具身,那么我们对 AGI 的定义,或者我们希望 AGI 能做什么呢?
它能帮我迭代下一版模型,能帮我迭代下一版模型一样。
然后如果有了具身之后,我们希望它做的也是,让它来迭代下一版的具身,它来做下一版机器人。
投资人
我还是很好奇一点,就是因为我看之前 DeepSeek 的采访等等,应该是在一些重要的方向的选择和研究的选择上面,品味和直觉是很重要的,而不是简单的工程优化。
那如果之后 AI 可以自进化的话,这个品味、taste、直觉这些东西还重要,或者说重要的会是什么?
梁文锋
AI 现在不缺品味和直觉,它缺的是持续学习的能力。
AI 的品味和直觉没有问题。
你让它写个文章,它的品味和直觉,我觉得没有什么问题。
前面还有几个问题,我看一下那个问题。
我看屏幕上谈了几个问题,但是我这边看不到了。
投资人
梁总,我屏幕上留了个问题,我给您再念一下。
其实是想请教一下,continuouslearning,就是持续学习,您也提到,很多研究员也提到是一个还没解决的研究问题。
然后那个 coding agent,尤其是追上 MILES,就是到这个 Office 水平、MIS 水平是一个比较确定的目标。
对于一个还没解决的研究Scaling目标和一个比较确定的 Scaling 目标,您认为应该怎么分配研究资源,尤其是研究员这块的人才资源,怎么样才能达到最好的平衡和效果?
梁文锋
模型 Office 是一个比较确定的目标,但是模型 MIS,我觉得还不好说是确定的,只能说是一个目标。
模型 Office,我觉得应该是比较确定的。
CoT 不占资源。
做朋友任意研究,他不消耗卡,只需要很少的卡,他需要的是想法;
他也不消耗人才资源,因为不需要有人一直在那里做。
他不是一个项目,而是需要有很多人都在那里想这个问题。
所以并不需要给它分配什么资源,因为它不需要资源。
你要训模型,要做模型、发模型,做模型的效率实验才需要资源。
刚才讲的,对人、对卡的资源消耗都不多。
所以我们叫这个叫“摸奖”。
门槛很低,谁都可以去摸,但是谁能摸出什么来,这个可能我也不知道是看天赋还是看什么。
所以这里并不需要我们去分配资源。
只是说,我们跟其他公司不一样的地方,就是我们会花时间去讨论这个问题,会去想这个问题,然后把它当做一个重要的事情。
在公司里,它是一个重要的问题,是一个我们会花时间去思考的问题,但是并不需要花很多资源去做。
然后下面我还看一个问题:大模型的幻觉问题比较影响用户的体验。
幻觉问题也是有一个方法可以解决的,但是这是一个长命题。
幻觉问题可以认为是一个可以通过更好的 Post-training 解决的,是一个能解、能够改善的问题。
只是大家没有花很大的力气去做。
或者说,对我来讲,幻觉是一个问题,但我们归结可能是产品问题。
我们会去解决它,但是不是重点的问题。
前面还有一个标数据的问题。
我们在数据标注方面,这跟我们的资本投入有关。
以我们这个资本投入的结构,支撑不起那么多高质量数据标注的成本,因为成本很高。
美国数据标注的成本跟中国数据标注成本没有什么区别。
中国去标数据并没有成本优势,尤其是标高端数据上并不会有成本优势,使得我们很难投入去像美国这样标数据。
这条路在中国是很难的,因为标数据实在太贵了,不管是我们外标还是我们自己标,都很难受。
所以现在基本上是两条腿走路。
并不是说我们完全不能标,而是因为标数据有一些成本低,有一些成本高。
我们先标成本低的。
所以你也可以认为,现在我们公司有一半的人在标数据。
有一半的核心研究员,最重要的人,有一半在标数据。
我们就集中在标数据。
解决 AI 这个问题,在现在这个阶段靠的就是标数据。
你只要看就是一个数据。
投资人
梁总,谢谢你。你讲得特别地,我们非常有感受,非常好。
我请教几个问题。
第一个问题,您刚才讲,中国的模型比美国的模型在效率上肯定是强的。
你讲的还有一些其他方面,未来也有可能会比美国强。
你觉得是哪些方面,我们在智能或者在其他方面会比美国强?
梁文锋
我觉得在很多体验方面,有可能我们是能比美国做得好的。
即不说自己的体验,自己的产品体验觉得挺好的,我觉得我们在用户体验方面不一定会比美国差。
在产品方面,产品能力上不一定会比美国差。
成本应该也会比美国低,所以有可能中国还是会有竞争力的。
其他方面,如果说有结构性的优势,我觉得可能也没有。
但是在成本和产品这两方面,我觉得确实是有一定的结构性优势的。
成本这个很好理解,是因为他们都不用做,所以他们就不发展这个能力。
他们肯定没有我们重视这个事情。
我们可以把它当做一个非常重要的事情,但对于他们来讲,这个是不重要的。
产品也是,原生通过很多公司,产品能力还是可以的。
所以我觉得这两方面可能是有结构性优势的。
投资人
好的。
第二个问题,请教您,您刚刚讲到后训练,我们投入相对成本又高,像 Anthropic和 OpenAI 都投入巨大的金额。
这次融资以后,您觉得我们会在后训练方面加大投入吗?
梁文锋
差距主要是在高质量数据的标注上,然后主要是在 AI 研究里面。
肯定会加大投入,但是像高质量数据的标注,典型不是资本投入。
高质量数据标注的瓶颈,我觉得是时间,就是需要时间。
因为对 OpenAI 来讲、对国外来讲、对 Anthropic 来讲,他们都更早,然后资本更多,卡也更多。
这种情况下,我们国内可以认为是最近半年才开始做,所以在时间上,我觉得是需要更多时间的。
这个跟资本投入关系不太大,因为哪怕没有更多的资本投入,原来的资本也够它以最快的速度在扩张了。
但是这个速度是有上限的,瓶颈不是说我能够马上有更多的人,并不卡在钱上,也不卡在卡上。
但是它确实是在一个快速扩张的过程。
所以我们觉得一年之内,高质量数据这个问题做得比较好,我觉得国内应该是可以预期的。
我觉得面可能没有那么冷,但它确实是需要时间。
投资人
谢谢。
然后第三个问题,就是我们看到 Anthropic 他们用自己的模型做自己的产品,推出了很多纵向的金融、法律……甚至未来要往医疗方向走,您觉得在这种纵向应用方面,某个阶段我们也会考虑吗?
梁文锋
我还没有想得很明白,未来我们国内的商业模式是怎么样的,或者说最顺利的路径是怎样的,我们还没有到那个阶段。
国内情况和国外情况不一定一样,国内到时候是什么样,我觉得现在还比较难判断。
国内我们现在以目前的情况来看的话,我觉得最合理的做法应该是全力做通用的 Agent,其他的 Agent 优先级应该更低,包括金融、医生这些 Agent。
要先做 Coding,因为Coding Agent 能够做到很多,还有很多垂直的 Agent。
现阶段我们觉得最重要的,应该还是 Coding Agent。
投资人
讲得很清楚,谢谢您。
还有一个问题,我们也想请教您。
其实我们做 DeepSeek,也很佩服您,一直在以一个非常纯粹的科研方式来做 DeepSeek。
但现在这个行业确实也走到了资本市场,走到了资本化这条路上。
您又是一个非常负责任的人,无论是对小伙伴还是对 投资人,您也都是非常负责的。
那么,在纯粹科研、纯粹做AGI 的方向和资本市场之间的平衡,您未来肯定还要走资本市场,肯定还有公众股东,您觉得以后怎么 balance?
这个您是怎么考虑的?
梁文锋
我现在觉得应该是能够做到的,就都要。
假如说我今年能够有几个亿美金的 B 端收入,再加上我们 C 端有用户,那么这本身就已经有一定的商业基础。
以明年我们 B 端有收入,如果这个需求可以再增大的话,公司离净利润已经不远了,可能就已经是净利润了。
可能就已经不是一个纯烧钱的阶段了,所以我感觉后面能做的、能操作的动作应该还是比较大的。
或者说,最坏情况卖 API,可能都能够支撑一个上市公司。
就如果说技术后面没有新的进步了,我们的技术就冻结在这里了,那么最后我们就全力卖 API,把这些服务做好,我觉得也够的。
所以我觉得还是有信心的,确实没有那么难。
因为确实是在一个杠杆高的地方,又在一个发展非常快的领域,它可能就是没有那么难。
只能讲,我们希望有更大的梦想,但是我们也有保底可以拿出来的业绩。
投资人
谢谢您,讲得很好。感谢您分享。
前面提到一些问题,想跟您再问一下。
因为我觉得 DeepSeek 其实最大的和其他公司的区别在于,我们的组织跟其他人不一样,或者说组织形式不一样。
但组织形式既跟我们的目标相关,可能也要去考虑组织自身的边界和效率。
我不知道,从宏观的角度考虑,我们这个组织形式会有一个好的学习对象吗?
历史上可能 Bell Labs,还是一个什么样的形态可能是比较理想的?
还是说我们自己觉得也没有理想的,更多还要靠我们逐渐去探索?
可能在一个新的时期,只能靠我们自己来做探索。
因为我们的组织形式其实跟美国的几家公司肯定都不一样,对吧?
三家公司自己也不一样,但他们至少会从一个商业公司的角度出发去探索。
我可能主要想再问一下组织这个问题。
梁文锋
首先,我们没有模仿的对象。
每一步都是我们从实际情况出发,实事求是,根据实际情况来做决策,找到我们应该怎么做。
所以它是一个时代的产物,或者说是现实情况的一个反应,它并不是一个模仿的结果。
就是说,在这个情况下,我确实最优解可能就是这样,或者说我自己认为,我们自己选的路就是这样。
每一步我们肯定都是思考过的,肯定都是选过,反正选的结果就是这么选的。
它并不是因为看到谁这么选,我们这么选,而是因为我们分析了利弊而这么选。
那么在未来可能也是一样,我们并没有去模仿谁。
我觉得我们跟 Bell Labs 还是不一样的,因为它明确是不需要有商业化的,因为它是个……但是我们明确是要有商业化的。
我们最终还是要能活下去,我们毕竟是一个公司,政府不会给我一分钱。
所以我们可以有非常远大的使命,但我们归根结底是一个公司,我们要考虑怎么活着。
所以 B 端对我们肯定是重要的,因为可能以后可能得靠它活着。
只是说现在不重要,因为它现在是个成本线。
所以我觉得这个还是不一样的,跟 Bell Labs 还是不一样的。
我们本质上还是一个公司。
历史上也有很多公司,它也有利润以外的追求,但并不能说它有利润以外的追求,它就不是个公司。
很多公司做得很伟大,因为它有一种利润以外的追求。
那个追求最后不但没有影响到它的商业化,反而能让它商业化得更好。
我们本质上还是一个公司,只是说我们在考虑赚哪些钱、什么时候赚钱、赚多少钱、靠什么赚钱,只是说我们有取舍。
投资人
梁总,我有两个小问题,快速跟您请教一下。
一个是说,您刚刚其实有提到 MILOS 的这个,可能不是一个很确定的目标,但是肯定会往这个方向去做。
然后您也提到激活参数可能比如说……下一代可能会是在 150 到 250 B 左右的一个情况。
这种情况下,您觉得 150 到 250 B 是对标 O4.7,还是可能会对标到别的?
这是第一个问题。
第二个问题,您前面也提到了,我们现在在整个 inference 上面用了一些除了 CUDA 以外的编译语言。
我理解原来咱们基于英伟达的生态,可能会用 PTX 这些比较多。
现在用上更多类似您刚提到 TileLang 这些的话,是不是会大幅降低我们在 inference 上面的一些效率,或者短期降低效率?
我不知道您会怎么看编译语言的这种变化带来的效率损失,还是说长期其实是一个可以补充的状态,是提高效率?
梁文锋
是提高效率,是大幅提高效率。
投资人
OK,反倒没有什么负面的影响?
梁文锋
对,是大幅提高效率。
所以说这是一个机遇。
相当于以前你是离不开 CUDA 的生态的,现在我们可以抛弃它的生态,用一个更简单的方法,就用 TileLang。
它是高级语言,写那个程序也是很快的,要写的代码量很小了,我可以把它重写一遍。
投资人
明白。
所以这两个都其实是一个,像您提到的 AI 带来的比较大的机会,不是一个可能短期需要去弥补的缺点。
梁文锋
对,它是技术发展的大机会。
它不是 AI 的机会,因为我们还有一个项目,我们在用 AI 来写 TileLang。
投资人
那是不是更快?
梁文锋
现在所有 TileLang 都是人写的,但是它已经比原来写 CUDA 的要快很多了。
投资人
明白。
所以哪怕是对于硬件底层的执行效率,您觉得也是没有影响?
梁文锋
损失 1% 到 2%,我觉得是可以接受的。
投资人
OK,明白,理解了。
好的,谢谢您,很清晰。
主持人
其他人还有没有什么问题?
没问题,我们今天就先这样。
(DVOL本文转自:中国DV传媒 http://www.dvol.cn)