万卡训练史上最大参数模型！百度文心大模型4.0最快下周见

万卡训练史上最大参数模型！百度文心大模型4.0最快下周见

快科技10月9日消息，日前有媒体报道称，百度正加紧训练文心大模型4.0，已经接近可发布状态，这将是文心大模型3.5版本后，又一个重磅版本。

消息称，文心大模型4.0进展比预期快很多，将是基础模型的大升级，理解、生成、逻辑、记忆核心能力都将提升，特别是在逻辑推理、代码和数学等方面提升最明显。

根据我们获得的最新消息，上述消息基本属实。目前了解到，文心大模型4.0实际上已经在小流量测试。

根据我们拿到的消息，文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM，也是国内首次使用万卡集群训练的大模型。这意味着文心大模型4.0的参数规模预计能突破万亿级别。

万卡集群什么概念？国内之前只有华为、阿里透露已建成万卡AI集群，但我们都没看到基于它推出的具体模型。万卡集群就不容易建了，如果用起来发挥最大化作用则更难了。

据分析，正是因为飞桨的深度联合，才能高效地基于万卡集群训练起如此规模的模型。

不仅训练成本在增加，文心4.0的推理成本比3.5增加很多，我们还没拿到具体每千token的推理成本，但据传大概是此前的8-10倍，这还是在高利用率（MFU）的情况下。如果利用率更低，估计成本还会继续增加。

不得不说，大模型真的很费钱。可见，打造领先的底层基础打模型，就是一场巨头的游戏。

根据IDC发布的首个大模型评估报告——《AI大模型技术能力评估报告，2023》，百度文心大模型3.5拿下12项指标的7个满分，综合评分第一，算法模型第一，行业覆盖第一，综合能力在众多国产大模型中遥遥领先。

经过全面升级后，文心大模型4.0的训练速度、推理速度等将进一步提升，能否与GPT-4一战甚至超越后者的表现，我们拭目以待。