行业大模型如何降本？︱十问AI大模型（三）

大量数据、大量参数，以及庞大复杂的算法，经过超大算力计算、训练而成的C 端类 ChatGPT大模型，在2023年陆续涌现。然而，此类TO C的通用大模型参数量太大，成本也非常高。京东集团副总裁、探索研究院院长何晓冬此前在2023世界人工智能大会上表示，训练时间在两个月左右的基础通用大模型，成本估计在几千万元。

相比之下，面向垂直领域的行业大模型所需的算力、参数量、数据量等都更小，成本更低。“通用大模型的主要成本在算力、数据和人才，其中算力是大头，To B的行业大模型成本相比通用大模型小一些，不过业务场景的策划是一个相对较高的成本。”某深耕交通和教育领域行业大模型的上市公司内部人士告诉第一财经。

据悉，大模型的总成本主要由训练成本和应用成本两部分构成。

训练成本方面，行业大模型通常采用对通用大模型进行微调的策略，这能够显著降低训练成本。“一方面只需要为特定行业领域准备数据和知识，数据准备成本能大幅度降低；另一方面，由于无需调整通用大模型的所有参数，在硬件和时间上的投入也会减少。综合来看，行业大模型的训练成本相比通用大模型有了显著降低。”鼎捷软件（300378.SZ））运营长刘波告诉第一财经。

应用成本方面，在处理特定领域的问题时，因为通用大模型不具备领域知识，需要的token数量通常较多，应用成本也因此会较高，而行业大模型已经集成了特定领域的知识，需要的token数量较少，应用成本相对更低。此外，如果选择私有化部署行业大模型，则仅需要一次性的算力投资，应用成本会进一步降低。

那么，行业大模型降本具体有哪些策略？

上述上市公司内部人士告诉第一财经，行业大模型降本，一是适当采用RAG（检索增强生成）等辅助大模型，以降低对大模型参数的要求；二是选型，根据需求的上下限选择合适参数的模型；三是从客户需求角度做场景分析，设计解决方案，适当采用模型的前处理和后处理，降低模型计算成本；四是注重性价比，在合适的场景选择合适的技术，以大模型和小模型共存的形式来降低成本，达到总体产品的合适的投入产出比。

刘波补充道，大模型和知识图谱的协同也能够有效降本。“通过与知识图谱的交互，大模型可以重用知识图谱中已有的知识，这有助于大模型在执行任务的过程中进行规划、推理和验证，降低大模型的训练成本及应用成本。”

上述上市公司内部人士同时称，对于行业客户来说，成本（价格）并非是第一考虑要素，行业大模型能否产生价值，让用户获得一个比较好的ROA（资产回报率），才是最重要的。