算清每个Token的价值，是AI落地的分水岭

文｜罗镇昊

编｜刘俊宏

过去两年，企业里听到最多的声音是 “我要上AI”，但AI具体用来干什么、用得效果怎么样，很多人并没有感知。太多企业选择“先用起来再说”，直到某一天，一张天价Token账单突然爆出来，才发现这笔投入根本算不清。

但也有企业把这笔账算得清清楚楚：一家超市连锁巨头用 AI去谈供应商合同，成本节省了3%，ROI达到4倍，付款账期还延长了35天……

对企业应用来说，到底怎么能把 AI的账算明白，正变得前所未有地重要。

过去两年， AI行业最容易被看见的变化，是模型越来越大、算力越来越强，但进入智能体和企业级应用阶段之后，企业开始面对一个更现实的问题：花出去的算力和Token，究竟换回了什么？

这也是 “Token经济学”开始走进产业视野的原因。

据国家数据局披露： 2024年年初，中国日均Token调用量为1000亿；到2025年底，跃升至100万亿；今年3月，已突破140万亿，两年增长超千倍。 这组数据背后代表的是， AI的使用方式正在发生改变。 过去企业习惯计算买了多少张 GPU、建了多少数据中心，现在算的则是一笔AI投入究竟完成了多少任务，节省了多少时间，又创造了多少收入。

当 AI从“生成内容”走向“持续干活”，Token也正在从技术指标变成经营指标。

过去， Token更多只是模型调用时的计量单位，现在，随着智能体开始进行多轮推理、调用工具、拉取上下文，甚至让多个智能体长时间协作，对Token的需求也变得更加多元化。

在 NVIDIA 中国区工程和解决方案副总裁赖俊杰博士 看来，一个智能体任务可能涉及 50到500次 连续的模型调用，多智能体协作还会进一步放大 Token消耗。这意味着，企业AI上的账，正在重新计算。

因此，真正值得关注的不再只是 Token有多便宜，而是Token本身的价值如何被定义，需求如何预测，供给如何提高效率，以及最终如何转成业务回报。

NVIDIA将其概括为Token经济学的四个支柱：价值、需求、供给和变现。

从这个角度看， Token经济学真正讨论的，其实是AI产业从技术投入走向生产力兑现之后，一套新的经营逻辑。

如果说上一阶段企业讨论 AI，核心问题是要投入多少算力，那么这一阶段真正的问题正在变成，这些算力生产出来的Token，能不能形成可持续衡量的业务价值。

围绕这个问题，光锥智能创始人王一粟和 NVIDIA 中国区工程和解决方案副总裁 赖俊杰博士 做了一场关于 “Token经济学”的 播客。

NVIDIA 站在 AI基础设施一侧，讨论的是模型、GPU、网络、推理优化和Serving框架如何共同决定Token的单位成本与交付效率。而光锥智能作为产业观察者则从企业应用角度出发，追问AI究竟有没有进入真实业务，又该如何把Token消耗、流程效率和最终经营结果放到同一张表上。

以下为对话实录，光锥智能进行了不改变原意的编辑：

问：请两位结合自己的实际经验，聊聊如何更经济、更有效率地使用Token？

赖博：在 NVIDIA 内部，我们很鼓励员工探索如何把 AI融入日常工作流程，让AI成为提升个人效率的助手。我们的CEO黄仁勋先生也提到过，未来每一个员工都会拥有自己的AI助手。我们内部所有团队，工程、产品、法务、市场、财务等等，都在不断探索如何把AI融入具体的工作流程。从这个角度说，人与AI的协作正在成为新的工作方式。

从我个人的使用体验来说，使用 Token的关键并不是简单地追求减少消耗，而是找到AI能够真正放大个人能力的场景，让每一次AI交互都产生更高的价值。比如在信息整理、资料分析、问题拆解或者其他重复性高的任务中，让AI参与更多环节，可以帮我们减少重复性工作，从而有更多时间投入到判断和创造性的部分。

王一粟：我们现在已经离不开 AI了。作为内容创作者，我们主要的花费在深度内容研究和视频制作上，我个人也尝试过一些AI Coding的小软件。具体来讲，日常写作时的资料查询、深度研究用得最多，视频团队在素材生成上也开始用得越来越多。花费上，每个人大概每月几百块钱，国外一些AI软件的会员、国内主流的优质AI会员，我们都在用。

问：同样100万Token，调用不同的模型、应用在不同的任务中，最终产生的价值可能完全不一样。赖博能不能先讲讲，Token到底是什么？

赖博：Token是AI模型处理和生成信息的基本单位，也可以说是AI工厂产出的智能的最小单位，是衡量AI工作负载的重要指标。但Token本身并不等同于价值。

我们可以用一个简单的公式来理解：每单位 Token的成本，等于数据中心每小时的综合运营成本，除以该数据中心每小时实时交付的Token数量。这里的成本包含很多方面，GPU、CPU、网络、存储、供电等等。很多企业在评估AI基础设施投资时，往往容易只盯着其中某一项成本，比如GPU的价格。但真正决定Token成本的往往是整体效率，同样的投入到底能产生多少可用的Token。

所以从 Token经济学的角度，我们需要同时关注数据中心的整体拥有成本和端到端产出效率，把评估标准从投入指标转向产出指标。

问：也就是说，Token的价值不是单一的，而是和它背后的基础设施、模型能力、应用场景以及最终的业务结果相关。那影响Token价值的关键因素具体有哪些？

赖博：判断一个 Token有没有价值，可以看两个核心维度。

第一个维度是智能含量。同样 100万Token，由具备长上下文能力的前沿推理模型生成，和由轻量级模型生成，背后承载的理解能力、推理能力和上下文信息完全不同，前者的智能密度更高。

第二个维度是交互性，也就是 Token到达用户的速度。对编程助手、高频对话这样的场景，接近实时到达的Token才有价值；而批量处理文档这类任务，对Token延迟就没那么敏感。

但这两个维度都要落到一个前提上：价值是相对于用例的。一个针对特定场景后训练的小模型，可能只用几分之一的成本，就可以达到甚至超过大模型的效果。多付的智能溢价，只有在用得上的时候才值得付。

所以企业实际评估时可以问自己几个问题：这个任务需要多强的智能？多快的响应？结果错误的代价有多高？比如在医疗、金融等场景，准确性和可靠性就是硬指标。

王一粟：Token本身更像一种基础投入，最终能产生多大价值，取决于它被应用在哪些任务中，以及企业如何把它融入业务流程。据我观察，AI的场景大致可以分为两类。

一类是横向场景，即跨行业都存在的通用需求，比如企业知识助手、客服 Agent、办公助手、代码助手等等。这类应用覆盖面比较广，价值更多体现在帮员工提升效率、减少重复性工作上。

另一类是垂类行业场景，即结合特定行业知识和业务流程的应用，比如金融领域的投研分析、医疗领域的辅助诊断、制造领域的设备运维等等，这类场景通常需要 AI理解更专业的数据流程和业务逻辑。这两种场景下，Token都是可以直接产生经济价值的。

问：什么是Token经济学？为什么它会成为今天企业讨论AI时越来越重要的框架？

赖博：从 NVIDIA 的视角看， Token经济学指的是Token生成和使用背后的经济学。随着数据中心从存储和处理数据的场所，演变成专门生产智能的AI工厂，Token就是AI工厂产出的产品单元。

Token经济学要回答的不只是“一个Token值多少钱”，而是四件事：第一，Token如何被估值，即它承载的智能和交互体验值多少；第二，如何被消费，即谁在用、用多少、在什么场景用；第三，如何被供给，即怎样通过基础设施把Token高效、低成本地生产出来；最后，如何变现，即最终怎样转化为收入和业务价值。

这个概念越来越重要，很大程度上是因为 AI正在从试点和大规模训练阶段，进入规模化应用和持续推理阶段。随着AI智能体的发展，一个任务可能需要更长的上下文、更多轮推理以及工具调用，Token的需求量和使用方式都会发生很大变化。

当 Token进入规模化生产和使用之后，企业就需要像管理一个生产系统一样，去关注它的产量、效率、单位成本。从这个角度说，Token经济学把AI的技术投入和经济产出连接了起来，企业既要考虑Token能不能更高效、更低成本地生成，也要考虑这些Token被用在了什么地方，最终能支持怎样的业务应用和价值创造。

王一粟：我先说一个数字，这个数字让我觉得 Token经济学必须被认真讨论。从2024年初到2026年3月，中国日均Token调用量从1000亿直接飙到140万亿，两年涨了1400倍。

这个数字背后有三件事正在同时发生。

第一件，企业过去习惯看算力投入，现在要看智能产出。以前的逻辑是你买了多少张卡、用了多少度电、建了几个数据中心，这是从投入维度核算。 Token经济学出现之后，企业要算另外一笔账：我花1美元买Token，它帮我完成了多少任务？节省了多少时间？创造了多少收入？这是产出维度的核算。从投入到产出，这是整个AI行业从技术竞赛切换到商业落地的转折点。

第二件，企业内部出现了新的计量单位来重新管理 AI投入。最典型的就是今年有公司提出了DAA，日活智能体数。为什么会有这个东西？因为一个企业只看烧了多少Token，跟钢铁厂只看烧了多少煤是一回事，煤烧得多不多，不代表钢铁产出好不好。IDC也发了一份DAA的报告，我们还观察到部分运营商开始按“用户数+AI终端渗透率+Token消耗量+单位Token经济价值”重新设计商业模型。

第三件，企业内部的 AI管理正在变成CFO和CIO共同的事。过去AI投入是CIO一个人管，但现在Token的消耗量级已经到了CFO必须介入的程度。越来越多企业内部开始设立专门管理AI资源消耗的岗位，这个岗位既要懂模型也要懂财务，要回答的问题是：每一笔AI投入到底换回了什么？

总结一下， Token经济学是企业AI投入从算力时代过渡到智能时代的必然产物。这个概念在过去一年已经从少数人的讨论变成了产业共识，这就是为什么它今天成为企业讨论AI时越来越核心的框架。

问：当智能体进入企业，Token的使用会发生什么变化？目前常见的智能体应用大概分为哪几类，对Token的需求有什么不同？

赖博：从工作负载和实际用例来看，我会把常见的智能体大致分成三类。

第一类是对话和助手型，比如客服助手、知识问答，这类应用需要及时响应，对时延要求比较高，需要支撑大量用户并发，每次任务相对较短， Token消耗比较容易预测。

第二类是工作流型智能体，比如让智能体帮你完成一份研究报告，它需要先理解任务，然后检索资料、调用工具、分析信息、生成结果，一般会经过多轮模型调用，上下文也比较长。

第三类是更加自主、长时间运行的智能体，包括多智能体协作，它们可能持续执行几十分钟、几个小时甚至更长，过程中不断调用各种工具、更新上下文，甚至启动子智能体。

我们 NVIDIA自己做过一些测试，一个智能体任务可能涉及50到500次甚至更多的连续模型调用。到了多智能体场景，Token消耗会进一步被放大。所以智能体发展起来之后，Token需求变得越来越难以预测上下文有多长、需要推理多少轮、调用多少次工具、同时运行多少智能体、对响应速度有什么要求，所有这些都会改变Token的需求结构。

王一粟：补一个趋势判断，未来一年到一年半， AI办公智能体很可能成为企业Token消耗的第一大场景，因为办公是少数同时具备高频使用和清晰付费意愿的场景。2026年Q2一些头部科技公司资本开支暴涨70%到300%，其中AI办公占比不小。放到赖博的分类里，办公智能体正从工作流型走向自主协作型，Token消耗还会进一步放大。

问：要把Token经济学真正应用在业务中，企业有没有一套可以拿来做决策的框架？

赖博：企业考虑 AI投入时，核心要回答几个问题：这项投入有没有产生价值？需要投入多少资源？如何保证AI能力稳定运行？最终能不能转化成业务回报？围绕这些问题，可以用 NVIDIA 提出的 Token经济学四个支柱来理解。

第一是 Token的价值：AI的输出是否真正解决了业务问题。第二是Token的需求：企业需要了解不同用户、不同场景下对Token的需求，包括使用规模、任务类型、峰值需求等等。第三是Token的供给：企业需要关注如何通过模型、算力和基础设施规划，提高Token供给效率、降低单位成本。最后就是很多人关心的Token如何变现：如何将Token的使用转化为实际的业务价值和商业回报。把这四个支柱结合起来考量，企业就能从Token的需求、供给和价值多个维度，较为全面地评估Token投入。

王一粟：这四个支柱讲的不只是技术，也是企业经营的核心问题，所以还需要从顶层架构上设计。我把它对应到企业内部的四个角色，这个对应关系我自己觉得比较好用。

CEO和CFO关心变现，每一笔AI投入换回多少收入和效率，账要算清；业务负责人关心价值，AI输出能不能被业务团队真正用起来，演示惊艳、落地没人用的情况太常见了；产品和运营关心需求，峰值扛不扛得住，服务型智能体每多处理一个工单要多消耗5000到15000个Token，一个5000人的企业每天1万工单，一天就是5000万到1.5亿Token；技术团队关心供给，能不能又快又稳地交付。

四个角色的关系是 “上推下拉”，业务越广需求越大，需求越大技术越要给力，技术投入最终要看变现。国内很多先进企业已经每两周开一次AI经营会，把四个角色拉到同一张桌上。这个动作很小，但它是把AI投入从技术问题升级为经营问题的分水岭。

问：作为企业管理者，应该怎样合理规划和管理全公司不同的Token需求，让Token使用效率最大化、同时降低成本？

赖博：这确实是一个比较重要也比较有挑战的问题。企业规划 Token需求，现在已经完全不能简单按“用户数量×每次请求Token数”来估算了，真实生产环境中AI工作负载非常复杂，智能体可能需要多轮推理，不同任务复杂程度也影响Token消耗。Token需求预测可以从三个层次分析。

第一个层次是基础需求估算：通过用户数量、请求次数、单次请求的大致 Token规模，建立初步的需求基线。

第二个层次是工作负载倍增因素：进一步考虑推理轮数、智能体调用次数、重试以及缓存等因素。

第三个层次是运行需求：结合实际部署中的峰值需求、业务增长和延迟要求，帮助企业更准确地规划基础设施。通过这些方法，企业可以从简单估算逐步走向贴近实际场景的 Token需求，更合理地规划AI基础设施投入。

王一粟：需求不清楚是一个特别常见而且致命的问题。过去两年我听到最多的声音就是 “我要上AI”，但具体用来干什么、效果怎么样，大家都没有感知。今年已经好了很多，做得好的公司会让业务线的人自己真正去做AI产品。

我今年刚见过一个案例：财务部门里专门设了一个 AI化的IT部门，他们自己造了一套智能体系统，把采购、审批、利润率计算都打通到一张表里，同时引入外部专业供应商。但也别过于相信非IT人员的能力，很多业务人员自己用AI Coding做东西，成熟度差得非常多，还是要让专业的人干专业的事，同时要有整体的顶层规划。

落到预算上，刚才赖博也提到了一些，我的建议是三套预算。第一是基础预算：按当前规模和模型预测，给出未来 12个月的月均Token消耗。第二是增长预算：每月预留一个增长限度，10%20%也好、30%40%也好，动态观察，因为AI的使用需求是在不断挖掘和提升的。第三是峰值预算：新产品上线、季节性峰值、批量任务集中的时候会有瞬时消耗，这里要做好backup，用户体验才不会在关键时刻崩掉。

这三套预算加起来，才是企业真正该准备的 Token容量。这件事为什么重要？因为我看到太多企业“先用起来再说”，结果某一天突然爆出一张几百万Token的天价账单。所谓提前规划，不是浪费时间，是给自己留出试错空间。

问：提供了需求之后，企业还要判断这笔基础设施投入有没有带来结果。怎么判断Token投入是否有效？有什么指标值得参考？

王一粟：我把它分成三个圈层。

最外层是业务结果指标，看五个：任务完成率、节省时间、输出质量、使用率、业务回报，只看 Token消耗量绝对不行。

中间层是流程效率指标，用来补归因的位：自动化率、周期压缩率、人工干预率、错误返工率。有家超市连锁巨头用 AI谈供应商合同，成本节省3%、实现4倍ROI、付款账期延长35天，就是把每个指标对应到每个环节算出来的。

最底层是基础设施指标，决定持续稳定交付的能力。

三个圈层怎么协同？我的总结是：由下到上算成本，再从上到下来看价值。底层基础设施告诉企业 “花多少Token才有这个能力”，中层流程指标告诉企业“用这些能力跑了多少流程”，顶层业务指标告诉企业“这些流程换回了多少结果”。

赖博：我就从第三个圈层做一点关于效率的补充。当模型越来越大、智能体承担的任务越来越复杂，如何让 Token更快、更稳定、更低成本地被处理，就成了衡量投入效果的关键。这背后必然涉及AI基础设施的协同效率，包括硬件也包括软件。

硬件层面，大家往往关注算力，今天我在这里不讲算力，想强调网络的重要性。当模型需要在多个 GPU、多个节点之间协同工作时，高带宽、低延迟的网络可以减少等待时间，让不同计算单元更高效配合，这种效率提升最终会体现为更高的Token处理速度、更低的响应时间和单位Token成本。

软件层面，推理优化也会极大影响 Token的经济性。相同算力投入下，更高效的推理能力意味着系统能处理更多Token，整体资源利用率更高。

具体来说，首先需要高效的推理框架，比如开源的 Hugging Face、vLLM，或者NVIDIA的TensorRT-LLM，它们对模型推理过程做各种优化，包括算子性能优化、量化、高效的内存管理等等。还需要高效的Serving框架，比如NVIDIA的Dynamo，它面向AI智能体和大规模推理场景，通过分离式服务把Prefill和Decode解耦到不同GPU上，加上KV感知路由、KV Cache卸载等技术手段，进一步优化不同工作负载之间的调度和资源分配，提高系统吞吐能力和整体资源利用率。

最后，企业可以结合业务效果和技术指标综合评估，比如每百万 Token成本、响应速度、系统吞吐效率、任务完成质量，判断AI基础设施投入是否真正创造了足够的价值。

问：最后展望一下未来。Token经济学作为一个议题正在快速发展，两位觉得它目前处于什么阶段？未来还有哪些关键问题需要解决，才能真正释放AI时代的生产力价值？

赖博：看 Token经济学发展到哪个阶段，可以从AI应用本身的变化来看。最早大家关注的重点是算力、推理成本，比如需要多少GPU、每秒能生成多少Token、每百万Token成本多少。这个阶段解决的核心问题是：如何把Token更高效、更低成本地生产出来。

我们现在正在进入第二个阶段： AI智能体和企业级应用快速发展，Token需求开始多样化，不同任务对上下文长度、推理轮数、响应速度、并发和吞吐的要求都不一样。企业需要关注的就不只是单位Token成本，还包括需要多少Token、什么时候需要、用什么模型和基础设施来提供，以及如何在性能和成本之间找到平衡。

再往前看， Token经济学会越来越走向价值导向。Token能够规模化生产之后，企业自然会进一步问：这些Token最终完成了什么任务？提升了多少效率？创造了多少业务价值？所以我们现在正处在一个非常关键的过渡阶段，企业正在从关注Token本身的生产成本和效率，逐渐走向同时管理Token的需求、供给以及价值。

对基础设施来说，接下来要解决的问题还很多，推理效率、能源效率、资源调度、规模化运行等等；对整个产业来说，更大的挑战是怎么把技术效率的提升，进一步转化成可以持续衡量和管理的业务价值。

王一粟：我经常跟大家说，现在还处在 AI大模型的“乱纪元”，确实有很多东西需要统一。我盘了一下，至少有三件事。

第一是 Token的计量标准要统一。现在光中国就已经有2000多种专用智能体的API，每家对Token的定义、计量颗粒度、计算规则都不太一样。好消息是已经有企业在尝试通过AI+eSIM做底层标准化，在芯片层统一记录Token消耗，但目前还处于早期阶段。

第二是企业内部的 AI经营组织还没建立起来。刚才提到，一些先进企业已经开始设立专门管理AI资源消耗的岗位，但大多数企业还停留在”AI是技术部门的事”这个认知上。而真正的AI转型是经营的转型，不只是技术的升级，我觉得这是这一轮AI大模型浪潮最核心的不同。

第三是智能体之间的协作协议还没有建立。未来 Token的消耗不只发生在人和AI之间，更多会发生在智能体和智能体之间，未来可能出现一个企业里有1000个智能体互相调用、互相交易Token的情况。但现在的A2A（Agent to Agent）协议还没有行业共识。

针对 Token经济学，整个行业的关键命题是：能不能建立起一个价值定价的基础设施，Token的计量标准、企业AI的组织经营、智能体对智能体的协议。这几件事如果走通了，AI行业会真正进入生产力的时代。