Token化与工程化：传播的系统性重构及挑战

ydyzcn

　　中宏网北京7月26日电 聚焦“向上向善加快建成人工智能高地——读懂人工智能时代之问的中国答案”主题，中宏论坛第七十五场在线研讨会于7月24日下午圆满召开。清华大学新闻与传播学院教授、暨南大学国际传播研究院院长陈昌凤应邀出席论坛并作了主题发言。
　　以下是陈昌凤的发言：　　7月17日至20日，2026世界人工智能大会暨人工智能全球治理高级别会议在上海举行。聚焦“向上向善加快建成人工智能高地”主题召开本次论坛，意义重大。我将围绕“Token化与工程化：传播的系统性重构及挑战”这一核心主题，和大家交流当前人工智能治理的根基、面临的核心问题，以及落地推进过程中需要深入思考的关键方向。
　　一、智能技术已经从工具属性向平台化方向转向
　　数智时代，知识的传播与流动已经发生了根基性的变化，我们需要以系统性思维推动全球治理落地到具体实践中。今年前两季度人工智能领域的核心发展情况：腾讯新闻发布第一季度报告《AI趋势研究白皮书 2026Q1》聚焦高自动化的智能体展开；企鹅智库发布第二季度报告《Agent跌跌撞撞进入世界|2026 Q2 AI趋势总结》则围绕当下通用智能体平台的多元使用情况进行梳理。
　　结合公开数据来看，知识入口已经全面AI化。中国互联网络信息中心第五十七次《中国互联网络发展状况统计报告》显示，截至2025年12月，我国生成式人工智能用户规模达6.02亿人，普及率为42.8%。在此基础上，AI技术也在快速走向平台化：2024年我曾发表文章《智能平台兴起与智能体涌现：大模型将变革社会与文明》，后被《新华文摘》转载，当时提出“智能技术已经从工具属性向平台化方向转向”，如今这一预测已经完全成为现实。我们当下讨论治理落地，推动宏大治理理念融入具体实践，必须首先立足这一现实背景展开。
　　二、核心概念一：Token化的变革与深远影响
　　随着智能技术的快速迭代，Token已经从人工智能领域的专业术语，变成了渗透到各行各业的显性概念，尤其在Token经济等相关领域热度持续攀升，它正在对人类文化交流、人类知识流动产生极其重要的影响。
　　Token已经成为人工智能思考的最小单元，它直接决定了知识能否进入模型的上下文窗口，也决定了知识在模型中被表示、被压缩和被生成的全流程，其重要性正在不断凸显。在日常实践中我们也能直观感受到Token的影响：比如我今年3月开始搭建相关测试场景，在实际交互过程中深切体会到Token的运行逻辑会直接左右交互体验，甚至有相关实践发现，将中文内容转换为文言文或者英文等其他语言，能够显著降低Token的消耗量，可见Token已经深度介入到知识流动、知识传播的全链条中。
　　近期《财新周刊》连续推出两篇相关封面报道《Token经济已来》《强攻AI入口》：一篇聚焦Token经济，另一篇聚焦AI入口变革，也印证了Token相关影响已经渗透到知识、文化、社会经济发展的方方面面，它从根本上改变了知识进入传播系统的基础条件：
　　过去我们的知识是以完整的意义形态作为存在前提的，传播的起点围绕人类对意义的读取展开。但进入Token化时代后，传播逻辑完全反转：知识首先要被切分、被编码，转换成Token序列，传播的起点从人类意义的读取转向了机器的符号切分。过去的完整叙事、复杂语境以及丰富文化意涵，全部被切分为Token化的存在形式，对大模型而言，所有知识都不再是传统的概念集合，而是被拆分、重组形成的计算对象。
　　由此，相关工程问题直接浮出水面，如何将复杂连续的人类语言转化为机器可以稳定数理处理的输入形式，已经成为将丰富文化意涵转化为概率关系的基础，这从根本上改变了传统知识进入传播系统的运行规则。
　　三、核心概念二：工程化前置带来的传播逻辑变革
　　Token化的大背景下，工程化被前置到了知识生产的全流程之中。过去的传统逻辑是等知识完全生产出来之后，我们再去评估它的作用、判断它对人类认知的影响，但是现在，在知识生成之前，前置化的工程流程就已经介入其中。
　　近期非常热门的“FDE（前置部署工程师）”岗位已经在多个领域普及落地，在医药等众多行业得到广泛应用：这类工程师在知识生成、内容生成之前，就介入到知识生产环节，通过专业工具作为中介，直接决定知识的最终输出形式。这种工程化前置的本质，就是技术介入提前到知识进入传播系统之前，在文本尚未生成的阶段，知识能否被处理就已经被确定了。
　　与之相伴的是知识入口的根本性变化：过去我们抢占搜索引擎、抢占公域平台获取流量来提升关注度，现在正在转向争夺大模型入口——如果人工智能模型没有识别到你的内容，当下绝大多数将生成式AI作为第一信息获取落点的用户，就完全无法接触到你的数据。原本建立在意义连续性基础上的知识流动活动，已经彻底转化为以计算可行性为核心基础的工程过程。
　　四、Token化生态对传播体系的深层重构
　　Token已经形成了双重核心机制：一方面它是知识的生成机制，重新界定了知识的属性，让知识成为在交互过程中持续生成的概率事件；另一方面它也是知识的秩序机制，形成了全新的入口权力规则，构建出新的知识运行秩序。
　　相关研究显示：不同语种的底层属性直接决定了Token的排序规则，进而带来知识获取的不平等。像Token这样的技术最小单元，已经形成了全新的秩序原则，传播体系、知识流动体系的入口规则，已经从过去的“可见性优先”转向了“可计算性优先”。
　　这种变化对传播领域的重构是全维度的：以新闻传播行业为例，过去我们依赖人类经验完成的采写编评播制摄全流程工作，现在已经全面转向依赖技术完成全链路管理，从选题监测、数据分析到内容生成、多平台分发，所有环节都依托技术体系运行，知识的生成、流转、发散过程，变成了可复制、可优化、可协同的标准化运行流程，传播领域的深层组织逻辑已经发生了根本性改变。
　　五、传播工程化的转向与治理挑战
　　我在长期观察中将当前知识传播的新趋势总结为“传播工程化”，这一概念目前仍在持续论证完善中，它的核心定义是把原本完全依赖个人经验完成的传播活动，拆解成可设计、可复制、可优化、可协同的标准化运行流程，工程化正在全面重构所有相关工作流程。
　　当下整个意义生产过程，已经完全嵌入到庞大的运行系统之中，数据、模型、接口、工作流、智能体等要素深度交织，知识的流转正在发生工程化转向——这里所说的知识传播，并非狭义的新闻传播，而是覆盖全领域的知识流转体系，它直接影响公众认知，进而左右整个社会的治理核心方向。如今知识流转已经成为持续运行的社会技术系统，基础设施是其核心决定性要素，辅以工作流、接口、指标等共同构成完整的运行体系，所有知识的流转都可以被拆分、标准化、模块化和度量化，这是传播领域的一次根本性转变。
　　在这一体系下，哪些环节可以被设计成标准流程，谁能够掌握对应的工作流和接口，谁就掌握了知识的调度权，这会对全球信息秩序、知识秩序流通，乃至全人类的共同认知产生决定性的深远影响。流程化已经成为当前传播领域最重要的发展方向，工程化正在重塑整个知识生态系统、信息生态系统，催生了全新的治理生态，传统的治理逻辑和治理手段已经很难适配这套新的生态系统，我们必须用全新的思维去开展治理工作。
　　这套新生态的治理核心方向可以归纳为三点：第一，以数据为核心抓手推进新型基础设施建设；第二，通过跨主体协同建设，拓展流程的覆盖范围，持续提升体系的迭代和优化能力；第三，牢牢掌握知识信息触达用户的入口控制权，入口本质上就是传播体系的权力控制节点，谁掌握了入口，谁就能够决定公众能够看到什么内容，决定内容的解释、组织、排序规则，决定什么样的文化和叙事能够获得公众可见性。
　　整个传播机制的全链条变革，会对传播主体、传播路径、内容可见性、传播效果、传播权力、伦理规范等各个方面带来全方位的深层影响，我们的治理工作正面临全新的课题。
　　社会学领域提出的“文化滞后”理论指出，物质技术层面的文明会先行发展，而制度建设、观念更新这类文化层面的要素往往会出现滞后，当下我们正处于这一发展阶段：面对这一轮由token化和工程化驱动的新型技术变革，如何快速更新治理理念、提升治理能力，适配新的知识传播生态，是我们当下必须完成的全新核心任务。