此页面由机器翻译成中文。 查看英文原版。

计算语言学家,认知和临床语音科学家,以及在对话建模,心理语言学或基于主动推理的LLM代理方面工作的Active Inference Institute fellows。

主动推理和语言学

语言作为推断:说话者和听者在对话、语法、语音运动控制以及LLM互动中最小化自由能。

语言使用将感知、行动和不确定性解决紧密耦合,就像主动推理应用于任何领域时所做的那样:说话者和听者不断更新生成模型,并通过对话持续减少预测误差。此报告追溯了从合成对话的基础生成模型到语音运动控制、口吃、内心言语、语法以及大型语言模型架构的扩展文献,同时也揭示了预测编码和贝叶斯脑批评所倡导的实证谨慎。接下来将综合这些文献,以供评估主动推理在解释语言现象方面是否真正有效,或仍需更多证据作为规范性框架。

为什么这个域名合适

Active inference将任何维持其完整性的系统相对于环境的生成模型最小化变分自由能视为内在,外部,感觉和主动状态四元组通过马尔可夫毯子分离代理的信念与交际情境,听觉语音作为感觉状态,发音作为主动状态。语言固有的层次结构——音素到音节,单词到短语,短语到对话——也与基于生成模型嵌套的内在性推理对齐,其中较高层次编码慢抽象原因(意图,主题),较低层次编码快速感官细节(声学实现)。

文献状态

2020年的工作在生成模型、语言沟通和主动推理方面做出了基础贡献(Friston和其他人),模拟了合成代理之间的对话,这些代理会互相推断对方隐藏的语义状态,并选择话语来最小化期望的自由能,从而产生涌现的共享词汇惯例。一个 companion 的诠释性账户(Paulus 和 Friston)将沟通视为一种互解的行为,在这种行为中,行动满足了对自身未来言语及其对听者的影响所做的预测。然后文献分支到语音运动控制以及主动推理视角下的口吃(失流作为未能在运动和语言层面平滑地最小化自由能的失败),一篇预印本提出自然语言语法本身也符合自由能量原则,一篇论文重新定义内心言语为一种将混乱的感觉状态翻译成紧凑的口头标签的中介,以及一个《Frontiers in Psychology》呼吁将主动推理引入神经修辞学的文章。贯穿这一切的是与预测编码和贝叶斯大脑理论之间的未解决张力:一篇2023年的批评文章质疑神经系统可能优先发现特征而非详尽预测,另一篇独立的批判性评论则质疑大脑是否真的实现了字面意义上的贝叶斯计算。

关键项目和工具

具体的实现仍然是研究原型而非命名的公共工具:合成语言代理作为概率图或状态空间模型构建,使用消息传递或梯度下降推理(通常为MATLAB或Python),而语音运动控制模型设想为articulatory状态的动力学贝叶斯网络。动态因果建模(DCM)已经在主动推理社区用于建模大脑连接性,提议与标准神经成像管道(SPM、FSL)一起扩展到神经 pragmatics 实验。在AI方面,三个2025年时代的项目整合了主动推理与LLMs:一个使用外部主动推理控制器管理LLM提示和互动的架构审查,一个名为Nature Digital Medicine系统的系统通过期望自由能选择提示以提高响应可靠性,以及一篇关于多LLM系统的arXiv预印本,其中层次控制器将任务分配给专门的LLM以最小化相对于用户目标的自由能量。研究与Friston相关的群体(例如,伦敦大学学院)和LISN实验室关联,后者主办了内向说话的文章。

未解之题

人类语言处理实际遵循主动推理原则的直接经验证据仍然有限:它的许多预测(在不确定性下寻求信息,根据偏好行动)在性质上与强化学习和其他框架共享,因此测试需要针对其独特特征,例如预期自由能的认知-实用分解。贝叶斯大脑批评特别警告不要将神经影像中的通用预测误差信号解读为语言回路中完整贝叶斯计算的证据。多尺度整合在实践中很大程度上未被解决——大多数模型只涵盖狭窄的范围(词义映射或语音运动控制),而不是跨越神经回路到语篇再到语言变化——临床转化(口吃、失用症、失语症、与精神病相关的内言障碍)只有一个初步的实例(口吃),其余仍是假设。对于基于LLM的系统,开放性问题包括如何形式化用户状态的可处理生成模型,如何定义捕获对齐和可靠性的预期自由能泛函,以及如何评估交互式代理,因为标准NLP基准无法捕获动态的主动推理驱动对话。

参考主干

Karl J. Friston (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience. DOI: 10.1038/nrn2787. Thomas Parr, Giovanni Pezzulo, Karl J. Friston (2022). Active Inference: The Free Energy Principle in Mind, Brain, and Behavior. MIT Press. Giovanni Pezzulo, Francesco Rigoli, Karl J. Friston (2015). Active Inference, homeostatic regulation and adaptive behavioural control. Progress in Neurobiology. DOI: 10.1016/j.pneurobio.2015.09.001. Maxwell J. D. Ramstead, Dalton A. R. Sakthivadivel, Conor Heins, Magnus Koudahl, Beren Millidge, Lancelot Da Costa, Brennan Klein, Karl J. Friston (2023). On Bayesian Mechanics: A Physics of and by Beliefs. arXiv.

关键表面

Active Inference和语言学概览

对话作为自由能量最小化

讲话者和听众通过四元马克劳林屏蔽划分(内部状态,外部状态,感觉状态,主动状态),每个选择或解释话语以最小化变分自由能来建模。

知识性 vs. 实用性陈述

预期自由能将对话步骤分解为知识价值(澄清问题以减少不确定性)和实用价值(实现目标的陈述或命令),这一区分现在也被用来选择LLM提示策略。

Evidence Still Thin

基础生成对话和语法合规性主张大多仍停留在理论层面,而贝叶斯脑批评警告说,语言处理预测错误本身并不能证明大脑实现了字面意义的贝叶斯主动推理。

相关资源

此页的公共链接