このページは機械翻訳によって英語から日本語に翻訳されました。 英語のオリジナルをご覧ください。

計算言語学者、認知および臨床言語科学者、Active Inference Instituteのメンバーがダイレクターモデリング、心理言語学、またはactive-inferenceに基づくLLM代理人を研究している。

アクティベート・インフェリエンスと言語学

言語は推論である:話し手と聞き手が対話、文法、発声制御、LLMとの相互作用を通じて自由エネルギーを最小化する。

次の最適な行動

Active Inferenceと言語学道 Pathway

このページの最もシグナルの強い公開リンクから始め、関連リソースとディレクトリのビューに進みます。

言語使用は、活性インフェリエンスが適用されたどの領域よりも、感知、行動、そして不確実性の解決を結びつけています:話者と聞き手は会話全体で生成モデルを更新し、予測誤差を減らすために行動します。この報告書は、合成的な対話を基礎とする最初の生成モデルから、発声制御、口吃、内省、文法、そして大規模言語モデルアーキテクチャへの拡張までを追跡し、予測コーディングとベイジアン脳批判が促進する経験的警戒心も表面化します。その後続は、活性インフェリエンスが実際の言語現象を説明する場所と、まだ証拠が必要な規範的な架構である場所を研究者が評価することです。

なぜそのドメインが合っている

Active inferenceは、維持する自己の整合性を持つシステムが、その環境の生成モデルに基づいてvariational free energyを最小限に抑えることを保証し、言語的なコミュニケーションはこれを直接的に表現します:発話者は受信者の信念を変更する期待される発話を選択し、受信者は会話から隠れた意思と意味を推測することで、両方のプロセスはfree-energy最小化にフレームされます。この形式主義の4つのステート(内部、外部、感覚、アクティブ)の分割は、Markov blanketを通じて、代理店の信念をコミュニケーション状況から分離し、聴取された会話は感覚的なステートであり、発声はアクティブなステートです。言語の固有な階層性 - 音素が syllableに、単語が phraseに、phraseが discourseに進化する - また、active inferenceの階層的な生成モデルと一致し、上位レベルでは遅い抽象的要因(意思、トピック)を記述し、下位レベルでは速い感覚詳細(音声実現)を記述します。

文献の状態

foundationalcontributionは2020年のgenerativemodels、linguisticcommunication、activeinference(Fristonと同僚)のworkですこれは合成代理店間で隠れた意味状態を推測し、選択した発言が期待される自由エネルギーを最小限に抑えることで、エマージングの共有語彙的慣習を作り出すシミュレーションです。この文脈は互いの理解をフレームする伴侶の解釈論(PaulusとFriston)によって補完され、発声制御とactiveinferenceによるスタタリング(不連続性が自由エネルギーを跨いでモーターと言語レベルでうまく最小限に抑えられないこと)のaccount、自然言語文法自体が自由エネルギー原理に従うpreprint、内なる言語が感覚的な状態から簡潔な言葉のラベルへ翻訳するessay、そして心理学フロンティアへのactiveinferenceを神経神話学に導入する呼びかけが文脈を形成します。この全体には予測コーディングとベイジアン脳理論との未解決の張力が通底しており、2023年の批判はニューロンシステムが特徴の発見優先を優先することを主張し、別の批判レビューは脳が実際にはベイジアン計算を実装していないことを主張しています。

キーコンピュージョンとツール

コンクリート的な実装はまだ大半が研究原型であり、公開された名前の公共のツールではありません:擬似言語の代理人は確率的グラフモデルや状態空間モデルとして作られ、メッセージ転送または勾配降下型の推論(MATLABやPythonなど)を使用し、音声運動制御モデルはarticulatory状態間のダイナミックベイジアンネットワークを想定しています。動的因果モデリング(DCM)、現在アドホック言語インフェーザーコミュニティで使用されているためにまだ一般的ではありませんが、神経プラグマティクス実験と標準的な神経イメージングパイプライン(SPM、FSL)と共に拡張される予定です。AI側では2025年のプロジェクトの3つが異なるアプローチで動的因果モデリングを活性言語モデルに統合しています:外側の活性言語管理コントローラを使用するレビュー構造のアーキテクチャ、レスポンス信頼性を改善するために期待自由エネルギーに基づいてプロンプトを選択する自然デジタル医療システム、そして多LLMシステムにおける階層的なコントローラが専門的なLLM間でタスクを割り当てるアーキテクチャの論文(arXivプレプリント)。研究はFristonに属するグループ(例:University College London)とLISNラボ、その内発的言語エッセイがホストされている場所と関連付けられています。

未解決の問題

人間の言語処理が実証的な経験的証拠に基づいて、アクティブインフェアランス原理に従っているという証拠は限られている:そのいくつかの予測(不確実性下での情報探求、好みに基づく行動)は、 reinforcement learning などの他のフレームワークと質的に共有されるためです。テストは、知識的・ pragmatik 的なエクスペクトフリーゲインの分解という特徴的な要素に焦点を当てなければなりません。バイオインテンス脳批判は特に、ニューロイメージングで一般的な予測誤り信号を読み取ることで、言語回路での完全なバイオインテンス計算の証拠を見出すことを警戒しています。実践では多スケール統合がほとんど取り上げられていない——多くのモデルは単一のバンド(単語-意味マッピングや口頭発話制御)に限定され、言語変化を横断するニューロ回路全体をカバーしない——そして臨床的応用では(囁き、アプラキシア、アファシーや psychosis に関連する内訳の中断など)、その他の例はまだ仮説的なものに留まっています。LLM をベースとしたシステムの場合、開かれた質問には、ユーザー状態の生成モデルを形式化する方法、期待されたエクスペクトフリーゲイン関数を定義する方法、およびインタラクティブな代理人を評価するための標準的な NLP ベンチマークが捕捉できない動的アクティビティ駆動的な対話に対する評価方法などが含まれます。

リファレンス・バックボーン

Karl J. Friston (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience. DOI: 10.1038/nrn2787. Thomas Parr, Giovanni Pezzulo, Karl J. Friston (2022). Active Inference: The Free Energy Principle in Mind, Brain, and Behavior. MIT Press. Giovanni Pezzulo, Francesco Rigoli, Karl J. Friston (2017). Active Inference, homeostatic regulation and adaptive behavioural control. Progress in Neurobiology. DOI: 10.1016/j.pneurobio.2017.08.001. Maxwell J. D. Ramstead, Karl J. Friston, Axel Constant, Lancelot Da Costa, Casper Hesp, Beren Millidge, Alexander Tschantz (2023). On Bayesian Mechanics: A Physics of and by Beliefs. arXiv.

キーの表面

Active Inferenceと言語学を一目で

対話は自由エネルギー最 minimalization

スピーカーとリスナーは、内部、外部、感覚状態、アクティブな状態を四つのマルコフブランケット分割でモデル化され、それぞれの発言を選択または解釈するためのvariational自由エネルギーを最小限に抑える。

{epistemikai-vs-pragmatikai-utters}

期待できる自由エネルギーは会話の動きをエピステミック価値(不確実性を減らす clarifying question などによる質問)と pragmatische 価値(目標を達成する声明や命令)に分解し、これに基づいてLLM のプロンプティング戦略を選択するという新しい区分けも使用されるようになりました。

証拠はまだ薄い

基礎的な生成対話と文法 conformityの主張は大半が理論的であり、ベイジアン脳批判は言語処理の予測誤りが単独では脳がliteralベイジアンアクティブインフェアランスを実装していることを証明しないこと」を警告する。

関連リソース

このページの公開リンク

外部リンクは共有レジストリから解決されるため、訪問者向け目的地は中央集権的かつ確認可能な状態が保たれます。