이 페이지는 기계 번역된 영어 페이지입니다. 영어 원본 보기
컴퓨터언어학자, 인지 및 임상 언어 scientist들 그리고 Active Inference Institute의 연구원들이 대화 모델링, 심리언어학 또는 기반이 되는 LLM-agents에 대해 작업 중입니다.
언어는 추론으로: 대화, 문법, 말발성 제어, 그리고 LLM 상호작용에서 발전 가능한 에너지 최소화를 통해 말자와 듣기자가 최적화합니다.
이 페이지에서
언어 사용은 항상 활동적 인ference가 적용된 어떤 분야보다 감각, 행동 및 불확실성 해결을 강하게 결합합니다: 말자와 듣는 사람은 대화 전체에서 생성 모델을 지속적으로 업데이트하고 예측 오류를 줄이기 위해 행동합니다. 이 보고서는 기초적인 생성 모델로 시작하여 사운드 마스터링 제어, 퍼스트런지, 내부 언어, 문법 그리고 대형 언어 모델 아키텍처까지 확장된 문헌을 따라가며 예측-코드와 백베이esian 뇌의 비판을 표시합니다. 이어서는 연구자가 활동적 인ference가 실제로 언어 현상에 대해 설명하는 곳과 그대로 유지되는 규범적인 기반 구조를 검토하도록 합리화합니다.
적응적 인ference는 시스템이 환경의 생성 모델에 따라 자기 보존을 유지하는 모든 시스템을 최소화하는 변동 자유 에너지로 유지하며, 이것은 직접적으로 언어적 의사소통이 나타나고: 발언자는 듣기者的 신념을 변경할 것으로 예상되는 말을 선택하고, 듣는 사람은 말을 해석하여 숨겨진 의도와 의미를 추론하는 두 과정은 모두 자유 에너지 최소화로 맥락화됩니다. 이 형식의 내부, 외부, 감각 및 활동 상태를 마르코프 백그라운드를 통해 네 가지로 나누는 것은 동물의 신념을 시청자 상황에서 분리시키며, 들린 말은 감각 상태이고 발음은 활동 상태입니다. 언어의 내재적 레벨 — 음소로부터 소리를 이루고, 단어로부터 구문으로, 구문으로부터 대화로 — 또한 동적 인ference의 겹쳐진 생성 모델과 일치하며, 상위 레벨은 느린 추상적인 원인 (의도, 주제)을 인코딩하고 하위 레벨은 빠른 감각 상세 정보 (청각 실현)를 인코딩합니다.
foundational_contribution는 2020년 generative_models, 언어적_communication 및 active_inference (Friston과 동료들)의 작업으로, 시뮬레이션된 애니메이션_agent 간의 대화가 서로 숨겨진 의미 상태를 추론하고, 상대방에게 선택한 발언을 통해 에너지 최소화를 위한 예상 자유 에너지를 최소화하도록 선택하는 방식으로 진행된다. 이는 잉여 공통의 언어적 규칙을 생성하게 만든다. 동반적인 해석학적 설명 (Paulus와 Friston)은_communication이 서로의 미래 발음을 예측하고 상대방에게 영향을 미치는 행동에 대한 해석으로서, 이는 행동이 예상되는 에너지 최소화를 통해 이루어진다. 이 문헌은 말 운동 제어 및 active_inference 기반 슬롯발성 장애 (불안정한 발음은 언어와 운동 수준에서의 자유 에너지를 효율적으로 최소화하는 실패)에 대한 논문, 자연 언어 구조가 자유 에너지 원칙을 준수한다는 제안된 preprint, 내면적 말이 감사스러운 미세한 인식 상태와 간결한 말 표시 사이의 번역자로 재해석된 이 essay, 그리고 Frontiers in Psychology에서 active_inference를 신경 문화학으로 가져오는 촉구에 걸쳐 있다. 모든 이 문헌은 예측-코딩 및 Bayesian 뇌 이론과의 불명확한 충돌을 가지고 있다: 2023 논평이 신경 시스템이 특징 발견보다 완전한 예측을 우선하는 것을 비판하고, 다른 제안은 뇌가 실제로 자유 에너지 원칙을 실질적으로 구현하지 않는다는 것을 비판한다.
콘크리트 인프라스트럭처는 여전히 주로 연구 prototypes 일 뿐이 아니라 명명된 공개 도구가 아닙니다 동의어 언어적 AGENT은 확률 그래프 모델이나 상태공간 모델을 통해 생성되며 메시지 전달 또는 경사 하강 추론 (통상적으로 MATLAB 또는 Python)이며 음성 발음 동기화 모델은 articulatory 상태를 대상으로 하는 동적 베이지안 네트워크로 상상됩니다 동력적인 심리학 모델링 (DCM)은 이미 활동 인ference 커뮤니티에서 뇌 연결성을 모델링하는 데 사용되었으며 표준 뉴럴 이미징 프로세서 (SPM, FSL)와 함께 신경프라그마틱 실험에 확장될 수 있습니다 AI 측면에서는 2025년대의 세 가지 구체적인 프로젝트가 활동 인ference를 LLMs과 통합합니다: 외부 활동 인ference 컨트롤러를 사용하는 리뷰 아키텍처를 포함하여, 자연 디지털 의료 시스템은 에너지 무게 최소화를 통해 응답 신뢰성을 향상시키기 위해 프롬프트를 선택합니다 그리고 arXiv 예고편에서 다중 LLM 시스템을 사용하는 하위 컨트롤러가 유저 목표에 대한 자유 에너지를 최소화하도록 할당하는 다중 LLM 시스템의 연구는 주로 Friston과 관련된 그룹 (예를 들어, University College London) 및 LISN 레지에서 loosely 연결되어 있습니다 inner-speech 논문을 개최합니다
인간 언어 처리가 실제 활동적 인ferences 원칙에 따라 직접적인 경험적 증거가 제한적이라는 것이 밝혀졌습니다: 그들의 예측(불확실성 아래 정보를 찾는 것, 선호도에 대한 행동을 수행하는 것)은 재생률 학습과 다른 프레임워크와 비교했을 때 질적으로 공유되지만, 테스트는 독특한 특징인 즉시적-의미적-사용자 에너지 자유 함수 분해를 타겟해야 합니다. Bayesian-brain 비판은 특히 신경영상에서 일반적인 예측 오류 신호를 읽어내고 언어 회로에 완전한 Bayesian 계산을 증명하는 것은 위험하다는 경고를 제공합니다. 다수의 모델이 단일 범위(단어-의미 맵핑 또는 발음 기능 제어)를 커버하고, 대신 신경 네트워크 사이클을 통해 언어 변화까지 포괄하는 것은 거의 해결되지 않았으며, 임상적 적용은 아직 추측적인 상태에 머물러 있습니다(스투팅, 발달장애, 언어 관련 내부 말의 손실 등). LLM 기반 시스템에서는 사용자 상태를 형식화할 수 있는 틀린 생성 모델을 어떻게 정의하고, 에너지 자유 함수를 어떻게 정의해야 하는지, 그리고 인터랙티브-agents를 평가하는 방법이 무엇인지에 대한 오픈 질문들이 있습니다. 표준 NLP 시험 셸은 동적 활동적 인ferences를 주도하는 대화를 포착하지 않습니다.
Karl J. Friston (2010). 자유에너지 원칙: 하나의 뇌 이론? Nature Reviews Neuroscience. DOI: 10.1038/nrn2787. Thomas Parr, Giovanni Pezzulo, Karl J. Friston (2022). 활동적 인퍼전: 신경과학, 뇌 및 행동에서의 자유에너지 원칙 이론. MIT Press. Giovanni Pezzulo, Francesco Rigoli, Karl J. Friston (2017). 활동적 인퍼전, 자기 조절과 적응형 행동 제어. Progress in Neurobiology. DOI: 10.1016/j.pneurobio.2017.08.001. Maxwell J. D. Ramstead, Karl J. Friston, Axel Constant, Lancelot Da Costa, Casper Hesp, Beren Millidge, Alexander Tschantz (2023). Bayesian Mechanics: 신념의 물리학. arXiv.
주요 표면
スピーカーとリスナーは、内部、外部、感覚状態、アクティブな状態を四つのマルコフブランケット分割でモデル化され、それぞれの発言を選択または解釈するためのvariational free energyを最小限に抑えるように選択または解釈します。
예상된 자유能動性分解會話行動為知識價值(減輕不確定性的澄清問題) 和實用價值(達成目標的陳述或命令) 分解，現在也用來選擇 LLM 提問策略。
기초적인 생성적 대화와 문법 준수 주장은 여전히 크게 이론적이며, 베이지안 뇌 비판은 언어 처리 예측 오류가 직접적으로 뇌가 실질적인 베이지안 활동 인퍼런스를 구현하지 않는다는 것을 증명하는 것은 아닙니다. 베이지안 뇌 비판
관련 자료
Audience: Researcher
Research and publication-oriented repository for the Active Inference Journal.
Audience: Researcher
Synthesis paper on active inference over discrete state-spaces (Da Costa et al., 2020); a standard reference for the discrete formulation.