cs.CL, cs.LG · 발표 2026-06-11임팩트
연산자 일관성: LLM의 조합적 추론 실패를 위한 레이블 없는 신호
Nathaniel Bottman, Yinhong Liu, Kyle Richardson
Allen Institute for Artificial Intelligence
인용 1영향력 인용 1
- LLM의 추론 실패를 감지하는 기존 방법들은 질문 내 샘플링과 자체 평가에 기반합니다.
- 이 연구는 연산자 이론(operad theory)을 활용하여, LLM의 직접 답변과 분해된 질문의 조합 답변이 일치해야 한다는 '연산자 일관성(OC)'을 제안합니다.
- 4개의 다단계 질의응답(QA) 데이터셋에서 12개 LLM(4B~671B)을 대상으로 OC를 평가했습니다.
- OC는 모든 데이터셋에서 정확도와 강한 상관관계(Pearson $r \in [0.86, 0.94]$)를 보였으며, CoT-SC보다 더 일관적입니다.
- OC는 CoT-SC와 의미론적 엔트로피를 넘어 추가적인 정보를 제공하며, 선택적 예측 성능을 향상시킵니다.
TLDR (Semantic Scholar): At the per-question level, OC contributes information beyond CoT-SC and semantic entropy on every dataset (cluster-robust $p \leq 10^{-16}$ for the OC coefficient), and the conclusion is robust to additionally controlling for constructed decomposition-aware baselines.
#LLM#추론 실패 감지#연산자 이론#조합적 추론
cs.CL · 발표 2026-06-11최신
EvoArena: 동적 환경에서 견고한 LLM 에이전트를 위한 메모리 진화 추적
Jundong Xu, Qingchuan Li, Jiaying Wu, Yihuai Lan, Shuyue Stella Li, Huichi Zhou, Bowen Jiang, Lei Wang 외 6명
HF upvotes 113
- 기존 LLM 에이전트 평가는 정적 환경을 가정하지만, 실제 환경은 동적 변화에 적응해야 합니다.
- 이 간극을 해결하기 위해, 동적 환경 변화를 모델링하는 벤치마크 스위트 EvoArena를 제안합니다.
- 또한, 메모리 진화를 구조화된 업데이트 이력으로 기록하는 패치 기반 메모리 패러다임 EvoMem을 제안합니다.
- EvoArena에서 현재 에이전트의 평균 정확도는 39.6%로 저조하며, EvoMem은 성능을 평균 1.5% 향상시킵니다.
- EvoMem은 메모리 내 증거 포착을 개선하여 신뢰할 수 있는 에이전트 배포에 기여합니다.
TLDR (Semantic Scholar): EvoArena is introduced, a benchmark suite that models environment changes as sequences of progressive updates across terminal, software, and social domains, and EvoMem is proposed, a patch-based memory paradigm that records memory evolution as structured update histories, enabling agents to reason about environmental evolution through changes in their memory.
#LLM 에이전트#동적 환경#메모리 진화#벤치마크