불편한 결과까지 함께 보기
주요 지표는 prefix-v2 search-query 과제의 MRR@10입니다. all은 transductive closed 후보
어휘를, train은 학습에서 관찰된 목표만 사용합니다.
| Trace 설정 | Pool | Coverage | Reset | Stateful adapter | Prior + residual | Support proxy |
|---|---|---|---|---|---|---|
| Kimi | all | 1.0000 | 0.3340 | 0.3789 | 0.4559 | 0.4132 |
| Kimi | train | 0.7683 | 0.2979 | 0.3300 | 0.4542 | 0.3775 |
| GLM-5.1 | all | 1.0000 | 0.3267 | 0.3655 | 0.5386 | 0.5522 |
| GLM-5.1 | train | 0.7917 | 0.2933 | 0.3241 | 0.5370 | 0.5273 |
네 행 모두 stateful adapter가 reset보다 좋습니다. 하지만 명시적 prior 항의 향상이 state-only 향상보다 크므로 전체 향상을 “메모리”라고 표현하지 않습니다.
Leakage 및 변환 감사
표준 변환은 next-argument sample 57,142개를 포함하며 시간 순서 위반은 0건입니다. 저장된 history 212,620개 모두 관찰된 도구 응답을 보존합니다. 이는 인과적 가용성을 입증하지만 의미적 일반화를 입증하지는 않습니다.
Tool-heldout matrix
BGE-M3 heldout sample 2,676개와 도구 9개에서:
- 유지 상태 대 reset: MRR@10
+0.0159, session-clusteredp=0.0001 - support proxy 대 유지 상태: 평균
-0.0032 - support gating에서 손실을 본 도구 3개
더 엄격한 train-only heldout에서는 coverage가 23.54%, 상태 향상이 +0.0055
(p=0.0031)이고 support delta +0.0020은 유의하지 않습니다(p=0.2904).
Support gating은 분포 내 평균을 개선하면서도 차가운 heldout 도구를 악화시킬 수 있습니다. 평균 MRR뿐 아니라 최악 도구 손실과 신뢰도 검정을 함께 보고해야 합니다.
URL negative control
Kimi URL 과제에서는 유지 상태가 reset보다 나쁩니다. URL 인자는 literal repetition과 normalization의 영향을 크게 받으므로 깨끗한 상태 메모리 증거가 아닌 negative control입니다.
외부 TAU 경계
세 session-split seed는 시간적 유효성과 응답 결합을 유지하지만 train-only 목표 coverage 평균은 **11.92%**입니다. 후보에 없는 목표는 ranking으로 검색할 수 없으므로 candidate generation이 외부 일반화의 병목입니다.
Rewrite 모델 갱신
MiniMax-M3와 GLM-5.2 rewrite는 query-rewrite baseline으로 평가되며 state adapter 주장과 분리됩니다. Metadata와 paired comparison은 rewrite matrix 산출물에 기록됩니다.
기계 판독 가능한 출처
결과를 인용하기 전에 증거 계약을 확인하세요.