서술보다 증거를 먼저
공개용 산출물은 아래의 인과적·통계적·provenance 계약을 보존할 때만 채택됩니다.
네 가지 강제 규칙
- 모든 시간순 sample에서
query_message_index < action_message_index여야 합니다. - 반복 목표는 in-batch negative가 아닌 multi-positive example입니다.
all_splits와train_split후보 pool을 함께 보고합니다.- 평균 향상이 heldout 손실, 후보 coverage, session-clustered uncertainty를 대체하지 않습니다.
산출물 분류
| 분류 | Git 추적 | 목적 |
|---|---|---|
| Compact JSON summary | 예 | 표준 지표, metadata, 감사 결과 |
| Provenance manifest | 예 | 데이터셋, model revision, config, seed 연결 |
| 논문 표와 그림 | 예 | 승인된 증거의 사람이 읽는 표현 |
| Row-level prediction | 아니오 | paired test용 대용량 로컬 증거 |
| Embedding cache와 dataset | 아니오 | 재생성 가능하거나 upstream 관리 자료 |
| PDF와 arXiv tarball | 아니오 | 생성된 출판 결과 |
주장 ledger
| 주장 | 상태 | 필수 한계 |
|---|---|---|
| 시간순 상태가 Hermes search-query 검색을 개선 | 지지됨 | 목표 유형과 후보 pool에 의존 |
| 결합 향상 전체가 메모리 효과 | 기각 | 명시적 target prior가 더 큰 부분 설명 |
| Support gating은 도구 이동에서 무손실 | 기각 | 차가운 heldout 도구 손실 가능 |
| URL 결과가 깨끗한 상태 증거 | 기각 | literal repetition이 과제를 지배 |
| 외부 open-vocabulary 검색 해결 | 지지 안 됨 | TAU train-only coverage 평균 11.92% |
문서 gate
scripts/docs_contract.py는 homepage, sidebar, README, 증거 문서, 결과 값과 핵심 산출물 경로의
일치를 검사합니다. scripts/docs_site_e2e.py는 사이트를 빌드하고 두 locale, sitemap, H1,
link, asset과 Mermaid rendering을 검사합니다. CI가 두 gate를 모두 실행합니다.