글을 쓰지 않는 판정 모델이 벤치마크 137개 리더보드에서 1위에 올랐습니다

결론부터

Darwin-27B-ZTC-v9가 S1MB 영어판 리더보드 1위입니다. 2026년 10월 20일 라이브 기준입니다.

순위	모델	보르다
1	Darwin-27B-ZTC-v9	90.38
2	kettei-fat v1.0	90.14
3	Superion S1	89.53
4	D3 (27B)	89.28
5	Darwin-27B-ZTC-v5	88.44

모델 197개, 벤치마크 137개입니다. 가중치는 Apache-2.0으로 공개돼 있습니다.

다만 "리더보드 1위"라는 말은 집계 방식을 붙이지 않으면 거의 의미가 없습니다. 그래서 아래에 무엇을 잰 숫자인지 적습니다.

보르다 집계가 재는 것

대부분의 리더보드는 과제별 점수를 평균합니다. S1MB는 다릅니다. 137개 벤치마크의 순위를 각각 매긴 뒤 그 순위를 합산합니다. 이것이 보르다 방식입니다.

차이가 큽니다. 평균을 쓰면, 점수가 0.1에서 0.9까지 넓게 퍼지는 벤치마크가 0.80에서 0.84에 몰려 있는 벤치마크보다 훨씬 큰 영향을 줍니다. 누가 그렇게 정한 것이 아니라 지표의 눈금이 그렇게 생겨서 그렇습니다. 그래서 대부분 평범하고 퍼짐이 큰 과제 서너 개만 잘하는 모델이 평균 상위에 오를 수 있습니다.

보르다에서는 모든 벤치마크가 같은 것을 기여합니다. 참가자 중 몇 등인가입니다. 0.3 차이로 이기든 0.001 차이로 이기든 같은 1등입니다. 1위가 되려면 137개 판에서 동시에 고루 잘해야 합니다.

대신 보르다가 버리는 것이 있습니다. 차이의 크기입니다. 상위권이 모든 과제에서 간발의 차이여도 순위표는 확신에 찬 모습으로 나옵니다.

그래서 두 칸을 같이 보십시오. S1MB는 보르다 옆에 과제 평균도 공개합니다. 현재 영어판에서 이 모델은 과제 평균 기준으로는 72.20으로 2위이고, 과제 평균 1위는 보르다 3위 모델입니다. 어느 쪽도 틀리지 않았습니다. 서로 다른 질문에 답하는 칸입니다.

이 모델은 글을 쓰지 않습니다

ZTC는 zero token choice의 줄임말입니다. 상황과 유형이 정해진 질문을 받으면, 순전파 한 번에 보기별 확률을 돌려줍니다. 텍스트 생성은 없습니다.

유형	돌려주는 것	예
noul	명제가 참일 확률	이 문의는 오늘 답해야 하는가
choice	보기별 확률	어느 팀이 맡아야 하는가
score	단계별 확률	이 후기의 만족도는 1에서 5 중 어디인가

파싱할 출력이 없습니다. 천 번째 호출에서 형식이 흐트러질 일도 없습니다. 추론 토큰을 기다릴 필요도 없습니다.

정확도보다 보정이 중요합니다

여기가 실무에서 가장 과소평가되는 부분입니다. 정확도만으로는 관문을 만들 수 없습니다.

관문에는 문턱이 필요하고, 문턱에는 말한 대로의 확률이 필요합니다. 0.9라고 할 때 열 번 중 아홉 번 맞는다면, 0.9 위는 자동 승인하고 나머지는 사람에게 넘기는 규칙을 세울 수 있고 배포 전에 오류율을 예측할 수 있습니다. 평균 정확도는 높은데 0.9가 실제로는 0.6에서 0.99 사이를 뜻한다면, 안전한 문턱이 없습니다.

그래서 판정 벤치마크는 보정을 직접 점수로 잽니다. 예·아니오는 브라이어 점수, 보기 선택은 정답 보기에 실린 확률, 척도는 기댓값 오차입니다. 정확도 표에서 1등이어도 관문으로는 쓸 수 없는 모델이 있습니다.

공개된 기준선 대비 일부 과제 결과입니다.

과제	기준선	v9
boardgameqa-choice	0.500	0.953
snli-choice	0.790	0.968
gretel-pii-choice (개체 유형)	0.653	0.981
argument-quality-choice	0.857	0.959
ud-ewt-choice (품사)	0.433	0.833

점검이 싸지면 설계가 바뀝니다

에이전트의 토큰이 어디로 가는지 세어 보십시오. 상당 부분이 에이전트가 스스로에게 묻는 작은 질문입니다. 이 도구 호출은 안전한가. 이 문단이 질문에 답하는가. 직전 단계는 성공했는가. 사람에게 넘겨야 하는가.

전부 예·아니오, 하나 고르기, 점수 매기기입니다. 그런데 지금은 하나하나가 완전한 생성 비용을 치릅니다. 분당 천 번이면 점검이 일보다 비쌉니다. 그래서 팀들이 조용히 점검을 뺍니다. 필요 없다고 판단해서가 아니라 감당이 안 돼서입니다.

점검이 순전파 한 번이면 계산이 뒤집힙니다. 모든 도구 호출에 관문을 걸고, 검색된 모든 문단에 점수를 매기고, 모든 단계의 성공을 확인하고, 결정마다 확신도를 남길 수 있습니다. 상신 규칙이 감이 아니라 문턱이 됩니다.

띄우는 법

hf download FINAL-Bench/Darwin-27B-ZTC-v9 systemone_config.json --local-dir .
transformers serve FINAL-Bench/Darwin-27B-ZTC-v9 --decision-config systemone_config.json

허깅페이스 transformers serve의 공개 /v1/systemone 종단점에서 돕니다. 그 규격으로 짠 클라이언트는 고치지 않고 그대로 붙습니다.

이 주장을 확인하는 법

리더보드를 직접 열어 칸과 날짜를 보십시오. 라이브이고 197개 항목이 움직입니다.
공개 리더보드는 대부분 자가 보고와 검증 항목이 섞여 있습니다. S1MB도 그 점을 안내합니다.
가장 확실한 방법은 자기 데이터로 재보는 것입니다. 실제 쓰려는 문턱에서 확률이 버티는지 보면 됩니다. 가중치가 공개돼 있으니 결재가 아니라 하루 실험으로 끝납니다.