0.7%포인트의 의미, 오픈 웨이트가 상용 모델 턱밑에 왔다
문샷AI는 키미 K3.1 프로가 터미널 코딩 시험에서 클로드 오퍼스 5.5와 0.7%포인트 차이가 난다고 밝혔습니다. 자체 발표이긴 하지만 가중치까지 공개하겠다고 약속한 만큼 가볍게 볼 일은 아닙니다. 내년에는 기업이 코딩 에이전트를 고를 때 '어떤 API를 쓸까'뿐 아니라 '직접 돌릴까'까지 따지게 될 것입니다.
키미 K3.1 프로는 터미널-벤치 4.0에서 65.7%를 받았고, 같은 표에서 오퍼스 5.5는 66.4%였습니다. 문샷AI가 정한 환경에서 잰 숫자입니다. 회사는 11월 4일까지 전체 가중치를 내놓겠다고 했습니다. 같은 주 세레브라스(Cerebras)는 키미 K3 같은 조 단위 모델을 웨이퍼 59장에 층별로 나눠 싣는 방식을 블로그에 소개했습니다. 이렇게 큰 오픈 웨이트 모델의 '빠르게 돌리는 법'까지 공개되고 있습니다.
왜 이렇게 보나
상용 모델의 우위는 성능 그 자체보다 '성능 차이가 느껴지는가'에 달려 있습니다. 1%포인트 안쪽의 차이는 대부분의 사내 코딩 작업에서 체감되지 않습니다. 대신 데이터를 밖으로 보내지 않아도 되고 비용도 요금이 아닌 서버 비용으로 계산된다는 점이 크게 느껴집니다. 가중치가 실제로 풀리고 이를 빠르게 서빙하는 인프라가 붙으면, 보안 규정이 까다로운 기업부터 움직일 것입니다.
- 2027년 3월까지, 독립 평가 기관이 잰 공개 코딩 벤치마크에서 오픈 웨이트 모델이 그 시점 최상위 상용 모델과 2%포인트 이내로 붙는 결과가 나옵니다.
- 국내 대기업·금융권 가운데 코딩 에이전트를 오픈 웨이트 모델로 사내 구축했다고 공개하는 곳이 생깁니다.
- 상용 모델 회사들은 점수보다 보안·도구 연동·책임 범위를 앞세워 차별화합니다.
틀릴 수 있는 지점
두 가지가 이 예측을 흔듭니다. 하나, 가중치 공개 일정이 미뤄지거나 공개 범위가 좁아질 수 있습니다. 둘, 독립 평가에서 자체 발표보다 격차가 크게 벌어질 수 있습니다. 문샷도 일부 설계 과제에서는 오퍼스 5.5에 뒤진다는 표를 함께 냈습니다.
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 짧은 글과 토론은 쓰레드에 올립니다. 새 소식은 그쪽에 가장 먼저 올라옵니다.
