키미 K3.1 프로, 터미널 코딩서 클로드 오퍼스 5.5 턱밑까지

중국 AI 스타트업 문샷AI(Moonshot AI)가 10월 24일 새 플래그십 모델 '키미 K3.1 프로(Kimi K3.1 Pro)'를 공개했다. 회사가 밝힌 터미널 코딩 점수는 앤트로픽 클로드 오퍼스 5.5보다 0.7%포인트 낮다. 전체 가중치를 11월 4일까지 풀겠다고 해, 최상위 상용 모델에 바짝 붙은 오픈 웨이트 모델이 하나 더 나올 전망이다.

무슨 일인가

문샷AI는 키미 공식 블로그에서 K3.1 프로를 '3T급' 모델이라고만 소개했다. 정확한 매개변수 수는 밝히지 않았다. 컨텍스트 윈도우는 100만 토큰이다. 함께 나온 'K3.1 프로 하이스피드'는 K3.1 프로보다 2~3배 빠르다는 것이 회사 설명이다. 키미 웹과 모바일 앱에서 바로 쓸 수 있고, 코딩 도구 키미 코드에서는 /model 명령으로 고른다. API 모델명은 kimi-k3.1-pro와 kimi-k3.1-pro-highspeed다. 기업용 요금제에서는 관리자가 직접 켜야 한다.

세부 내용

회사가 앞세운 숫자는 코딩이다. 터미널 작업 능력을 재는 터미널-벤치 4.0에서 K3.1 프로는 65.7%를 기록했다. 같은 표에서 클로드 오퍼스 5.5는 66.4%, GPT-6 아스트라는 58.2%였다. 여러 단계를 오래 이어 가야 하는 내부 평가 '키미 코드 벤치 3.0 롱호라이즌'에서는 61.2%로 K3의 55.95%보다 올랐다. 블로그는 장기 과제 사례로 사람 보행 시뮬레이터를 들었다. 167개 미션을 거치며 몇 초 만에 쓰러지던 가상 인간을 11.2초 동안 계속 걷게 만들었고, 그 과정에서 어깨 근육 계산 오류 36개를 스스로 찾아 고쳤다는 설명이다. 도구를 쓰는 조건의 주장 단위 환각률은 K3의 23.4%에서 8.3%로 낮아졌다고 했다.

코딩 밖의 성적

회사는 사무·금융 업무 점수도 함께 내놨다. 문서 기반 질의응답 평가 OfficeQA 프로 v2에서는 64.4점으로 최고 수준이라고 했다. 내부 금융 평가에서는 재무 모델링이 50.4에서 57.6으로, 금융 리서치가 58.8에서 70.4로, 사업 운영이 8.9에서 37로 올랐다(K3 대비, 자체 발표 기준). 반면 CAD 설계 과제 벤치캐드(도구 사용)에서는 92.7%로 오퍼스 5.5(96.2%)와 GPT-6 아스트라(95.9%)에 뒤졌다. 모든 영역에서 앞선다는 주장은 아닌 셈이다. 데스크톱 앱 키미 워크는 3.1.0 버전부터 이 모델을 지원하고, API 고객에게는 데이터 무보존(ZDR) 옵션을 준다.

왜 중요한가

오픈 웨이트 모델과 최상위 상용 모델의 코딩 격차가 1%포인트 안쪽까지 좁혀졌다는 주장이다. 사실이라면 기업은 비슷한 수준의 코딩 에이전트를 자기 서버에서 돌릴 선택지를 갖게 된다. 다만 숫자는 모두 문샷AI가 정한 실행 환경에서 나왔다. 블로그도 터미널-벤치 등 일부 평가를 특정 하네스와 설정으로 측정했다고 적었다. 독립 평가가 나오기 전까지는 '근접했다'는 회사 주장으로 읽는 편이 맞다.

남은 쟁점

가장 큰 변수는 가중치 공개다. 지금 쓸 수 있는 것은 API와 앱뿐이고, 오픈 웨이트는 11월 4일까지 내놓겠다는 약속 단계다. 사이버 보안 평가도 눈여겨볼 대목이다. 회사는 위험 완화 조치 전 체크포인트가 내부 해킹 과제의 90.5%를 풀었고, 최종 모델은 81.0%로 낮췄다고 밝혔다. 가중치가 풀린 뒤 이런 안전장치가 어떻게 유지될지는 열린 질문이다. API 요금은 컨텍스트 길이에 따른 차등 없는 종량제라고 문서에 적혀 있다.