미스트랄 라지 4, 1조 파라미터 가중치 공개

미스트랄 AI(Mistral AI)⁠가 대표 모델 미스트랄 라지 4의 가중치를 허깅페이스에 공개했습니다. 10월 6일 API 미리 보기로 먼저 내놓으면서 이달 말에 가중치를 풀겠다고 한 약속을 지킨 것입니다. 파라미터가 1조 개인 멀티모달 모델이고 상업적으로도 쓸 수 있습니다.

1조 개 가운데 한 번에 쓰는 것은 520억 개

미스트랄 라지 4는 전문가 여러 개 가운데 일부만 골라 쓰는 혼합 전문가⁠(MoE) 구조입니다. 전체 파라미터는 약 1조 개이고 토큰 하나를 처리할 때 움직이는 파라미터는 약 520억 개입니다. 모델 카드에 따르면 문맥 창은 100만 토큰이고 160개가 넘는 언어를 학습했는데, 언어 목록에 한국어가 들어 있는지는 원문에 나오지 않습니다. 학습에는 유럽에 있는 미스트랄 자체 데이터센터의 엔비디아 그레이스 블랙웰 GPU 3,800개가 쓰였습니다.

가격과 쓰는 곳

API 값은 100만 토큰당 입력 0.70달러, 캐시된 입력 0.07달러, 출력 2.10달러로 정해졌습니다. 미스트랄 스튜디오와 미스트랄 API, 오픈라우터(OpenRouter)⁠에서 바로 쓸 수 있고 마이크로소프트 파운드리와 엔비디아 NIM 컨테이너로도 나왔습니다. 직접 돌리려면 허깅페이스에서 가중치를 받아 vLLM이나 SGLang으로 띄우면 되며, 모델 카드의 실행 예시는 GPU 8장을 기준으로 합니다.

미리 보기 때보다 오른 코딩 점수

미스트랄은 미리 보기 이후 추가 학습으로 점수가 올랐다고 밝혔습니다. 터미널벤치 4.0 점수는 미리 보기보다 13%포인트 오른 41%이고 아티피셜 애널리시스 코딩 에이전트 지수는 48%입니다(자체 발표 기준). 코딩 에이전트 지수에서는 공개 가중치 모델 1위인 GLM-⁠5.3과 비슷한 점수를 내면서 작업당 토큰을 평균 47% 덜 썼다고 합니다. 악의적인 사이버 공격 요청을 거절한 비율은 평균 96.6%로 나왔습니다.

서비스로 되파는 회사는 별도 계약

라이선스는 MIT 라이선스를 고친 미스트랄 생태계 오픈 웨이트 라이선스입니다. 쓰고 고치고 미세 조정해서 상업적으로 팔 수 있지만, 모델을 서비스 형태(Model-as-a-Service)⁠로 파는 회사는 미스트랄과 따로 상업 라이선스를 맺어야 합니다. 미스트랄이 예고한 기술 보고서는 아직 나오지 않았습니다.