벤치마크Benchmark
모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
벤치마크 관련 기사 9건
METR, 앤트로픽 개발 속도 2배 추정
METR이 11월 5일(미국 시각) 앤트로픽의 AI 연구개발 속도를 독립적으로 평가한 보고서를 냈습니다. 2026년 10월 기준 AI 능력 향상 속도가 이전보다 약 2배 빠르다고 보지만 핵심 증거 대부분은 앤트로픽이 가렸습니다.
미스트랄 라지 4, 1조 파라미터 가중치 공개
미스트랄 라지 4(Mistral Large 4)의 가중치가 허깅페이스에 올라왔습니다. 10월 6일 미리 보기로 나온 1조 파라미터 멀티모달 모델을 이제 직접 내려받아 자기 서버에서 돌리거나 API로 쓸 수 있습니다.
제미나이 4 카본, 사이버 방어 담당자에게 먼저
구글이 10월 28일 새 최상위 모델 제미나이 4 카본(Gemini 4 Carbon)을 발표했습니다. 취약점을 찾고 고치는 보안 평가에서 높은 점수를 냈고, 이번 주에는 일부 사이버 방어 담당자에게만 먼저 열립니다.
리퀴드 AI LFM3, 약 1GB 오픈 모델 6종
리퀴드 AI가 10월 27일 소형 모델 묶음 LFM3를 공개했습니다. 17억~22억 파라미터 모델 6종이 텍스트와 이미지, 음성을 나눠 맡고, 텍스트 모델은 4비트로 줄이면 약 1GB에 들어가 기기 안에서 돌리는 쓰임새를 겨냥했습니다.
구글, LLM에 ‘수면 단계’ 넣어 망각 줄인다
구글 리서치가 10월 27일 언어 모델이 배포된 뒤에도 새 사실을 익히면서 예전 지식을 덜 잊게 하는 ‘수면’ 방식을 소개했습니다. 깨어 있을 때 받은 정보를 잠자는 동안 모델 파라미터로 옮기고 스스로 만든 연습 데이터로 복습합니다.
GPT-6.1 테라, API 값 절반·속도 3배
오픈AI가 중간 등급 모델 GPT-6.1 테라를 내놨습니다. API 값은 직전 GPT-5.6 테라나 상위 모델 GPT-6.1 솔의 절반이고 작업 속도는 세 배 넘게 빠르다고 밝혔습니다. 다만 가장 어려운 코딩에는 여전히 상위 모델을 쓰라고 권했습니다.
키미 K3.1 프로, 클로드 오퍼스 5.5 턱밑까지
중국 문샷AI가 새 플래그십 모델 키미 K3.1 프로를 공개했습니다. 터미널 코딩 벤치마크에서 클로드 오퍼스 5.5와의 차이는 0.7%포인트이고(자체 발표 기준) 장기 코딩 과제 점수도 전작보다 올랐습니다. 전체 가중치는 11월 4일까지 내놓겠다고 밝혔습니다.
오픈AI, 코볼 이식 정확도 5%→87%
오픈AI가 코볼·포트란처럼 공개 코드가 적은 프로그래밍 언어에서 새 모델의 코딩 성적이 크게 올랐다고 밝혔습니다. 20개 언어로 SQLite 호환 DB 엔진을 만드는 평가에서 GPT-6 아스트라의 평균 통과율은 87.4%로, GPT-5.6 솔(26.8%)의 3배가 넘었습니다(자체 발표 기준).
클로드 하이쿠 5.5, 값은 4.5의 10분의 1
앤트로픽이 10월 7일 내놓은 클로드 하이쿠 5.5는 10만 토큰 이하 프롬프트에서 입력·출력 단가가 하이쿠 4.5의 10분의 1입니다. 성능도 올라 터미널 코딩 점수가 0%에서 39.2%로 높아졌습니다(자체 발표 기준). 다만 프롬프트가 길면 단가가 다섯 배로 오릅니다.
함께 보면 좋은 용어
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
- 컨텍스트 윈도우Context window
- AI가 한 번에 읽을 수 있는 분량입니다. 토큰으로 셉니다. 길게 넣을수록 단가가 오르는 요금제도 있습니다.
- 토큰Token
- AI가 글을 읽고 쓰는 최소 단위입니다. API 요금은 보통 '100만 토큰당 얼마'로 매깁니다.
- 파라미터Parameter
- 모델이 학습하며 조정하는 숫자(매개변수)입니다. '1조 파라미터 모델'처럼 모델 크기를 말할 때 씁니다. 많을수록 대체로 똑똑하지만 돌리는 비용도 커집니다.
- 클로드Claude
- 앤트로픽이 만든 AI 모델이자 대화형 서비스입니다. 크기와 성능에 따라 하이쿠(작고 빠름)·소네트(중간)·오퍼스(큼) 등급으로 나옵니다.
- 멀티모달Multimodal
- 글뿐 아니라 이미지·소리·영상을 함께 읽고 만드는 AI입니다.
- 추론 비용Inference cost
- 만들어진 모델을 실제로 돌려 답을 받는 데 드는 돈입니다. 학습 비용과 달리 쓸 때마다 나갑니다. 작은 모델과 캐시가 이 비용을 줄이는 주된 방법입니다.
- 혼합 전문가(MoE)Mixture of Experts
- 모델 안에 여러 ‘전문가’ 부분을 두고 입력마다 그중 일부만 골라 계산하는 구조입니다. 모델을 크게 만들면서도 한 번에 드는 계산은 줄일 수 있습니다.
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.