METR, 앤트로픽 개발 속도 2배 추정
벤치마크 향상 속도 1.9배(1.5~2.8배) · 가속의 약 80%는 AI 덕분으로 추정 · 증거 대부분은 가려짐
이런 분께 추천합니다AI 개발 속도와 안전 논의를 따라가는 연구자·기획자
| 발표 주체 | METR(독립 평가) |
|---|---|
| 날짜 | 2026년 11월 5일(미국 시각) |
| 평가 대상 | 앤트로픽의 2026년 10월 AI 연구개발 속도 |
| 핵심 숫자 | 벤치마크 향상 1.9배, 95% 신뢰구간 1.5~2.8배 |
| 평가 기간 | 2026년 8월 12일~10월 29일, METR 인력 2.5명분 |
| 원문 | METR 블로그 |
- 벤치마크 향상 속도 1.9배. 2025년 10월 이후, 95% 신뢰구간은 1.5~2.8배
- 가속의 약 80%는 AI 덕분으로 추정. METR은 불확실성이 크다고 적음
- 핵심 증거 대부분은 가려짐. 앤트로픽이 일방적 삭제권을 가짐
METR이 11월 5일(미국 시각) 앤트로픽(Anthropic)의 AI 연구개발 속도를 독립적으로 평가한 보고서를 공개했습니다. 이 작업에 참여한 METR 직원 대부분은 2026년 10월 기준 앤트로픽의 AI 능력 향상 속도가 2024년 3월부터 2025년 10월까지의 약 2배라고 봅니다.
- 벤치마크 향상 속도 1.9배. 2025년 10월 이후, 95% 신뢰구간은 1.5~2.8배
- 가속의 약 80%는 AI 덕분으로 추정. METR은 불확실성이 크다고 적음
- 핵심 증거 대부분은 가려짐. 앤트로픽이 일방적 삭제권을 가짐
벤치마크로 잰 향상 속도는 1.9배
METR은 앤트로픽 모델들의 벤치마크 점수 추세를 2025년 10월 전후로 나눠 비교했습니다. 점수가 오르는 속도는 연 15포인트에서 연 29포인트로 빨라졌고 METR은 이를 1.9배 가속으로 계산했습니다. 지난 1년 동안의 진전이 2023년 10월부터 2025년 10월까지 2년 동안의 진전(대략 클로드 2.1에서 소넷 4.5까지)과 비슷한 수준입니다. 앤트로픽이 하이쿠 5.5 시스템 카드에 적은 1.7배보다 큰 값인데 METR은 아직 공개되지 않은 최신 모델이 반영됐기 때문이라고 설명합니다. 계산 방식을 바꿔 본 분석에서는 1.1배에서 2.9배까지 값이 흩어졌습니다.
가속의 80%를 AI 덕분으로 보는 추정
보고서는 2026년 10월 가속의 과반, 아마 약 80%가 AI 덕분이라고 추측하면서 불확실성이 크다고 덧붙였습니다. 2025년 후반의 가속에는 AI 말고 다른 요인이 영향을 줬을 가능성이 있다는 설명이 붙습니다. 훈련 연산량 증가는 원인이 아니라는 설득력 있는 증거를 받았지만 세부 내용은 가려졌습니다. 앤트로픽 직원이 Slack 설문에 답한 AI 활용 체감 효과는 2026년 10월에 12배까지 올랐으나 METR은 이를 아주 느슨한 증거로만 취급했습니다.
METR이 직접 적은 한계
METR은 비공개 모델을 직접 써 볼 접근을 요청하지도 받지도 않았고 직원 수준의 접근이 있었다면 훨씬 깊은 평가가 가능했을 것이라고 적었습니다. 앤트로픽은 보고서 내용을 일방적으로 가릴 권리를 가졌으며 METR이 가장 유익하다고 본 증거 대부분이 가려졌습니다. 가속이 명확히 정의된 작업에만 해당할 수 있고 실제 가속은 1.3배일 수도 3배일 수도 있다는 점도 함께 밝혔습니다. AI가 학습 과정의 가장 중요한 부분에 완전히 자율적으로 기여하는 단계는 아직 아니지만 가능성의 조짐은 있다는 평가입니다. 앤트로픽이 연산량 배분 검증 작업을 도중에 취소해서 이 부분은 결론이 나오지 않았습니다.
핵심 정보 6개
| 발표 주체 | METR(독립 평가) |
|---|---|
| 날짜 | 2026년 11월 5일(미국 시각) |
| 평가 대상 | 앤트로픽의 2026년 10월 AI 연구개발 속도 |
| 핵심 숫자 | 벤치마크 향상 1.9배, 95% 신뢰구간 1.5~2.8배 |
| 평가 기간 | 2026년 8월 12일~10월 29일, METR 인력 2.5명분 |
| 원문 | METR 블로그 |
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.
