싼 모델이 AI 쓰는 방식을 바꾼다
앤트로픽 하이쿠 5.5는 10만 토큰 이하 요청에서 하이쿠 4.5의 10분의 1 가격입니다. 이 정도로 싸지면 설계할 때 '어떤 모델을 쓸까'보다 '어느 순간에 큰 모델로 넘길까'를 먼저 고민하게 됩니다. 내년에는 작은 모델로 먼저 처리하고 어려울 때만 큰 모델을 부르는 방식이 기본값이 될 것입니다.
10월 7일 나온 클로드 하이쿠 5.5의 가격은 100만 토큰당 입력 0.1달러, 출력 0.5달러로, 하이쿠 4.5의 1달러·5달러와 비교하면 10분의 1입니다. 다만 프롬프트가 10만 토큰을 넘으면 입력 0.5달러, 출력 2.5달러로 다섯 배가 됩니다. 하이쿠급 모델 가운데 처음으로 노력 단계를 고를 수 있게 했고, 회사는 평균 운영비가 하이쿠 4.5보다 약 75% 적다고 밝혔습니다.
왜 이렇게 보나
비용이 10분의 1로 내려가면 쓰는 방식이 바뀝니다. 이전에는 요청마다 비용을 따져 AI를 아껴 썼다면, 이제는 모든 입력을 작은 모델로 먼저 분류하고 요약하고 걸러 내는 일이 공짜에 가까워집니다. 정말 어려운 요청만 큰 모델로 넘기면 됩니다. 다만 긴 문서를 통째로 넣으면 단가가 다섯 배로 뜁니다. 그래서 '나눠 넣기'와 '요약해서 넘기기'가 비용 설계의 기본기가 됩니다.
- 2027년 3월까지, 주요 AI 개발 도구와 에이전트 프레임워크 대부분이 '작은 모델 우선, 필요할 때 큰 모델'로 나누는 라우팅을 기본 기능으로 제공합니다.
- 다른 주요 모델 회사들도 소형 모델 가격을 비슷한 수준으로 내립니다.
- 긴 컨텍스트 할증 구조가 업계 표준처럼 퍼져, 'PDF를 통째로 넣지 말라'는 조언이 흔해집니다.
틀릴 수 있는 지점
작은 모델의 품질이 기대에 못 미치면 라우팅은 설정이 복잡한 기능으로 남습니다. 그래도 이 흐름이 이어지리라 보는 이유는, 가격 인하가 이미 일어났고 그 방향이 되돌아간 적이 거의 없기 때문입니다.
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 짧은 글과 토론은 쓰레드에 올립니다. 새 소식은 그쪽에 가장 먼저 올라옵니다.
