추론 비용Inference cost
만들어진 모델을 실제로 돌려 답을 받는 데 드는 돈입니다. 학습 비용과 달리 쓸 때마다 나갑니다. 작은 모델과 캐시가 이 비용을 줄이는 주된 방법입니다.
추론 비용 관련 기사 6건
세레브라스, 3조 매개변수 모델 나눠 싣는 법
세레브라스가 메모리 44GB짜리 웨이퍼로 테라바이트급 초거대 모델을 어떻게 서비스하는지 공개했습니다. 약 3조 매개변수인 키미 K3를 예로 들어 층을 나눠 웨이퍼 59장에 고정하고 활성값만 넘기는 파이프라인 구조를 숫자와 함께 설명했습니다.
오픈AI ‘디시전스 API’ 출시, 출력은 무료
오픈AI가 정식 출시한 디시전스 API는 ‘예/아니오’나 정해진 보기 중 하나를 고르는 식으로 답이 정해진 질문만 빠르게 판단합니다. GPT-6 루나를 바탕으로 응답 API보다 최대 10배 빠르게 답하고 요금은 입력 100만 토큰당 0.1달러이며 출력 요금은 받지 않습니다(자체 발표 기준).
트레이스위브, 트랜스포머 대신 새 구조
네이버 D2SF가 스마트폰 CPU만으로 여러 단계 에이전트를 돌리는 온디바이스 AI 스타트업 트레이스위브에 투자했습니다. 트레이스위브는 입력이 길어져도 메모리 사용량이 일정한 자체 구조 ‘페이즈-타이탄’을 내세우며 시드 라운드에서 약 30억 원을 모았습니다.
오픈AI, 코볼 이식 정확도 5%→87%
오픈AI가 코볼·포트란처럼 공개 코드가 적은 프로그래밍 언어에서 새 모델의 코딩 성적이 크게 올랐다고 밝혔습니다. 20개 언어로 SQLite 호환 DB 엔진을 만드는 평가에서 GPT-6 아스트라의 평균 통과율은 87.4%로, GPT-5.6 솔(26.8%)의 3배가 넘었습니다(자체 발표 기준).
제미나이 4 에이전트, 마인크래프트 엔딩 봤다
구글 딥마인드 연구진이 제미나이 4 아르곤 에이전트 네 개를 무작위로 생성한 마인크래프트 세계에 풀어 놓았습니다. 에이전트들은 역할 배정이나 공략 코드 없이 27시간 14분 만에 엔더 드래곤을 쓰러뜨렸고 비용은 약 520달러로 추산됐습니다(자체 발표 기준).
클로드 하이쿠 5.5, 값은 4.5의 10분의 1
앤트로픽이 10월 7일 내놓은 클로드 하이쿠 5.5는 10만 토큰 이하 프롬프트에서 입력·출력 단가가 하이쿠 4.5의 10분의 1입니다. 성능도 올라 터미널 코딩 점수가 0%에서 39.2%로 높아졌습니다(자체 발표 기준). 다만 프롬프트가 길면 단가가 다섯 배로 오릅니다.
함께 보면 좋은 용어
- 토큰Token
- AI가 글을 읽고 쓰는 최소 단위입니다. API 요금은 보통 '100만 토큰당 얼마'로 매깁니다.
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 오픈AIOpenAI
- 챗GPT와 GPT 모델을 만든 미국 AI 회사입니다. 마이크로소프트가 최대 투자자이자 주요 클라우드 파트너입니다.
- GPTGenerative Pre-trained Transformer
- 오픈AI가 만든 대규모 언어 모델 계열의 이름입니다. '미리 학습한 생성형 트랜스포머'라는 뜻으로, 챗GPT가 이 모델 위에서 돌아갑니다.
- GPT-6GPT-6
- 오픈AI의 6세대 GPT 모델 계열입니다. 아스트라·솔·테라·루나처럼 등급마다 이름이 붙는데, 테라는 중간 등급이고 루나는 값이 싼 모델입니다.
- 에이전트Agent
- 목표 하나를 주면 스스로 계획을 세우고 검색·코딩·파일 작업 같은 도구를 번갈아 쓰며 끝까지 처리하는 AI입니다. 계정·배포 권한을 줄 때는 사람 승인 단계를 남겨야 합니다.
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
- 추론Inference
- 학습이 끝난 모델이 실제 질문에 답을 내는 과정입니다. '추론 모델'의 추론(단계적으로 생각하기, reasoning)과 다른 뜻으로도 쓰이니 문맥으로 구분합니다.
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.