추론Inference
뜻
학습이 끝난 모델이 실제 질문에 답을 내는 과정입니다. '추론 모델'의 추론(단계적으로 생각하기, reasoning)과 다른 뜻으로도 쓰이니 문맥으로 구분합니다.
추론 관련 기사 1건
함께 보면 좋은 용어
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 추론 비용Inference cost
- 만들어진 모델을 실제로 돌려 답을 받는 데 드는 돈입니다. 학습 비용과 달리 쓸 때마다 나갑니다. 작은 모델과 캐시가 이 비용을 줄이는 주된 방법입니다.
- 컨텍스트 윈도우Context window
- AI가 한 번에 읽을 수 있는 분량입니다. 토큰으로 셉니다. 길게 넣을수록 단가가 오르는 요금제도 있습니다.
- 토큰Token
- AI가 글을 읽고 쓰는 최소 단위입니다. API 요금은 보통 '100만 토큰당 얼마'로 매깁니다.
- 프롬프트 캐싱Prompt caching
- 시스템 프롬프트나 긴 문서처럼 매번 똑같이 보내는 앞부분을 저장해 두고 다시 쓰는 기능입니다. 요금표의 '캐시 입력'이 이때 매기는 값이고, 보통 일반 입력보다 훨씬 쌉니다.
- OSWorldOSWorld
- AI가 실제 컴퓨터 화면에서 앱을 열고 클릭·입력해 일을 해내는지 재는 벤치마크입니다. 컴퓨터 사용 능력을 비교할 때 씁니다.
- 앤트로픽Anthropic
- 클로드를 만드는 미국 AI 회사입니다. 오픈AI 출신 연구자들이 2021년 세웠고 AI 안전 연구를 앞세웁니다.
- 클로드Claude
- 앤트로픽이 만든 AI 모델이자 대화형 서비스입니다. 크기와 성능에 따라 하이쿠(작고 빠름)·소네트(중간)·오퍼스(큼) 등급으로 나옵니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.