컨텍스트 윈도우Context window
뜻
AI가 한 번에 읽을 수 있는 분량입니다. 토큰으로 셉니다. 길게 넣을수록 단가가 오르는 요금제도 있습니다.
컨텍스트 윈도우 관련 기사 4건
보안·안전지켜보세요
앤트로픽 플래시프루브, 모델 출처를 암호로 증명
앤트로픽(Anthropic)이 AI 답변이 개발사가 말한 바로 그 모델에서 나왔는지 영지식 증명으로 확인하는 프로토타입 플래시프루브(FlashProve)를 오픈소스로 공개했습니다. H100 한 대에서 초당 약 110토큰의 증명을 만들지만 아직 연구용입니다.
모델·제품지켜보세요
미스트랄 라지 4, 1조 파라미터 가중치 공개
미스트랄 라지 4(Mistral Large 4)의 가중치가 허깅페이스에 올라왔습니다. 10월 6일 미리 보기로 나온 1조 파라미터 멀티모달 모델을 이제 직접 내려받아 자기 서버에서 돌리거나 API로 쓸 수 있습니다.
모델·제품지켜보세요
키미 K3.1 프로, 클로드 오퍼스 5.5 턱밑까지
중국 문샷AI가 새 플래그십 모델 키미 K3.1 프로를 공개했습니다. 터미널 코딩 벤치마크에서 클로드 오퍼스 5.5와의 차이는 0.7%포인트이고(자체 발표 기준) 장기 코딩 과제 점수도 전작보다 올랐습니다. 전체 가중치는 11월 4일까지 내놓겠다고 밝혔습니다.
모델·제품써볼 만해요
클로드 하이쿠 5.5, 값은 4.5의 10분의 1
앤트로픽이 10월 7일 내놓은 클로드 하이쿠 5.5는 10만 토큰 이하 프롬프트에서 입력·출력 단가가 하이쿠 4.5의 10분의 1입니다. 성능도 올라 터미널 코딩 점수가 0%에서 39.2%로 높아졌습니다(자체 발표 기준). 다만 프롬프트가 길면 단가가 다섯 배로 오릅니다.
함께 보면 좋은 용어
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 가중치Weights
- 학습이 끝난 모델 안에 담긴 파라미터 값입니다. 가중치를 공개하면 누구나 그 모델을 내려받아 돌릴 수 있습니다(오픈 웨이트).
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
- 토큰Token
- AI가 글을 읽고 쓰는 최소 단위입니다. API 요금은 보통 '100만 토큰당 얼마'로 매깁니다.
- 혼합 전문가(MoE)Mixture of Experts
- 모델 안에 여러 ‘전문가’ 부분을 두고 입력마다 그중 일부만 골라 계산하는 구조입니다. 모델을 크게 만들면서도 한 번에 드는 계산은 줄일 수 있습니다.
- 앤트로픽Anthropic
- 클로드를 만드는 미국 AI 회사입니다. 오픈AI 출신 연구자들이 2021년 세웠고 AI 안전 연구를 앞세웁니다.
- 클로드Claude
- 앤트로픽이 만든 AI 모델이자 대화형 서비스입니다. 크기와 성능에 따라 하이쿠(작고 빠름)·소네트(중간)·오퍼스(큼) 등급으로 나옵니다.
- GPUGraphics Processing Unit
- 원래 그래픽용으로 만든 칩이지만 많은 계산을 동시에 처리할 수 있어 AI 학습·추론의 주력이 됐습니다. 엔비디아가 시장을 이끕니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.