KV 캐시KV cache
뜻
AI 모델이 앞서 읽은 글의 계산 결과를 저장해 두는 메모리입니다. 읽는 문맥이 길수록 커져서 기기 메모리를 많이 차지합니다.
KV 캐시 관련 기사 1건
함께 보면 좋은 용어
- 멀티모달Multimodal
- 글뿐 아니라 이미지·소리·영상을 함께 읽고 만드는 AI입니다.
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 비전 언어 모델(VLM)Vision-language model
- 이미지와 글을 함께 받아 사진 속 내용을 설명하거나 질문에 답하는 모델입니다. 모델 이름 뒤에 'VL'이 붙어 있으면 대개 이런 모델입니다.
- 소형 언어 모델(SLM)Small language model
- 파라미터 수를 줄여 휴대폰·노트북 같은 작은 기기에서도 돌아가게 만든 언어 모델입니다. 큰 모델보다 성능은 낮지만 빠르고 싸며 인터넷 없이도 쓸 수 있습니다.
- 양자화Quantization
- 모델의 숫자를 더 적은 자릿수로 줄여 가볍게 만드는 기술입니다. 품질을 조금 내주는 대신 메모리와 비용을 크게 줄여 노트북·폰에서도 돌릴 수 있게 합니다.
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
- 파라미터Parameter
- 모델이 학습하며 조정하는 숫자(매개변수)입니다. '1조 파라미터 모델'처럼 모델 크기를 말할 때 씁니다. 많을수록 대체로 똑똑하지만 돌리는 비용도 커집니다.
- 라이선스License
- 소프트웨어·모델·콘텐츠를 어디까지 써도 되는지 정한 이용 조건입니다. 오픈소스나 오픈 웨이트라도 상업적 이용을 제한하는 경우가 있어 확인이 필요합니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.