양자화Quantization
뜻
모델의 숫자를 더 적은 자릿수로 줄여 가볍게 만드는 기술입니다. 품질을 조금 내주는 대신 메모리와 비용을 크게 줄여 노트북·폰에서도 돌릴 수 있게 합니다.
양자화 관련 기사 3건
보안·안전지켜보세요
앤트로픽 플래시프루브, 모델 출처를 암호로 증명
앤트로픽(Anthropic)이 AI 답변이 개발사가 말한 바로 그 모델에서 나왔는지 영지식 증명으로 확인하는 프로토타입 플래시프루브(FlashProve)를 오픈소스로 공개했습니다. H100 한 대에서 초당 약 110토큰의 증명을 만들지만 아직 연구용입니다.
연구써볼 만해요
Nemotron 3.5 Transcribe 공개
엔비디아가 10월 28일 음성 받아쓰기 모델 Nemotron 3.5 Transcribe를 허깅페이스에 공개했습니다. 한국어를 포함한 40개 언어를 받아쓰고 1시간 녹음에서 화자를 8명까지 나누며, 지시문으로 출력 형식을 바꿀 수 있습니다.
모델·제품지켜보세요
리퀴드 AI LFM3, 약 1GB 오픈 모델 6종
리퀴드 AI가 10월 27일 소형 모델 묶음 LFM3를 공개했습니다. 17억~22억 파라미터 모델 6종이 텍스트와 이미지, 음성을 나눠 맡고, 텍스트 모델은 4비트로 줄이면 약 1GB에 들어가 기기 안에서 돌리는 쓰임새를 겨냥했습니다.
함께 보면 좋은 용어
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
- 라이선스License
- 소프트웨어·모델·콘텐츠를 어디까지 써도 되는지 정한 이용 조건입니다. 오픈소스나 오픈 웨이트라도 상업적 이용을 제한하는 경우가 있어 확인이 필요합니다.
- 허깅페이스Hugging Face
- AI 모델과 데이터셋을 올리고 내려받는 공유 사이트입니다. 오픈 웨이트 모델 대부분이 여기에 공개됩니다.
- 가중치Weights
- 학습이 끝난 모델 안에 담긴 파라미터 값입니다. 가중치를 공개하면 누구나 그 모델을 내려받아 돌릴 수 있습니다(오픈 웨이트).
- 단어 오류율(WER)Word error rate
- 음성 받아쓰기가 얼마나 틀렸는지 재는 지표입니다. 정답 문장과 비교해 빠지거나 바뀌거나 더해진 단어의 비율이고 낮을수록 정확합니다.
- 데이터셋Dataset
- 학습이나 평가에 쓰려고 모아 정리한 데이터 묶음입니다.
- 멀티모달Multimodal
- 글뿐 아니라 이미지·소리·영상을 함께 읽고 만드는 AI입니다.
- 모델 카드Model card
- 모델의 성능·한계·안전 시험 결과를 정리해 공개하는 문서입니다. 새 모델이 나올 때 함께 냅니다(시스템 카드라고도 합니다).
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.