파라미터Parameter
모델이 학습하며 조정하는 숫자(매개변수)입니다. '1조 파라미터 모델'처럼 모델 크기를 말할 때 씁니다. 많을수록 대체로 똑똑하지만 돌리는 비용도 커집니다.
파라미터 관련 기사 5건
허깅페이스 MIC, PR 단계에서 버그 찾는다
허깅페이스(Hugging Face)가 트랜스포머스 라이브러리에 모델 통합 계약(MIC)을 제안했습니다. 실제 모델의 설정으로 줄여 만든 작은 모델에 사용 경로를 돌려 보고, 사람이 검토한 기준 결과와 같은지 CPU에서 확인하는 방식입니다.
미스트랄 라지 4, 1조 파라미터 가중치 공개
미스트랄 라지 4(Mistral Large 4)의 가중치가 허깅페이스에 올라왔습니다. 10월 6일 미리 보기로 나온 1조 파라미터 멀티모달 모델을 이제 직접 내려받아 자기 서버에서 돌리거나 API로 쓸 수 있습니다.
리퀴드 AI LFM3, 약 1GB 오픈 모델 6종
리퀴드 AI가 10월 27일 소형 모델 묶음 LFM3를 공개했습니다. 17억~22억 파라미터 모델 6종이 텍스트와 이미지, 음성을 나눠 맡고, 텍스트 모델은 4비트로 줄이면 약 1GB에 들어가 기기 안에서 돌리는 쓰임새를 겨냥했습니다.
구글, LLM에 ‘수면 단계’ 넣어 망각 줄인다
구글 리서치가 10월 27일 언어 모델이 배포된 뒤에도 새 사실을 익히면서 예전 지식을 덜 잊게 하는 ‘수면’ 방식을 소개했습니다. 깨어 있을 때 받은 정보를 잠자는 동안 모델 파라미터로 옮기고 스스로 만든 연습 데이터로 복습합니다.
세레브라스, 3조 매개변수 모델 나눠 싣는 법
세레브라스가 메모리 44GB짜리 웨이퍼로 테라바이트급 초거대 모델을 어떻게 서비스하는지 공개했습니다. 약 3조 매개변수인 키미 K3를 예로 들어 층을 나눠 웨이퍼 59장에 고정하고 활성값만 넘기는 파이프라인 구조를 숫자와 함께 설명했습니다.
함께 보면 좋은 용어
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
- 허깅페이스Hugging Face
- AI 모델과 데이터셋을 올리고 내려받는 공유 사이트입니다. 오픈 웨이트 모델 대부분이 여기에 공개됩니다.
- 멀티모달Multimodal
- 글뿐 아니라 이미지·소리·영상을 함께 읽고 만드는 AI입니다.
- 혼합 전문가(MoE)Mixture of Experts
- 모델 안에 여러 ‘전문가’ 부분을 두고 입력마다 그중 일부만 골라 계산하는 구조입니다. 모델을 크게 만들면서도 한 번에 드는 계산은 줄일 수 있습니다.
- LLMLarge Language Model
- 대규모 언어 모델입니다. 방대한 글로 학습해 글을 읽고 쓰는 AI로, 챗GPT·클로드·제미나이가 대표적입니다.
- 라이선스License
- 소프트웨어·모델·콘텐츠를 어디까지 써도 되는지 정한 이용 조건입니다. 오픈소스나 오픈 웨이트라도 상업적 이용을 제한하는 경우가 있어 확인이 필요합니다.
- GPUGraphics Processing Unit
- 원래 그래픽용으로 만든 칩이지만 많은 계산을 동시에 처리할 수 있어 AI 학습·추론의 주력이 됐습니다. 엔비디아가 시장을 이끕니다.
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.