가중치Weights
뜻
학습이 끝난 모델 안에 담긴 파라미터 값입니다. 가중치를 공개하면 누구나 그 모델을 내려받아 돌릴 수 있습니다(오픈 웨이트).
가중치 관련 기사 2건
보안·안전지켜보세요
앤트로픽 플래시프루브, 모델 출처를 암호로 증명
앤트로픽(Anthropic)이 AI 답변이 개발사가 말한 바로 그 모델에서 나왔는지 영지식 증명으로 확인하는 프로토타입 플래시프루브(FlashProve)를 오픈소스로 공개했습니다. H100 한 대에서 초당 약 110토큰의 증명을 만들지만 아직 연구용입니다.
모델·제품지켜보세요
미스트랄 라지 4, 1조 파라미터 가중치 공개
미스트랄 라지 4(Mistral Large 4)의 가중치가 허깅페이스에 올라왔습니다. 10월 6일 미리 보기로 나온 1조 파라미터 멀티모달 모델을 이제 직접 내려받아 자기 서버에서 돌리거나 API로 쓸 수 있습니다.
함께 보면 좋은 용어
- 컨텍스트 윈도우Context window
- AI가 한 번에 읽을 수 있는 분량입니다. 토큰으로 셉니다. 길게 넣을수록 단가가 오르는 요금제도 있습니다.
- 혼합 전문가(MoE)Mixture of Experts
- 모델 안에 여러 ‘전문가’ 부분을 두고 입력마다 그중 일부만 골라 계산하는 구조입니다. 모델을 크게 만들면서도 한 번에 드는 계산은 줄일 수 있습니다.
- GPUGraphics Processing Unit
- 원래 그래픽용으로 만든 칩이지만 많은 계산을 동시에 처리할 수 있어 AI 학습·추론의 주력이 됐습니다. 엔비디아가 시장을 이끕니다.
- 멀티모달Multimodal
- 글뿐 아니라 이미지·소리·영상을 함께 읽고 만드는 AI입니다.
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 양자화Quantization
- 모델의 숫자를 더 적은 자릿수로 줄여 가볍게 만드는 기술입니다. 품질을 조금 내주는 대신 메모리와 비용을 크게 줄여 노트북·폰에서도 돌릴 수 있게 합니다.
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
- 토큰Token
- AI가 글을 읽고 쓰는 최소 단위입니다. API 요금은 보통 '100만 토큰당 얼마'로 매깁니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.