가지치기Pruning

연구지켜보세요

HOPE, MoE 전문가를 절반 덜어 낸다

아마존 연구진이 11월 9일 허깅페이스 블로그에 MoE 언어 모델의 전문가를 영구히 지우는 방법 HOPE를 소개했습니다. 전문가 쌍의 상호작용까지 계산해 50% 가지치기에서 평균 순위 1위라고 합니다(자체 평가 기준).

2026.11.103분 읽기

벤치마크Benchmark

모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.

혼합 전문가⁠(MoE)Mixture of Experts

모델 안에 여러 ‘전문가’ 부분을 두고 입력마다 그중 일부만 골라 계산하는 구조입니다. 모델을 크게 만들면서도 한 번에 드는 계산은 줄일 수 있습니다.

깃허브GitHub

코드를 저장하고 여럿이 함께 고치는 웹 서비스입니다. 오픈소스 프로젝트 대부분이 여기에 코드와 새 버전을 공개합니다.

아마존Amazon

온라인 쇼핑몰과 클라우드, 알렉사 음성 비서를 운영하는 미국 회사입니다.

허깅페이스Hugging Face

AI 모델과 데이터셋을 올리고 내려받는 공유 사이트입니다. 오픈 웨이트 모델 대부분이 여기에 공개됩니다.

가중치Weights

학습이 끝난 모델 안에 담긴 파라미터 값입니다. 가중치를 공개하면 누구나 그 모델을 내려받아 돌릴 수 있습니다(오픈 웨이트).

강화학습Reinforcement learning

잘하면 보상, 못하면 벌점을 주며 스스로 더 나은 답을 찾게 하는 학습 방식입니다. 추론 모델 훈련에 많이 쓰입니다.

단어 오류율⁠(WER)Word error rate

음성 받아쓰기가 얼마나 틀렸는지 재는 지표입니다. 정답 문장과 비교해 빠지거나 바뀌거나 더해진 단어의 비율이고 낮을수록 정확합니다.