HOPE, MoE 전문가를 절반 덜어 낸다

아마존(Amazon) 연구진이 11월 9일 허깅페이스(Hugging Face) 블로그에 MoE(전문가 혼합) 언어 모델에서 전문가를 영구히 지우는 방법 HOPE(Higher-Order Pruning of Experts)⁠를 소개했습니다. 전문가를 하나씩 따로 점수 매기던 기존 방법과 달리, 두 전문가가 함께 일하는 정도까지 계산에 넣어 지울 전문가를 고릅니다.

전문가는 혼자 일하지 않습니다

MoE는 층마다 전문가 여러 개를 두고 입력마다 일부만 켜는 구조라서 모델 크기에 비해 계산량이 적습니다. 글은 전문가들이 꾸준히 함께 켜지는 안정적인 협력 집단을 이룬다고 보고, 이 관계를 무시한 채 전문가를 하나씩 지우면 짝을 잃은 전문가가 남는다고 설명합니다. HOPE는 전문가 쌍마다 함께 켜졌을 때의 기여도를 모은 행렬을 만들고, 지울 개수를 정해 두면 그 행렬의 값이 최소가 되는 조합을 찾습니다.

계산은 한 번, 층마다 몇 초

보정 데이터를 한 번 통과시켜 전문가별 출력 크기와 동시 활성 통계를 기록하고, 이 값으로 층마다 몇 초 안에 지울 전문가를 정합니다. 결과는 표준 허깅페이스 체크포인트로 저장되며 코드는 GitHub awslabs/HOPE에 공개됐습니다. 행렬의 대각선 값은 기존 방법 REAP의 전문가 순위와 거의 같아서(스피어만 상관 0.988) 성능 차이는 대각선 밖의 상호작용 항에서 나온다는 것이 저자들의 설명입니다.

SWE-Bench Pro에서 지운 모델과 원본을 비교

평가는 Tulu3 모음과 에이전트 코딩 시험 SWE-Bench Pro로 했고, 가지치기 비율은 10%에서 50%까지 바꿨으며 REAP⁠·MAN⁠·EAN⁠·Frequency 네 방법과 겨뤘습니다. 모든 조건의 평균 순위는 HOPE가 2.07이고 1위가 39%, 2위 이내가 67%입니다. Qwen3.5-35B-A3B의 전문가를 50% 지웠을 때 SWE-Bench Pro 점수는 HOPE가 42.3으로 지우지 않은 모델의 41.8과 비슷했고 REAP은 36.2였습니다.

10~20%에서는 차이가 줄어듭니다

저자들은 가지치기 비율이 10~20%일 때 REAP과 MAN이 HOPE와 겨룰 만하다고 적었습니다. HOPE는 층을 하나씩 따로 계산해서 층 사이의 상호작용을 보지 못하고, 세 개 이상 전문가가 묶인 효과도 계산하지 않습니다. 글은 Qwen3.5-122B의 구조를 설명하지만 이 모델의 가지치기 결과는 싣지 않았습니다.