세레브라스, 3조 매개변수 모델을 웨이퍼 59장에 나눠 싣는 법

AI 반도체 회사 세레브라스(Cerebras)가 10월 22일 공식 블로그에 조 단위 매개변수 모델을 자사 하드웨어에 올리는 방법을 공개했습니다. 칩 한 장의 메모리보다 훨씬 큰 모델을 어떻게 나눠 싣는지 숫자로 풀었습니다. 오픈 웨이트 초거대 모델이 잇따르면서 '어디서 얼마나 빠르게 돌리나'가 경쟁 기준으로 떠올랐는데, 이번 공개도 그 흐름에 있습니다.

무슨 일인가

출발점은 메모리 격차입니다. 회사 설명에 따르면 WSE-3T 웨이퍼 한 장의 온칩 메모리는 44GB입니다. 반면 최상위 모델은 가중치만으로 테라바이트 단위 메모리가 필요합니다. 블로그는 약 3조 매개변수인 문샷AI의 오픈 모델 키미 K3를 예로 들었습니다. 이 모델은 선형 어텐션 층 69개와 밀집 층 24개, 모두 93개 층으로 이뤄져 있습니다. 계산에는 평균 요청 길이 256k 토큰, 가중치 4비트 양자화, KV 캐시 8비트를 가정했습니다.

세부 내용

3조 매개변수를 4비트로 저장해 93개 층으로 나누면 층당 약 16GB입니다. KV 캐시가 필요 없는 선형 어텐션 층은 웨이퍼 한 장에 두 개(32GB)씩 넣습니다. 밀집 층은 한 장에 하나씩 넣고 남는 메모리를 KV 캐시에 씁니다. 그러면 선형 층에 35장, 밀집 층에 24장, 합쳐 59장이 필요합니다. 각 웨이퍼는 파이프라인의 한 단계가 됩니다. 가중치는 제자리에 두고 다음 웨이퍼로는 활성값만 보냅니다. 이더넷 기반 RDMA로 홉당 약 2마이크로초가 걸립니다. 여러 요청이 단계마다 동시에 흘러가며, 동시 처리 한도는 밀집 층 웨이퍼에 남은 KV 캐시 메모리가 정합니다.

요청이 몰릴 때

요청 하나만 보면 1번 웨이퍼가 1~2층을 계산해 2번 웨이퍼로 넘기고, 마지막 웨이퍼가 다음 토큰을 내놓는 순서입니다. 실제 서비스에서는 단계마다 서로 다른 요청을 동시에 처리하고, 각 단계가 작은 묶음(마이크로배치)을 한 번에 다룹니다. 동시에 처리하는 요청 수는 대략 단계 수에 마이크로배치 크기를 곱한 값입니다. 묶음을 작게 하면 요청 하나의 지연이 줄고, 크게 하면 전체 처리량이 늡니다. 서비스 성격에 따라 이 균형을 조절합니다. 회사는 웨이퍼를 추가할 때마다 연산과 온칩 메모리가 함께 늘어 칩 한 장의 용량을 넘는 모델도 담을 수 있다고 설명했습니다.

왜 중요한가

세레브라스는 GPU처럼 배치가 끝나기를 기다리지 않고 요청이 파이프라인을 계속 흘러가는 구조라고 강조합니다. 회사가 내건 목표는 수조 매개변수 모델에서 초당 1,000~2,000토큰 이상입니다. 에이전트처럼 모델을 수십 번 연달아 부르는 작업에서는 이런 출력 속도가 체감 성능을 좌우합니다. 글쓴이는 효율 비교 기준으로 같은 출력 속도에서 메가와트당 초당 토큰 수를 쓰자고 제안했습니다. 전력이 데이터센터의 가장 큰 제약이 된 상황을 반영한 기준입니다.

남은 쟁점

글은 설계 원리를 설명할 뿐 GPU 대비 성능 배율이나 고객 사례는 내놓지 않았습니다. 동시에 처리할 수 있는 요청 수 같은 핵심 수치는 그림으로만 제시됐습니다. 한 모델을 위해 웨이퍼 59장을 묶는다는 점도 비용 면에서 따져 볼 부분입니다. 실제 가격과 처리량이 공개돼야 GPU 기반 서비스와 제대로 비교할 수 있습니다.