GPUGraphics Processing Unit
원래 그래픽용으로 만든 칩이지만 많은 계산을 동시에 처리할 수 있어 AI 학습·추론의 주력이 됐습니다. 엔비디아가 시장을 이끕니다.
GPU 관련 기사 6건
앤트로픽 플래시프루브, 모델 출처를 암호로 증명
앤트로픽(Anthropic)이 AI 답변이 개발사가 말한 바로 그 모델에서 나왔는지 영지식 증명으로 확인하는 프로토타입 플래시프루브(FlashProve)를 오픈소스로 공개했습니다. H100 한 대에서 초당 약 110토큰의 증명을 만들지만 아직 연구용입니다.
Phonon TTS, 첫 소리까지 28ms
Phonon TTS는 약 65MB와 75MB 크기의 온디바이스 음성 합성 모델입니다. 서버 없이 CPU에서 돌고 첫 소리까지 28ms가 걸린다고 하지만, 지원 언어는 영어·프랑스어·독일어·스페인어·포르투갈어이고 한국어는 없습니다.
엔비디아, 도시용 피지컬·에이전틱 AI 사례
엔비디아(NVIDIA)가 도시 행정에 쓰는 피지컬 AI와 에이전틱 AI 사례를 블로그에 모아 소개했습니다. 스페인의 주민 민원 에이전트, 말레이시아의 교통 카메라 분석, 모로코 항만의 AI 공장까지 일곱 곳이 나옵니다.
미스트랄 라지 4, 1조 파라미터 가중치 공개
미스트랄 라지 4(Mistral Large 4)의 가중치가 허깅페이스에 올라왔습니다. 10월 6일 미리 보기로 나온 1조 파라미터 멀티모달 모델을 이제 직접 내려받아 자기 서버에서 돌리거나 API로 쓸 수 있습니다.
코히어, 캐나다에 40억 캐나다달러 투자
캐나다 AI 회사 코히어(Cohere)가 2031년까지 캐나다 연구개발과 AI 인프라에 40억 캐나다달러 넘게 쓰고 국내 인력을 1,500명 넘게 늘리겠다고 10월 30일 발표했습니다.
세레브라스, 3조 매개변수 모델 나눠 싣는 법
세레브라스가 메모리 44GB짜리 웨이퍼로 테라바이트급 초거대 모델을 어떻게 서비스하는지 공개했습니다. 약 3조 매개변수인 키미 K3를 예로 들어 층을 나눠 웨이퍼 59장에 고정하고 활성값만 넘기는 파이프라인 구조를 숫자와 함께 설명했습니다.
함께 보면 좋은 용어
- 오픈소스Open source
- 소프트웨어 코드를 공개해 누구나 보고 고치고 나눌 수 있게 한 것입니다. 큰 오픈소스 프로젝트는 보안 공지와 패치도 공개적으로 냅니다.
- 데이터센터Data center
- AI 모델이 실제로 돌아가는 서버 건물입니다. 큰 모델은 칩 여러 장에 나눠 실어야 해서 칩 사이 통신 속도가 성능을 좌우합니다.
- CPUCPU
- 컴퓨터에서 계산과 명령 처리를 맡는 중앙 처리 장치입니다. GPU 없이 CPU만으로 돌아가는 AI는 일반 노트북이나 휴대폰에서도 쓸 수 있습니다.
- 가중치Weights
- 학습이 끝난 모델 안에 담긴 파라미터 값입니다. 가중치를 공개하면 누구나 그 모델을 내려받아 돌릴 수 있습니다(오픈 웨이트).
- 라이선스License
- 소프트웨어·모델·콘텐츠를 어디까지 써도 되는지 정한 이용 조건입니다. 오픈소스나 오픈 웨이트라도 상업적 이용을 제한하는 경우가 있어 확인이 필요합니다.
- 아파치 2.0Apache 2.0
- 상업 제품에도 무료로 쓸 수 있게 허용하는 대표적인 오픈소스 라이선스입니다.
- 에이전트Agent
- 목표 하나를 주면 스스로 계획을 세우고 검색·코딩·파일 작업 같은 도구를 번갈아 쓰며 끝까지 처리하는 AI입니다. 계정·배포 권한을 줄 때는 사람 승인 단계를 남겨야 합니다.
- 오픈 웨이트Open weight
- 학습이 끝난 모델의 가중치를 누구나 내려받아 쓸 수 있게 공개한 것입니다. 학습 데이터와 코드까지 다 여는 오픈소스와는 구분합니다.
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.