Nemotron 3.5 Transcribe 공개

엔비디아(NVIDIA)⁠가 10월 28일(미국 시각) 음성 모델 Nemotron 3.5 Transcribe를 허깅페이스와 모델스코프에 공개했습니다. 녹음된 말의 받아쓰기와 화자 구분, 번역, 녹음 내용에 관한 질문 답변을 모델 하나가 맡습니다. 학습에 쓴 음성 라벨 데이터 Granary v2도 함께 나왔습니다.

한국어는 가장 높은 등급에 들어 있습니다

모델 카드의 언어 표에서 한국어는 받아쓰기, 영어와 오가는 번역, 여러 화자 받아쓰기, 언어가 섞인 말 받아쓰기에 모두 표시돼 있고 품질 등급은 가장 높은 ‘Leading’⁠입니다. 받아쓰기는 40개 언어, 영어와 오가는 번역은 31개 언어, 화자 구분은 13개 언어에서 됩니다. 녹음 내용 이해와 말로 하는 지시 따르기는 영어로만 평가했다고 모델 카드에 적혀 있습니다.

지시문 한 줄로 결과물이 달라집니다

같은 회의 녹음이라도 “Transcribe this recording and label each speaker.”⁠라고 지시하면 화자를 붙인 받아쓰기가, “What decisions were made in this meeting?”⁠이라고 물으면 회의에서 정한 일이 나옵니다. 잘 틀리는 전문 용어는 지시문에 후보로 적어 줄 수 있습니다. 엔비디아가 든 의료 녹음 사례에서는 지시문에 영어와 라틴 문자를 적어 준 것만으로 단어 오류율이 30.8%에서 23.8%로 내려갔고 미세 조정까지 하자 11.8%가 됐습니다(자체 발표 기준). 이 미세 조정에는 GB300 GPU 한 장으로 약 14시간이 걸렸습니다.

오픈 모델 비교에서 받은 점수

영어 받아쓰기 평가의 평균 단어 오류율은 5.33%로 오픈 웨이트 모델 가운데 1위였습니다. 7개 언어 평균은 4.62%, 긴 녹음 평균은 10.98%로 비교한 오픈 모델 중 가장 낮았고 21개 언어 화자 구분 평가에서도 오류율 18.26%로 시스템 14개 가운데 가장 낮았습니다(자체 발표 기준). 전체 파라미터는 300억 개지만 토큰마다 쓰는 것은 약 40억 개입니다. 엔비디아 블랙웰 서버 GPU 한 장으로 100시간 분량 녹음을 3분 안에 처리했는데, 이 측정에는 NVFP4 양자화 버전을 썼습니다.

상업적 이용과 학습 데이터

모델은 OpenMDW-⁠1.1 라이선스로 공개됐고 모델 카드는 상업적⁠·비상업적 용도 모두에 쓸 수 있다고 적었습니다. 함께 나온 Granary v2는 16개 말뭉치의 음성 463,062시간에 붙인 받아쓰기⁠·번역 라벨로, 1판의 25개 언어에서 48개 언어로 늘었고 한국어도 들어 있습니다. 저장소에는 라벨 목록만 있고 음성 파일은 들어 있지 않습니다. 모델은 녹음 파일을 처리하는 용도여서 실시간 스트리밍 받아쓰기는 지원하지 않습니다.