Nemotron 3.5 Transcribe, 지시문으로 고르는 전사 형식과 한국어 지원

회의 녹음을 글로 옮길 때는 "음", "어" 같은 말버릇까지 그대로 적을지, 읽기 좋게 다듬을지부터 정해야 합니다. NVIDIA가 2026년 10월 28일 공개한 Nemotron 3.5 Transcribe는 이 선택을 요청할 때마다 문장으로 지시하게 만든 음성 인식 모델입니다. NVIDIA 발표 페이지는 "The transcription style is chosen with a natural language instruction for each request, without retraining."이라고 적었습니다. 모델을 다시 학습시키지 않고 지시문만 바꿔 전사(녹음을 글로 옮기는 일) 형식을 고른다는 뜻입니다.

이 글은 기관 안에서 회의 녹음 전사나 번역 도구를 검토하는 분을 위해 NVIDIA 발표 페이지와 Hugging Face 모델 카드에 적힌 내용으로 정리했습니다. 필자는 모델을 내려받거나 실행해 보지 않았습니다.

1. 어떤 모델인가요?

모델 카드는 이 모델을 오프라인 음성·오디오 모델로 소개합니다. 녹음 파일과 글로 쓴 지시문을 함께 받아 글로 답을 내놓습니다. 지원 언어는 40개이고, 녹음은 1시간까지, 문맥 길이는 65,536토큰입니다. 입력 형식으로는 .wav, .flac, .mp3, .ogg를 적었습니다.

모델 이름에는 30B-A4B가 붙어 있고, 모델 카드 요약표는 음성 인코더를 포함해 전체 매개변수 34B, 답을 만들 때 실제로 쓰는 활성 매개변수 4.3B로 적었습니다. 발표 페이지는 언어 모델로 Nemotron 3.5 Lightning 30B-A3B를 썼다고 설명합니다. 여러 전문가 모듈 가운데 일부만 골라 계산하는 전문가 혼합(MoE) 구조라 전체 크기와 활성 크기가 다릅니다.

NVIDIA 발표 페이지에 따르면 모델 하나로 들리는 대로 적는 전사(verbatim), 글 형식으로 적는 전사(written-form), 맥락 정보를 반영한 전사(contextual), 화자를 구분한 전사, 리치 전사(rich transcription), 음성 번역, 언어 식별을 처리하고, 요청하면 화자별 단어 단위 시각 표시도 함께 내놓습니다. 모델 카드는 "This is an offline model."이라고 밝히고, 내부에서 녹음을 잘라 처리하더라도 실시간 스트리밍 음성 인식 서비스가 되지는 않는다고 덧붙였습니다. 녹음이 끝난 파일을 처리하는 용도로 보시면 됩니다.

2. 지시문으로 전사 형식 고르기

모델 카드의 Prompt Guide는 원하는 결과별로 사용자 메시지에 넣을 지시문을 표로 제시합니다. 전사와 번역에서는 시스템 프롬프트를 비워 두라고 안내합니다. 아래 그림에는 같은 녹음에 지시문을 바꿔 넣었을 때 모델 카드가 안내하는 결과와 쓰임새를 정리했습니다.

지시문 내용과 쓰임새는 Hugging Face 모델 카드의 Prompt Guide 표를 작성자가 한국어로 요약했습니다. 지시문 원문은 영어이며, 분기 배치와 아래쪽 확인 문구는 작성자가 구성했습니다.

회의록에 쓸 때는 화자 구분 결과를 읽는 방법을 알아 두셔야 합니다. 모델 카드는 화자 표시가 한 녹음 안에서 말한 사람을 구분하려는 것이고 실제 인물이 누구인지 확인해 주지 않는다고 적었습니다. 0번, 1번 같은 화자 태그에 이름을 붙이는 일은 사람이 합니다. 마이크 가까이 있는 사람 말만 받아쓰는 지시문도 있지만 모델 카드는 이 기능을 실험 단계(experimental)로 표시했습니다.

3. 모델 카드 언어 표에서 한국어 확인하기

모델 카드의 Language Support Matrix에는 한국어(Korean) 행이 있습니다. 품질 등급은 NVIDIA가 매겼습니다. Leading은 "state of the art or near state of the art out of the box", Production-ready는 "production-level quality", Supported는 지원하되 추가 학습이 필요할 수 있다는 뜻으로 설명했습니다.

항목	한국어 행 표시	의미
ASR	✓	한국어 음성 받아쓰기 지원
Translation ↔ English	✓	한국어와 영어 사이 양방향 음성 번역 지원
Multispeaker ASR	✓	여러 사람이 말하는 녹음 받아쓰기 지원
Code-switching	✓	한 녹음 안에서 여러 언어를 섞어 말하는 경우 지원
Quality level	Leading	NVIDIA가 매긴 품질 등급

모델 카드는 이 표가 전사와 번역만 다루며, 오디오 이해·추론·음성 지시 따르기는 영어로만 평가해 다른 언어에서는 안정적으로 동작하지 않을 수 있다고 밝혔습니다. 녹음 내용을 묻고 답하는 기능은 NVIDIA가 한국어로 평가하지 않았습니다.

정확도 수치도 NVIDIA 자체 발표로 읽어야 합니다. NVIDIA는 영어 Open ASR Leaderboard 공개 시험 세트 9개에서 평균 단어 오류율(WER, 낮을수록 좋음) 4.71%, 다국어 Open ASR Leaderboard에서 4.62%라고 밝혔습니다. 모델 카드는 다국어 수치가 7개 언어 기준이고 2026년 10월 12일에 측정했다고 적었습니다. 이 수치만으로는 한국어 회의 녹음에서의 품질을 알 수 없습니다.

4. 받는 곳, 라이선스, 장비

NVIDIA 발표 페이지는 모델을 OpenMDW-1.1 라이선스로 공개하고, NeMo Speech에 미세 조정 도구도 함께 낸다고 밝혔습니다. 체크포인트는 BF16, FP8, NVFP4(Blackwell GPU용), NeMo-Speech.cpp용 GGUF 파일, 추측 디코딩용 DFlash2 보조 모델로 나와 있습니다. 모델 카드의 배포 날짜 항목에는 build.nvidia.com, GitHub(NeMo Speech), Hugging Face, NGC가 모두 2026년 10월 28일로 적혀 있습니다.

모델 카드는 "This model is ready for commercial or non-commercial use."라고 적었고, 이용은 OpenMDW License Agreement 1.1을 따르며 배포 자료에 포함된 제3자 구성 요소의 라이선스와 고지 사항도 이용자가 지켜야 한다고 밝혔습니다. 필자는 OpenMDW-1.1 원문을 읽지 않았으므로 조항 내용은 여기 쓰지 않습니다.

장비는 넉넉하게 잡아야 합니다. 모델 카드 요약표의 배포 항목은 "1× H100 80 GB"이고, 호환 표에는 아래 장비가 있습니다.

장비(모델 카드 호환 표)	정밀도	운영체제
A100 80GB	BF16	리눅스, WSL2를 통한 윈도우
H100, H200	BF16, FP8	리눅스, WSL2를 통한 윈도우
L40S PCIe 48GB	FP8	리눅스, WSL2를 통한 윈도우
RTX 5090	NVFP4	리눅스, WSL2, GGML 사용 시 윈도우
RTX PRO 6000 Blackwell Server Edition	BF16, FP8, NVFP4	리눅스, WSL2, GGML 사용 시 윈도우

표에는 B200, DGX Spark(GB10) 같은 다른 장비도 있습니다. 속도 수치는 조건을 함께 보셔야 합니다. 모델 카드는 Nemotron Transcribe NIM에서 RTX PRO 6000 Blackwell Server Edition GPU 1개로 초당 최대 2,238초 분량의 음성을 처리한다고 밝히면서도, 이 서빙 최적화는 아직 공개판에 들어 있지 않고 공개일에 NeMo Speech에 들어간 모델 개발용 vLLM 연동은 약 2배 느릴 것이라고 적었습니다.

5. 기관 안에서 검토할 때 먼저 할 일

이번 주에는 아래 순서로 검토를 시작해 보십시오.

1. 기관이 가진 GPU가 모델 카드 호환 표에 있는지, 어떤 정밀도로 돌릴 수 있는지 확인합니다. 표에 없는 장비라면 그 사실부터 기록합니다.
2. OpenMDW-1.1 원문과 모델 배포 자료의 제3자 구성 요소 고지를 확인해 법무나 정보화 담당자에게 검토를 요청합니다.
3. 공개해도 되는 한국어 회의 녹음 몇 건을 골라, 모델 카드의 "말 그대로" 지시문과 "읽기 좋은 글" 지시문으로 각각 받아쓴 결과를 사람이 원문과 대조합니다. 기관에서 자주 쓰는 용어 목록을 넣었을 때 결과가 달라지는지도 함께 기록합니다.

언어 표의 Leading 등급은 NVIDIA가 자체 기준으로 매겼습니다. 기관 회의 녹음에 쓸 수 있는지는 기관 녹음으로 받아쓴 결과를 사람이 원문과 대조해 판단하십시오.