Nemotron 3.5 Bolt E4B 4GB, 메모리·라이선스·한국어 점검

NVIDIA가 2026년 10월 23일 공개한 Nemotron 3.5 Bolt E4B 4GB는 이름에 메모리 크기가 들어 있습니다. NVIDIA Nemotron 프로젝트 페이지는 이 모델이 대상 작업에서 약 4GB 메모리만으로 대화형 에이전트를 실행하도록 설계됐고, 같은 장비에서 함께 쓰는 앱과 다른 모델의 메모리도 확보해 둔다고 설명합니다.

강의실이나 사내 실습 PC에서 대화형 로컬 모델을 시험해 보려는 분이라면 메모리, 이용 조건, 언어를 먼저 확인해야 합니다. 이 글은 NVIDIA 발표 페이지와 Hugging Face 모델 카드에 적힌 범위에서 정리했고, 필자는 모델을 내려받아 실행해 보지 않았습니다.

1. 발표 페이지가 밝힌 모델의 용도

발표 페이지 원문은 "Bolt E4B builds on Gemma 4 E4B with Nemotron post-training."입니다. Google의 Gemma 4 E4B를 바탕으로 NVIDIA가 후학습(이미 학습된 모델을 특정 용도에 맞게 추가로 학습시키는 과정)을 더했다는 뜻입니다. NVIDIA는 용도로 음성·기기 도우미, 대화형 캐릭터, 로봇·사물인터넷 인터페이스를 들고, 실행 장비로 GeForce RTX, Jetson, RTX Spark, DGX Spark를 적었습니다.

기능 목록에는 대화 중 여러 차례 앱 기능을 부르는 도구 사용, 짧고 말하기 좋은 답을 유도하는 대화 모드, 켜고 끌 수 있는 추론(답하기 전에 생각하는 단계), 64k 토큰 컨텍스트, 35개 언어 지원이 있습니다. 64k 컨텍스트는 대화 기록, 지시문, 도구 정의, 검색해 온 정보, 앱 상태를 함께 담기 위한 크기라고 설명합니다.

모델 카드에 따르면 입력과 출력은 모두 글자이고, 전체 매개변수는 8B(유효 4B)입니다. 음성 도우미가 용도에 들어 있어도 모델이 직접 음성을 받지는 않으므로, 음성으로 실습하려면 음성 인식과 음성 합성을 따로 붙여야 합니다.

2. 약 4GB가 나온 측정 조건

NVIDIA는 대상 작업을 사용자 1명이 쓰는 단일 세션(batch 1), 입력 2.5K에서 16K 토큰, 출력 500토큰 미만으로 정했습니다. 아래 표는 발표 페이지의 장비별 측정값입니다. 모두 Q4_K_M(용량을 줄인 양자화 파일) 형식을 llama.cpp(CUDA)에서 실행해 NVIDIA가 직접 측정했고, 페이지는 장비·실행 프로그램·설정에 따라 결과가 달라질 수 있다고 적었습니다.

장비	캐시 / 새 입력 / 출력(토큰)	GPU 메모리 사용	첫 토큰까지	초당 토큰
RTX 5070 (12GB)	0 / 3K / 50	3.5GB	548ms	133.4
RTX 5070 (12GB)	32k / 2K / 256	4.3GB	1,238ms	106.2
RTX Spark (32GB)	0 / 3K / 50	3.1GB	930ms	67.0
RTX Spark (32GB)	32k / 2K / 256	4.2GB	1,988ms	52.0
Jetson Orin Nano (8GB)	0 / 3K / 50	4.2GB	5,785ms	15.5
Jetson Orin Nano (8GB)	32k / 2K / 256	4.9GB	6,259ms	13.0
Jetson AGX Orin (32GB)	0 / 3K / 50	4.2GB	3,687ms	24.0
Jetson AGX Orin (32GB)	32k / 2K / 256	5.0GB	4,091ms	20.3

장비별 메모리 사용량은 2026년 10월 23일 NVIDIA 발표 페이지의 자체 측정값입니다. 장비 전체 메모리 상자 안에 사용량을 채워 비교한 배치는 작성자 구성입니다.

표를 보면 대화 기록 32k 토큰이 캐시에 쌓인 조건에서는 모든 장비가 4GB를 넘었습니다. 실습 PC의 메모리를 따질 때는 4GB보다 여유 있게 잡는 편이 안전합니다. 측정 장비가 모두 NVIDIA의 RTX와 Jetson이라, GPU가 없는 사무용 노트북이나 다른 회사 GPU에서의 속도는 공개 자료로 알 수 없습니다. 모델 카드의 소프트웨어 통합 항목에는 지원 운영체제가 Linux로만 적혀 있으니, Windows나 macOS 실습 PC에서 쓸 수 있는지는 Ollama나 LM Studio 같은 실행 프로그램 쪽에서 확인해야 합니다.

3. 내려받기 전에 읽을 이용 조건

발표 페이지는 Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab, NVIDIA In-Game Inferencing SDK로 시작할 수 있다고 안내합니다. Hugging Face에는 GGUF 파일, BF16 파일, 생성 속도를 높이는 보조 모델(DFlash)이 각각 올라와 있습니다.

라이선스는 모델 카드에 OpenMDW-1.1로 적혀 있고, 바탕이 된 Gemma 4 모델은 Apache License 2.0을 따른다고 함께 적혀 있습니다. 모델 카드는 상업·비상업 용도로 쓸 수 있다고 표기했습니다. 필자는 OpenMDW-1.1 조건 전문을 읽지 않았습니다. 사내 업무나 유료 강의에 쓰려면 조건 전문을 직접 확인하고, 필요하면 법무 담당과 함께 검토하십시오.

4. 한국어 대화는 직접 시험해야 합니다

발표 페이지는 35개 언어를 지원한다고 적었지만 언어 목록은 싣지 않았습니다. 모델 카드는 지원 언어 예로 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어를 들었고, 후학습에 주로 쓴 언어로 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어, 중국어를 적었습니다. 두 자료 어디에도 한국어가 적혀 있지 않아 한국어 지원 여부는 확인하지 못했습니다. 바탕 모델이 140개 이상 언어로 사전 학습됐다는 설명만으로 한국어 대화 품질을 판단하기도 어렵습니다.

5. 회사가 낸 비교 수치의 범위

NVIDIA는 주요 대화형 에이전트 벤치마크에서 이전 모델(Nemotron 3 Nano 4B)보다 평균 품질이 약 40% 높고, 비교 모델보다 출력 토큰이 최대 약 80% 적다고 발표했습니다. 토큰 감소 폭은 추론을 켠 비교에서 나왔습니다. 비교 대상은 Nemotron 3 Nano 4B, Qwen 3.5 4B, Gemma 4 E4B이고, 벤치마크는 모두 BF16 형식으로 측정했다고 적혀 있습니다. 표에 쓰인 Brevity Bench와 When2Call-MT는 NVIDIA가 나중에 공개하겠다고 밝힌 평가라 지금은 외부에서 같은 조건으로 확인할 수 없습니다.

모든 항목에서 앞선 것도 아닙니다. 여러 차례 이어지는 고객 응대 작업을 보는 Tau2-Bench에서는 Qwen 3.5 4B가 75.1, Bolt E4B가 55.1이었습니다. 실습에서 도구 호출을 여러 번 이어 가는 시나리오를 다룬다면 평균보다 이런 항목별 결과를 먼저 보십시오.

6. 실습 PC 1대로 시작하는 확인 순서

1. 실습 PC 1대의 운영체제, GPU 종류, GPU 메모리를 적고 위 표의 장비 조건과 비교합니다. NVIDIA GPU가 없으면 표의 속도를 기대치로 쓰지 마십시오.
2. 모델 카드에서 OpenMDW-1.1 조건 전문을 열어 강의·사내 사용에 걸리는 조항이 있는지 확인합니다.
3. 실행이 되는 PC에서 실제 수업에 쓸 한국어 질문 5개를 넣어 답의 정확성과 길이를 보고, 같은 질문을 영어로도 넣어 차이를 기록합니다. 그 결과로 이 모델을 실습에 쓸지, 다른 모델을 함께 비교할지 정하면 됩니다.