Nemotron 3.5 검색 모델, 한국어 사내 문서 검색에 넣기 전 볼 것

사내 보고서 PDF에서 답을 찾게 하려면 글자만으로는 부족한 경우가 많습니다. 수요 예측은 차트에, 재고 수치는 표에 들어 있기 때문입니다. NVIDIA는 2026년 10월 21일 Hugging Face 블로그에 검색용 모델 Nemotron 3.5 Embed, Rerank, Parse를 공개하는 글을 올리고, 상업적으로 쓸 수 있는 오픈 모델로 Nemotron Retriever 모음을 넓힌다고 밝혔습니다. 같은 모델의 Hugging Face 모델 카드에는 Release Date가 하루 앞선 2026년 10월 20일로 적혀 있습니다.

한국어 사내 문서 검색(RAG, 검색한 자료를 근거로 AI가 답하게 하는 구성)을 준비하는 팀 관점에서 모델 구성, 한국어 평가 범위, 기존 색인 재사용, 가중치·배포 경로, 라이선스 표기를 나눠 정리했습니다. 모델을 내려받거나 실행하지는 않았습니다.

1. 문서 변환, 검색, 순서 정하기를 맡는 모델

공개된 모델은 Nemotron 3.5 Embed 8B BF16·1B BF16·1B NVFP4, Nemotron 3.5 Rerank 8B BF16, 631M 파라미터의 Nemotron 3.5 Parse입니다. 블로그는 'Choose a model based on your workflow: Parse for extracting structured information from documents, Embed for searching text and images, and Rerank for improving the ordering of retrieved results.'라고 용도를 나눴습니다.

모델	블로그가 밝힌 역할	문서 처리에서 맡는 단계
Parse (631M)	문서 이미지를 Markdown, HTML 표, 구조 블록으로 변환	색인 전에 글자·표·차트를 읽기
Embed 8B BF16	글과 이미지로 문서를 검색, 다국어 검색	문서와 질문을 벡터로 바꿔 찾기
Embed 1B BF16·NVFP4	8B의 능력을 작은 모델로 증류, NVFP4는 양자화	같은 검색을 더 작은 장비 부담으로
Rerank 8B BF16	질문과 후보 문서를 함께 평가해 순서 조정	찾은 후보 가운데 답에 가까운 것을 위로

임베딩은 문서와 질문을 숫자 벡터로 바꿔 비슷한 것끼리 찾게 하는 처리이고, 재순위(rerank)는 찾은 후보를 질문과 하나씩 맞대어 순서를 다시 매기는 처리입니다. Embed는 표, 차트, 인포그래픽, 데이터시트, 도면이 들어간 문서 이미지에서도 근거를 찾는다고 블로그는 설명했습니다.

2. 한국어 평가는 어디까지 공개됐나

블로그 원문은 'Text retrieval was evaluated across 34 languages, while multilingual visual retrieval was evaluated on MIRACL Vision (18 languages) and KoViDoRe.'입니다. Embed 8B 모델 카드의 텍스트 평가 언어 34개와 이미지 평가 언어 18개 목록에 모두 Korean이 들어 있습니다. KoViDoRe(Korean ViDoRe)는 한국어 문서 이미지 검색 평가입니다. 블로그는 이 평가에서 Embed 8B와 1B가 이미지와 텍스트를 함께 넣었을 때 비교 대상인 Qwen 모델보다 높았다고 적었고, 구체 점수는 본문 문장에 없습니다.

원문 사실: 모델 이름·크기, 블로그가 밝힌 역할, 텍스트 34개 언어·이미지 18개 언어 평가와 KoViDoRe 평가, Parse의 163개 언어·문자 조합 평가 언급은 2026년 10월 21일 NVIDIA 블로그와 Embed 8B 모델 카드 내용입니다. 작성자 구성: 행을 처리 순서대로 놓은 배치, 확인하지 못한 칸 표시는 작성자가 정리했습니다.

Parse는 163개 언어·문자 조합에 걸친 평가에서 성능이 좋았다고 블로그에 적혀 있습니다. 한국어 문서 결과는 Parse 모델 카드를 읽지 않아 확인하지 못했고, Rerank의 한국어 결과도 블로그 본문에서는 찾지 못했습니다. 작성자 판단으로는 블로그 본문에서 한국어 평가 결과를 확인한 모델이 Embed뿐이므로, 차트가 많은 한국어 보고서에 Parse와 Rerank를 넣을지는 자기 문서로 따로 확인해야 합니다.

3. 기존 텍스트 색인을 다시 만들어야 하나

블로그는 'The language component remains frozen throughout embedding-model training.'이라고 밝히고, 텍스트만 넣은 임베딩은 이전 세대 Nemotron 3 Embed와 달라지지 않을 것으로 예상되므로 기존 텍스트 임베딩과 벡터 색인을 다시 쓸 수 있다고 적었습니다. Embed 8B 모델 카드는 두 모델이 같은 임베딩 공간을 쓰고 같은 텍스트 임베딩을 낸다고 설명합니다.

이미 Nemotron 3 Embed로 텍스트 색인을 만든 팀이라면 문서 이미지 색인을 더하는 방식으로 검토할 수 있습니다. 다른 임베딩 모델로 색인을 만든 팀은 이 설명이 적용되지 않으므로 색인을 새로 만드는 비용을 계획에 넣어야 합니다.

4. NVIDIA가 낸 수치를 읽는 법

블로그의 수치는 모두 NVIDIA가 직접 측정했습니다. Embed 8B는 2026년 10월 20일 기준 ViDoRe v3.1에서 nDCG@10(상위 10개 결과 안에 정답이 얼마나 위쪽에 있는지 보는 점수) 61.17로 밀집 검색 모델 가운데 1위였다고 밝혔습니다. Rerank를 더하면 에이전트의 질문당 토큰 비용이 Embed 8B 기준 약 14%, 1B 기준 약 13% 줄었다고 했는데, 이 실험은 에이전트의 LLM, 도구, 과제, 문서 모음을 고정하고 검색 구성만 바꾼 조건입니다. 사내 문서와 질문은 이 평가 자료와 다르므로 숫자를 도입 효과로 바로 옮기지 마십시오.

5. 가중치, 배포 경로, 라이선스 표기

블로그에 따르면 가중치와 학습 레시피는 Hugging Face에서 받을 수 있고, 운영 배포는 NVIDIA NIM으로 하거나 Baseten, DeepInfra, FriendliAI, OpenRouter를 통해 쓸 수 있습니다. 외부 호스팅을 쓰면 문서와 질문이 그 회사 서비스로 전달됩니다. 문서를 밖으로 보낼 수 없는 조직이라면 자체 GPU 서버에 두는 경로부터 검토하십시오.

Embed 8B 모델 카드는 사용 조건을 OpenMDW License Agreement 1.1(OpenMDW-1.1)이 정한다고 적고, 'This model is ready for commercial or non-commercial use.'라고 밝혔습니다. 기반이 된 Ministral 모델에는 Apache 2.0이 적용된다고 덧붙였습니다. 같은 카드의 지원 운영체제는 Linux이고, 하드웨어 요구 사항으로 A100 80GB, H100 80GB, GB200 186GB가 적혀 있습니다. OpenMDW-1.1 원문의 세부 조건과 다른 모델 카드의 장비 요건은 이번에 읽지 않아 확인하지 못했습니다.

6. 이번 주에 해 볼 일

1. 지금 검색이 잘 안 되는 사내 문서를 10건 정도 골라, 차트·표·스캔 이미지 때문에 못 찾는지, 찾기는 하지만 순서가 밀리는지 적어 보십시오. 못 찾는 문서가 많으면 Parse와 Embed를, 순서가 밀리면 Rerank를 먼저 검토하면 됩니다.
2. 실제 업무에서 나올 한국어 질문 20개와 각 질문의 정답 페이지를 표로 만드십시오. 어떤 모델을 시험하든 이 표로 결과를 비교할 수 있습니다.
3. OpenMDW-1.1 원문 링크와 모델 카드의 하드웨어 요건을 담당 부서에 보내, 자체 서버 설치와 외부 호스팅 가운데 어느 쪽이 사내 규정에 맞는지 확인하십시오.