Granite Switch 4.1, 한 서버에서 대화·판정·안전 검사를 바꿔 쓸 때 확인할 것

답변을 만드는 일, 문의를 분류하는 일, 위험한 입력을 거르는 일을 각각 다른 모델로 처리하면 그만큼 운영할 서버와 관리할 모델이 늘어납니다. IBM은 이 기능들을 모델 하나에 묶은 Granite Switch 4.1을 Hugging Face에 공개했습니다. 8B 모델 카드에 적힌 공개일(Release Date)은 2026년 10월 14일이고, IBM Granite 팀은 그리니치 표준시 기준 10월 15일 Hugging Face 블로그에 소개 글을 올렸습니다. 모델은 8B와 30B 크기로 나왔고 라이선스는 Apache 2.0입니다.

이 글은 IBM 블로그와 8B 모델 카드에 적힌 범위에서, 한 모델 안에서 기능을 바꿔 쓰는 방식과 그 한계를 정리했습니다. 교육기관이나 사내 팀이 검토할 때 확인할 내용을 중심으로 썼고, 모델을 직접 내려받거나 실행해 보지는 않았습니다.

1. 체크포인트 하나에 묶인 구성

모델 카드는 Granite Switch 4.1 8B를 기본 모델과 여러 어댑터, 음성 인코더를 합친 모듈형 모델이라고 설명합니다. 어댑터는 기본 모델 위에 덧붙여 특정 작업만 하도록 학습한 작은 추가 가중치입니다. 이 체크포인트(배포용 모델 파일 묶음)에 들어 있는 구성은 다음과 같습니다.

구성 요소	모델 카드의 설명	결과 형태
기본 모델 Granite 4.1 8B	80억 매개변수, 128K 문맥	일반 대화 답변
Decision 어댑터(aLoRA)	상황과 이름 붙은 선택지를 받아 선택지별 확률을 한 번에 계산	선택지별 확률
Guardian Core 어댑터(aLoRA)	위해, 탈옥 시도, 욕설, 폭력, 성적 내용, 사회적 편향, 비윤리적 행동 위험 탐지	yes 또는 no
Granite Speech 5.0 TurboCTC	4억 7천만 매개변수, 영어 음성 인식	전사문

IBM 블로그는 "All three of these technologies (along with the underlying base model) are composed into one model, taking up approximately the same amount of VRAM on a GPU as the base model would by itself."라고 적었습니다. 기본 모델만 올릴 때와 비슷한 GPU 메모리로 판정 어댑터와 음성 인식까지 쓸 수 있다는 회사 설명입니다. 이 글에서 메모리 사용량을 따로 측정하지는 않았습니다. 30B 모델은 같은 구성에 30B 기본 모델을 쓴다고 모델 카드에 적혀 있습니다.

2. 요청마다 기능을 고르는 방식

모델 카드에는 "Both adapters live in one checkpoint, served by one running vLLM server."라는 문장이 있습니다. vLLM(언어 모델을 API 서버로 띄우는 오픈소스 실행 도구) 서버 하나를 띄워 두고, 요청에 넣는 adapter_name 값으로 판정 어댑터를 켭니다. 값이 decision이면 선택지별 확률이 돌아오고, guardian-core면 {"score": "yes"}나 {"score": "no"} 형태의 JSON이 돌아옵니다. 값을 넣지 않은 요청은 일반 대화로 처리됩니다.

음성은 방식이 조금 다릅니다. 요청에 wav 음성을 함께 보내면 내장된 음성 인식 모델이 먼저 받아 적고, 모델 카드 표현대로 그 전사문이 음성 대신 대화 문맥에 들어갑니다. 모델 카드는 별도 음성 서버가 필요 없다고 설명합니다.

모델 카드의 Decision 예시는 지급이 3번 실패했다는 고객 문의를 보여 주고, 어느 팀이 맡을지 A(지급·결제), B(로그인·계정), C(기타) 가운데서 고르게 합니다. 교육 현장에 옮기면 이런 구성을 생각해 볼 수 있습니다(예시). 수강생 질문 게시판 글을 실습 오류, 계정·접속, 수업 내용, 기타로 나누는 데 decision을 쓰고, 같은 서버에서 guardian-core로 부적절한 글을 표시한 뒤, 기본 모델로 답변 초안을 만드는 방식입니다.

구성 요소, 결과 형태, 한계 문구는 IBM 8B 모델 카드의 설명을 옮겼고 칸 배치와 화살표는 작성자가 정리했습니다. 한국어 입력에 대한 어댑터 평가는 모델 카드에 없습니다.

3. 한국어 수업과 업무에 쓸 때 걸리는 점

기본 모델 Granite 4.1 8B의 지원 언어 목록에는 한국어(Korean)가 들어 있어, 대화 답변은 한국어로 시험해 볼 수 있습니다.

음성 인식은 사정이 다릅니다. 모델 카드는 음성 인식의 한계를 "it is English-only, produces lowercase/unpunctuated transcripts"라고 적었습니다. 모델 카드 기준으로는 한국어 강의 녹음이나 회의 음성을 이 모델 하나로 처리할 수 없습니다. 또 음성 인식 모델은 언어 모델이나 어댑터와 함께 학습되지 않았기 때문에, 영어 음성이라도 잘못 받아 적은 문장이 그대로 답변과 판정에 영향을 줄 수 있다고 모델 카드는 설명합니다.

Decision과 Guardian Core 어댑터가 한국어 입력에서 얼마나 정확한지는 모델 카드에 평가가 없어 확인하지 못했습니다. 모델 카드가 보여 주는 Guardian Core 판정 기준 문장도 영어입니다.

4. 판정 결과와 점수를 읽는 법

모델 카드는 Decision 결과에 대해 선택지 확률을 "as a prior to inform a decision, not a certified classification, on domains it wasn't trained for"로 다루라고 적었습니다. 학습하지 않은 분야에서는 확정된 분류로 쓰지 말고 판단을 돕는 참고값으로 쓰라는 뜻입니다. Guardian Core에 대해서도 추가 안전 장치일 뿐 "not a substitute for application-level safety testing"이라고 밝혔고, 이 체크포인트에는 사실성 검사나 정책 가드레일 어댑터가 들어 있지 않다고 적었습니다.

점수도 회사가 직접 측정한 결과입니다. IBM은 Decision 어댑터를 Decision Index v0.3의 공개 빠른 평가 세트 1,068행으로 측정해 0에서 100 사이 점수 중 종합 42.9점을 모델 카드에 올렸습니다. 블로그는 안전 관련 판정에서 Guardian 어댑터가 다른 회사 판정 모델보다 평균적으로 앞선다고 주장하지만, 이 글에서는 비교 조건을 확인하지 못했습니다.

작성자 해석으로는, 판정 결과를 자동 처리에 바로 쓰기보다 확률이 애매하게 나온 건을 사람이 다시 보는 흐름으로 설계하는 편이 모델 카드의 안내와 맞습니다.

5. 서버 담당자와 맞춰 볼 실행 환경

모델 카드의 요구 환경은 Python 3.9 이상, PyTorch 2.11.0 이상, Transformers 5.16 이상 5.17.0 이하입니다. vLLM은 선택 사항이며 0.26.0 이상 0.28.0 미만 버전으로 적혀 있습니다. 블로그는 vLLM에서 플러그인으로 실행된다고 설명합니다. 이미 vLLM 서버를 운영하는 조직이라면 버전 범위부터 맞는지 확인하셔야 합니다.

Decision에 선택지를 많이 주는 경우도 미리 알아 두면 좋습니다. 모델 카드에 따르면 vLLM은 요청 하나에 확률을 받을 선택지 토큰을 128개까지만 허용하므로, 선택지가 128개를 넘으면 요청을 나눠 보내야 합니다. 모델을 올리는 데 필요한 GPU 메모리 용량은 모델 카드에 숫자로 적혀 있지 않아 확인하지 못했습니다.

6. 이번 주에 해 볼 일

1. 이 모델에 맡길 기능을 대화, 분류, 안전 검사, 음성 인식 중에서 표시하십시오. 음성 자료가 한국어라면 음성 인식은 다른 도구로 처리한다고 정해 두면 됩니다.
2. 실제 문의나 게시판 글 가운데 개인정보를 지운 30건을 골라 담당자가 먼저 분류 기준대로 라벨을 붙이십시오. 나중에 decision 결과와 비교할 기준이 됩니다.
3. 서버 담당자에게 현재 vLLM, PyTorch, Transformers 버전이 모델 카드의 범위 안에 있는지 확인을 요청하십시오.

사람이 붙인 라벨과 모델 결과가 다른 건을 모아 보면, 한국어 문의에서 어느 분류를 사람이 계속 맡을지 정할 수 있습니다.