Ternary Bonsai 2, 노트북·휴대폰 실습 전에 볼 파일 크기와 실행 경로

노트북이나 휴대폰에서 AI 모델을 직접 실행하는 실습을 준비하려면 모델 파일이 그 기기의 메모리에 들어가는지부터 따져야 합니다. PrismML은 2026년 10월 15일 Ternary Bonsai 2 2B, 4B, 9B를 공개했습니다. 발표문에 따르면 Qwen3.5를 바탕으로 만든 소형 모델이고, 가중치는 Apache 2.0 라이선스로 공개됐습니다. 학교나 연구실, 사내 팀이 실습 모델로 검토할 때 확인할 내용을 PrismML 발표문과 Hugging Face 9B 모델 카드에 적힌 범위에서 정리했습니다. 모델을 직접 내려받거나 실행해 보지는 않았습니다.

1. 공개된 모델과 라이선스 표기

PrismML 발표문 첫 문장은 "Today, we’re expanding the Bonsai 2 family with three new ternary models based on Qwen3.5: Ternary Bonsai 2 2B, 4B, and 9B."입니다. 먼저 공개된 Bonsai 2 27B에 작은 모델을 더한 발표입니다. 새 모델은 가중치를 −1, 0, +1 가운데 하나로만 저장하는 3진(ternary) 방식을 씁니다. 발표문은 2B, 4B, 9B의 크기를 각각 0.43GB, 0.95GB, 2GB로 밝히고, 같은 모델을 원래 정밀도로 저장했을 때보다 9배 넘게 작다고 적었습니다.

모델	기반 모델	발표문의 크기	iPhone 18 Pro Max 최대 속도(회사 측정)
Ternary Bonsai 2 2B	Qwen3.5 2B	0.43GB	초당 120토큰
Ternary Bonsai 2 4B	Qwen3.5 4B	0.95GB	발표문 본문에 숫자 없음
Ternary Bonsai 2 9B	Qwen3.5 9B	2GB	초당 34토큰

라이선스는 발표문에 "Model weights are available today under the Apache 2.0 License."라고 적혀 있습니다. Apache 2.0은 상업적 이용과 수정, 재배포를 허용하는 오픈소스 라이선스입니다. 9B 모델 카드는 기반 모델을 "Derived from Qwen3.5-9B (architecture unchanged)"라고 표기하고, 라이선스 항목에는 "Apache 2.0, following the base model."이라고 적었습니다. 기반 모델의 라이선스를 따른다는 뜻이므로, 실습 자료로 배포하기 전에 Qwen3.5 쪽 라이선스 표기도 함께 확인하시면 됩니다. 이 글에서는 두 라이선스 파일의 전문을 대조하지 않았습니다.

2. 2GB와 실제로 올리는 파일

9B 모델 카드에는 같은 가중치를 저장 방식만 달리한 언어 모델 파일 3종이 있습니다. PTQ1_0이 2.00GB로 가장 작고, PQ2_0이 2.42GB, Q2_0이 2.56GB입니다. 발표문의 2GB는 가장 작은 PTQ1_0 파일의 크기와 같은 숫자입니다. 카드는 PQ2_0을 기본값으로 소개하고, PTQ1_0은 메모리가 가장 부족한 기기에 쓰라고 안내합니다.

이미지를 읽히는 실습이라면 파일이 하나 더 필요합니다. 카드에 따르면 이미지 입력은 별도 비전 파일(mmproj)로 처리하고 이미지가 들어올 때만 불러옵니다. 카드가 권하는 Q8_0 비전 파일은 0.62GB입니다. 기본 파일인 PQ2_0과 함께 쓰면 파일만 합쳐 약 3GB입니다(작성자 계산). 카드에 적힌 문맥 길이는 262,144토큰인데, 대화가 길어질 때 추가로 필요한 메모리 양은 카드에 적혀 있지 않아 확인하지 못했습니다.

응답 길이도 미리 정해야 합니다. 카드는 "Even simple prompts can use 3,000+ thinking tokens, so allow at least 8,192 output tokens with thinking on."이라고 안내하고, 짧은 답에는 생각 모드를 끄라고 권합니다. 회사가 밝힌 iPhone 최대 속도(9B, 초당 34토큰)로 단순 계산하면 생각 토큰 3,000개에만 1분 넘게 걸립니다(작성자 계산). 실제 속도는 기기와 설정에 따라 다릅니다.

3. 기기마다 다른 실행 경로

발표문은 실행 환경을 "Ternary Bonsai 2 2B, 4B, and 9B run on NVIDIA GPUs via llama.cpp and on Apple devices (Mac, iPhone, iPad) via MLX."라고 설명합니다. NVIDIA GPU가 달린 PC는 llama.cpp로, Mac과 iPhone, iPad는 MLX로 실행한다는 뜻입니다.

실행 경로는 PrismML 발표문, 파일 이름·크기·도구 조건은 Hugging Face 9B 모델 카드에 적힌 내용입니다. 기기별로 경로를 나눠 그린 배치와 파일 합계는 작성자가 정리했습니다.

세부 조건은 모델 카드에 있습니다. 3진 연산 기능은 PrismML이 따로 관리하는 llama.cpp 포크(prism 브랜치)에 들어 있습니다. 카드는 "Upstream llama.cpp runs only Q2_0 (recent master, which includes the Hadamard activation runtime); it rejects PQ2_0 and PTQ1_0 as unknown types."라고 적었습니다. 실습 PC에 원래 llama.cpp만 설치돼 있다면 기본 파일인 PQ2_0을 열 수 없고, Q2_0 파일을 쓰거나 PrismML 포크를 따로 준비해야 합니다.

Apple 기기는 같은 가중치를 MLX용으로 바꾼 mlx-2bit 버전을 씁니다. 카드에 따르면 mlx-vlm 0.7.8 이상에서 불러올 수 있고, 현재 배포된 mlx-lm으로는 아직 불러오지 못합니다. iPhone과 iPad에서 실습에 쓸 앱이나 설치 절차는 이 글에서 확인하지 않았습니다.

4. 성능과 속도 숫자를 읽을 때

발표문의 성능과 속도 수치는 모두 PrismML이 직접 측정한 결과입니다. 측정 방법은 백서에 있다고 안내하지만, 이 글에서는 백서를 열어 보지 않았습니다.

벤치마크는 19종이고, 같은 크기의 원래 Qwen3.5 모델 점수를 얼마나 유지했는지(유지율)로 정리돼 있습니다. 9B는 지시 따르기 100.0%, 코딩 100.1%로 원래 모델과 비슷하지만, 지식·추론은 93.0%, 에이전트·도구 호출은 92.4%입니다. 항목별로 보면 9B의 GPQADiamond는 84.7%, Tau2Bench는 85.7%입니다. 2B는 GPQADiamond 67.7%, 문서 이해 항목인 Omni_doc 77.5%로 더 낮고, Tau2Bench와 AIME26은 점수가 없습니다(N/A). 모델이 작을수록 지식·추론 항목에서 차이가 커지는 셈입니다.

속도는 M5 Max Pro에서 9B가 초당 최대 179토큰, 2B가 최대 310토큰이라고 밝혔습니다. RTX 4090과 M5 Pro에서는 원래 정밀도 모델보다 처리량이 최대 5배, 에너지 효율이 최대 3배라고 합니다. 9B가 토큰을 약 40% 덜 쓴다는 설명은 "standard instruction-following and everyday math tasks"에 한정된 회사 측정입니다.

한국어 지원은 발표문과 9B 모델 카드에 적혀 있지 않습니다. 한국어 질문으로 수업이나 업무를 할 계획이라면 위 수치와 별도로 직접 확인해야 합니다.

5. 실습 전에 준비할 것

먼저 실습에 쓸 기기를 NVIDIA GPU가 달린 PC, Mac, iPhone·iPad로 나누고, 기기마다 메모리 용량을 적어 두십시오. 메모리가 넉넉하지 않은 기기는 2B나 4B부터 검토하고, 이미지 실습이 필요하면 비전 파일 크기까지 더해서 보시면 됩니다.

다음으로 실행 도구를 정합니다. NVIDIA GPU PC는 PrismML llama.cpp 포크를 쓸지, 원래 llama.cpp에 Q2_0 파일을 쓸지 정하고, Mac은 mlx-vlm 버전이 0.7.8 이상인지 확인하십시오.

마지막으로 수업에서 실제로 쓸 한국어 질문 10개를 골라, 담당자 1명이 생각 모드를 끈 상태와 켠 상태에서 답의 품질과 응답 시간을 기록하게 하면 됩니다. 회사가 밝힌 수치보다 이 기록이 실습 계획에 더 쓸모 있습니다.