Underdog Saluki 27B로 노트북 에이전트를 시험하기 전 확인할 것

사내 문서를 외부 AI 서비스로 보낼 수 없는 부서에서는 노트북 안에서만 실행되는 모델로 에이전트를 만들 수 있는지부터 따지게 됩니다. Underdog 팀은 2026년 10월 7일 발표 페이지에서 도구 호출 용도의 오픈소스 모델 Saluki 27B를 공개했습니다. 도구 호출은 모델이 미리 정해 둔 기능(파일 검색, 일정 조회 등) 가운데 무엇을 쓸지 고르고 필요한 값을 채워 요청하는 동작입니다.

발표 페이지에 따르면 Saluki는 7.89GB 파일 하나로 표준 llama.cpp에서 실행되고, 실행 환경은 16GB 노트북으로 표시돼 있습니다. llama.cpp는 개인 컴퓨터에서 언어 모델을 실행하는 오픈소스 프로그램입니다. 다만 Underdog은 이번 공개본을 프리뷰 체크포인트라고 밝혔고, 성능 수치도 회사가 직접 고르고 실행한 평가에서 나왔습니다. 노트북에서 도구 호출 에이전트를 시험하려는 실무자가 무엇을 확인하면 되는지 정리했습니다.

1. 발표 페이지와 모델 카드에서 확인한 내용

Underdog은 발표 페이지에 "We squeezed it into a 7.89 GB file that runs on standard llama.cpp."라고 적었습니다. 같은 페이지는 Saluki가 표준 llama.cpp 형식을 쓰기 때문에 별도 빌드 없이 llama.cpp와 llama.cpp 기반 앱에서 불러올 수 있다고 설명합니다. 작성자는 회사 전용 실행 프로그램을 따로 설치하지 않아도 되므로 사내 보안 검토에서 확인할 프로그램 수가 줄어든다고 봅니다.

Underdog은 "Saluki is open source."라고 밝혔고, Hugging Face 모델 카드에는 라이선스가 Apache 2.0으로 표시돼 있습니다. 모델 카드에는 날짜 표시가 없어 공개일 근거로는 발표 페이지만 썼습니다. 모델 카드에서 내려받아 자기 장비에서 실행하는 방식이라, 요금제나 지역 제한은 발표 페이지에 적혀 있지 않습니다.

발표 페이지는 이번 공개본이 텍스트를 받아 텍스트로 답하고 이미지는 받지 않는다고 적었습니다. 반면 모델 카드는 본 파일이 텍스트 전용이고, 선택 사항인 비전 추가 파일을 함께 내려받으면 이미지도 보낼 수 있다고 안내합니다. 두 설명이 같은 뜻인지는 확인하지 못했습니다. 스캔 문서나 사진을 다뤄야 하는 업무라면 내려받은 파일 구성과 실제 동작을 직접 확인하십시오. 프리뷰 체크포인트는 미리 보기 단계로 공개한 모델 파일을 말합니다. 이후 공개본에서 성능과 동작이 달라질 수 있으니 시험 기록에는 내려받은 날짜를 함께 적으십시오.

2. 자료가 밖으로 나가는지는 연결한 도구가 정합니다

모델을 노트북에서 실행하면 요청 문장과 모델의 답은 노트북 안에서 처리됩니다. 하지만 에이전트는 모델 혼자 일하지 않습니다. 모델이 고른 도구를 실제로 실행하는 프로그램이 따로 있고, 그 도구가 웹 검색이나 외부 서비스 API라면 요청에 담긴 사내 문장이 그 서비스로 전송됩니다.

그래서 노트북에서 실행되는 모델을 골랐다는 사실만으로 자료가 밖으로 나가지 않는다고 판단하면 안 됩니다. 에이전트에 연결할 도구를 하나씩 적고, 각 도구가 노트북 안의 파일만 다루는지 외부 서버와 통신하는지 표시하십시오. 외부와 통신하는 도구는 연결하지 않거나, 그 도구로 보낼 수 있는 자료 범위를 미리 정하면 됩니다.

원문 사실: 7.89GB 파일, 표준 llama.cpp에서 별도 빌드 없이 실행, 16GB 노트북 표시, 프리뷰 공개본, 병렬 호출에 너그러운 파서를 쓰라는 권고는 Underdog이 2026년 10월 7일 발표 페이지에 적은 내용입니다. 노트북 경계 안팎의 도구 구분, 파일 검색·웹 검색·외부 서비스 API 예시와 확인 항목은 작성자가 구성했습니다.

3. 여러 도구를 한 번에 부르는 동작은 따로 시험합니다

병렬 호출은 모델이 한 번의 답에서 여러 도구를 함께 요청하는 동작입니다. 예시로, "서울과 부산 지점의 이번 주 재고를 조회해 줘"라는 요청에 재고 조회 도구를 지점별로 한 번씩 부르는 경우가 있습니다.

Underdog은 발표 페이지에서 "Use a forgiving tool-call parser for parallel calls."라고 권했습니다. 파서는 모델이 쓴 도구 요청을 읽어 실제 실행 명령으로 바꾸는 코드입니다. 같은 페이지는 여러 도구를 부르는 답 일부가 조금 다른 형식으로 나온다고 설명하고, 회사 자체 시험 100건에서 형식을 너그럽게 읽는 파서로는 55건, 엄격하게 읽는 파서로는 42건을 통과했다고 적었습니다.

작성자는 이 권고를, 지금 쓰는 에이전트 도구가 형식을 엄격하게 검사한다면 병렬 요청 일부가 실행되지 않고 빠질 수 있다는 뜻으로 읽습니다. 업무에 병렬 호출이 필요하면 실제 요청 문장으로 빠지는 호출이 없는지 먼저 확인하십시오.

4. 성능 수치는 회사 자체 평가로 읽습니다

Underdog은 Berkeley Function Calling Leaderboard 과제 120개를 골라 만든 자체 도구 호출 평가 Underdog Bench에서 Saluki가 88개를 통과했다고 발표했습니다. 회사 자체 평가이고, 회사도 120개는 많지 않은 시험이라 몇 건 차이는 실행마다 달라지는 정도일 수 있다고 적었습니다. 다른 기관이 같은 결과를 재현했는지는 확인하지 못했습니다. 한국어 요청 문장에서의 성능은 발표 페이지에 언급이 없습니다. 국내 업무에 쓰려면 한국어로 쓴 실제 요청으로 도구를 맞게 고르는지 직접 확인해야 합니다.

확인 항목	발표 자료에서 확인한 내용	확인하지 못한 것
제공 상태	2026년 10월 7일 공개, 프리뷰 체크포인트	이후 공개본 일정
실행 환경	7.89GB 파일, 표준 llama.cpp, 16GB 노트북 표시	실제 응답 속도
라이선스	오픈소스, 모델 카드에 Apache 2.0 표시	모델 카드 표시 날짜
입력 형식	발표 페이지는 텍스트 입력·출력, 모델 카드는 선택 사항인 비전 추가 파일 안내	두 설명의 관계, 이미지 입력 동작
성능	회사 자체 평가 120개 과제 중 88개 통과	독립 재현, 한국어 성능
병렬 호출	너그럽게 읽는 파서 사용 권고	우리 에이전트 도구에서의 동작

5. 이번 주에 해 볼 첫 단계

노트북 안에서 처리하고 싶은 업무 1건을 고르고, 그 업무에 필요한 도구를 적어 보십시오. 예시로, 사내 규정 폴더에서 출장비 기준을 찾아 요약하는 업무라면 폴더 검색 도구와 문서 읽기 도구가 필요하고, 이 도구들은 모두 노트북 안의 파일만 다룹니다. 도구마다 외부 통신 여부를 표시한 다음, 보안 담당에게 모델 파일 반입과 Apache 2.0 라이선스 조건을 확인받으십시오. 반입이 허용되면 한국어 요청 문장 10개를 만들어 Saluki가 맞는 도구를 고르는지, 병렬 호출이 빠지지 않는지 기록하면 됩니다.