ColGrep-Agent-2B로 코딩 에이전트 토큰을 줄이기 전 확인할 것

LightOn은 2026년 10월 12일 Hugging Face 블로그에 ColGrep-Agent-2B를 공개했습니다. 글 첫머리는 코딩 에이전트가 버그를 고치기 전에 이름을 검색하고 파일을 열고 참조를 따라가는 일을 여러 차례 반복하며, 그 단계마다 대형 모델을 거친다고 설명합니다. ColGrep-Agent-2B는 이 검색을 PC 안에서 맡는 작은 모델입니다. 글은 모델을 "an open 2-billion-parameter code-search agent that runs locally and sits between your coding agent and the repository"라고 소개합니다. 20억 개 파라미터 크기의 공개 모델이 코딩 에이전트와 저장소(코드를 모아 둔 폴더) 사이에서 검색한다는 뜻입니다. 토큰 비용을 줄이려고 이런 소형 검색 모델을 붙이기 전에 확인할 조건을 공식 글과 모델 카드에 적힌 범위에서 정리했습니다. 모델을 직접 설치해 실행하지는 않았습니다.

1. 검색만 작은 모델이 맡는 구조

LightOn 글은 이름 3개를 구분합니다. ColGrep은 의미 기반 코드 검색 엔진(단어가 달라도 뜻이 가까운 코드를 찾는 검색)이고, ColGrep-Agent-2B는 모델이며, colgrep --agent는 이 모델을 ColGrep, 읽기 전용 터미널과 함께 실행하는 명령입니다. 질문을 받은 모델은 ColGrep으로 검색하고 파일을 읽은 뒤 관련 파일 경로, 줄 범위, 해당 코드를 코딩 에이전트에 넘깁니다. 한 질문에 쓸 수 있는 차례는 10번으로 제한되어 있습니다. 모델 카드에 따르면 기반 모델은 openbmb/MiniCPM5-2B입니다. 글이 연결한 논문은 2026년 10월 4일 arXiv에 제출됐으며, 이 글에서는 내용을 따로 검토하지 않았습니다.

작성자 해석을 덧붙이면, 검색은 PC 안에서 처리되지만 찾은 코드는 결국 코딩 에이전트에게 전달됩니다. 블로그는 검색과 에이전트 추론에서 코드가 기기 밖으로 나갈 필요가 없다고 적었습니다. 그러나 이 결과를 받아 쓰는 코딩 에이전트가 클라우드 모델이라면 넘겨받은 코드는 그 모델에 들어갑니다. 사내 코드 반출 기준은 이 도구와 별개로 확인해야 합니다.

2. 34%라는 숫자가 나온 조건

토큰 절감 수치는 LightOn이 직접 측정한 결과입니다. Sonnet 5.5로 실행한 Claude Code에 2026년에 만들어진 공개 저장소 13개, 질문 52개를 주고, 검색 방식을 바꾼 설정 4개에서 질문마다 3번씩 실행해 모두 624개 세션을 비교했습니다. 글은 결과를 "When Claude Code used ColGrep-Agent as its search tool (colgrep settings --hook-mode agent), it consumed 34% fewer API tokens than grep."라고 적었습니다. 질문당 API 토큰은 기본 검색(Grep) 142k에서 93k로 줄었고, 절감률은 34.3%, 95% 신뢰구간은 28%에서 40%입니다. 이 합계에는 로컬 2B 모델이 만든 토큰이 들어 있지 않습니다. 과금되지 않는 토큰이라 제외했다고 원문에 적혀 있습니다.

같은 단락에는 단서가 붙어 있습니다. 원문은 "These results are for code-search questions, not end-to-end coding tasks."라고 밝혔습니다. 버그를 고치고 테스트하는 작업 전체의 비용이 34% 줄었다는 뜻으로 읽으면 안 됩니다. 저장소 크기에 따라서도 차이가 있었습니다. LightOn은 5만 줄 미만 저장소에서 19%, 5만에서 15만 줄 사이에서 29%, 15만에서 60만 줄 사이에서 40%를 절감했다고 밝혔습니다.

수치는 LightOn이 Hugging Face 블로그(2026년 10월 12일)에 밝힌 자체 측정 결과입니다. Claude Code와 Sonnet 5.5, 저장소 13개, 질문 52개, 설정마다 질문당 3번 실행한 조건입니다. 막대 배치와 비교 구성은 작성자가 정리했습니다.

3. 토큰이 줄어든 대신 늘어난 시간

같은 측정에서 질문당 걸린 시간은 기본 검색 13.0초에서 ColGrep-Agent 21.6초로 늘었습니다. LightOn의 GPU 서버에서 로컬 에이전트 호출 1번은 중앙값 7초, 90번째 백분위 22초가 걸렸습니다. 정답 비율은 기본 검색 83.3%, ColGrep-Agent 80.8%로 2.6%포인트 낮았습니다. 95% 신뢰구간은 -10.9에서 +5.1%포인트입니다. LightOn은 이 차이가 통계적으로 유의하지 않지만, 구간이 넓어 의미 있는 하락 가능성을 배제할 수 없다고 직접 적었습니다.

글은 중간 선택지로 균형 설정(Balanced)도 측정했습니다. 이름이나 패턴을 찾을 때는 일반 colgrep을, 동작을 묻는 질문에는 colgrep --agent를 쓰게 하는 설정입니다. 토큰은 21.2% 줄었고, 관측된 정답 비율은 83.3%로 기본 검색과 같았으며, 질문당 17.7초가 걸렸습니다. Claude Code 연동의 기본값도 이 균형 설정(colgrep settings --hook-mode hybrid)입니다. 연동은 hooks(정해진 시점에 실행되는 설정)로 검색 도구를 제안할 뿐 사용을 강제하지 않는다고 글은 설명합니다. 작성자 판단으로는 응답 속도가 중요한 대화형 작업이면 균형 설정을 먼저 보고, 큰 저장소를 오래 탐색하는 작업이면 에이전트 설정을 함께 비교하는 편이 좋습니다.

4. 붙이기 전에 확인할 항목

항목	공식 자료에 적힌 내용	이 글에서 확인하지 못한 것
라이선스	모델 카드 license 항목: apache-2.0	학습 데이터별 이용 조건
실행 환경	기본 모델 파일 약 2.5GB, Python 환경·별도 추론 서버·API 키 불필요, GPU가 없으면 CPU로 실행	사내 PC 사양에서의 실제 속도
속도 예시	M3 Pro에서 Metal 사용 시 질문당 약 20초, 최대 메모리 3GB에서 4GB	CPU만 있는 PC의 속도
연결 대상	Claude Code, Codex, OpenCode용 연동 설치 명령 제공	Claude Code 외 도구의 토큰 절감 수치
언어	모델 카드 language 항목 en, 측정 저장소는 Rust·Go·TypeScript·Python	한국어 질문과 한국어 주석이 많은 저장소에서의 성능

측정은 Claude Code로만 진행했으므로, Codex나 OpenCode에서도 같은 폭으로 토큰이 줄어든다고 볼 근거는 공식 글에 없습니다.

5. 이번 주에 해 볼 일: 요청 기록부터 나눠 보기

지난주 코딩 에이전트에 맡긴 요청 10건을 골라, "이 기능이 어디에 구현돼 있나"처럼 코드 위치를 찾는 질문이 몇 건인지 세어 보십시오. 함께 저장소의 코드 줄 수도 적어 두십시오. 위치 찾기 질문이 적거나 저장소가 5만 줄 미만이라면, LightOn 측정에서도 절감 폭이 19%로 가장 작았으므로 도입 우선순위를 낮춰도 됩니다. 시험해 보기로 했다면 같은 질문을 기본 검색과 나란히 실행하고 토큰, 걸린 시간, 정답 여부를 한 표에 기록하십시오. 찾은 코드가 어느 클라우드 모델로 전달되는지도 같은 표에 적어 두면 사내 보안 검토 자료로 쓸 수 있습니다.