에이전트의 '완료' 보고 대신 실행 기록에서 찾을 실패 신호

에이전트에게 일을 맡기면 마지막에 "완료했습니다"라는 보고가 옵니다. 도입 초기에는 담당자가 결과물을 하나씩 열어 확인하지만, 맡기는 건수가 늘면 모든 건을 사람이 다시 볼 수는 없습니다. 이럴 때는 보고문 대신 에이전트의 실행 기록에서 실패 신호를 찾도록 기준을 정해 두면 됩니다. Laminar는 2026년 10월 2일 공식 블로그에서 이 실행 기록을 읽고 실패를 찾아내는 모델 flow-1을 발표했습니다. 발표된 지 일주일이 지난 소식이라 제품 소개는 짧게 하고, 발표 내용을 근거로 운영자가 실행 기록에서 무엇을 볼지 정리했습니다.

1. Laminar가 발표한 flow-1과 제공 방식

Laminar 블로그는 flow-1을 에이전트 실행 기록(trace)을 이해하기 위한 새 모델로 소개했습니다. 강화학습으로 훈련해 찾기 어려운 실패를 식별하고, 그 실패가 왜 일어났는지 설명하도록 만들었다고 밝혔습니다. 실행 기록은 에이전트가 일하는 동안 거친 단계와 단계마다 주고받은 내용을 기록한 것입니다.

발표 글은 flow-1을 Laminar의 Signals 기능에서 써 보라고 안내합니다. 공식 문서는 Signals를 에이전트 실행 기록을 분석해 실패를 찾고, 이를 모니터링하고 알림을 걸 수 있는 구조화된 이벤트로 바꾸는 기능으로 설명합니다. 같은 문서에 따르면 새 프로젝트마다 Failure Detector Signal이 기본으로 포함되어 있고, 프로젝트에서 Signals를 열면 찾아낸 내용을 볼 수 있습니다. 발표 글에는 베타나 프리뷰 표시가 없습니다.

발표 글에 적힌 flow-1 요금은 입력 토큰 100만 개당 0.05달러, 캐시된 입력 0.01달러, 출력 0.30달러입니다. 토큰은 AI가 글을 나눠 처리하는 단위입니다. Signals 기능 자체의 요금제와 무료 사용 범위는 이번에 확인하지 못했습니다. 지역 제한은 공식 글에 적혀 있지 않고, 한국어 실행 기록에서의 성능도 원문에 나오지 않습니다. 이 글을 쓰면서 Signals를 직접 실행해 보지는 않았습니다.

2. 회사 발표 수치는 조건과 함께 읽습니다

Laminar는 자체 벤치마크에서 flow-1이 실패 탐지 품질에서 GPT-6-sol과 같은 수준이면서 비용은 23배 낮았다고 발표했습니다. 비교할 때는 같은 Signals 에이전트를 쓰고, 코딩·법률·고객 지원·CRM 등 여러 분야의 어려운 실행 기록 523건으로 다른 최신 모델들과 견줬다고 적었습니다. 발표 글 제목은 비용을 '20분의 1'로, 본문은 '23배 저렴'으로 적고 있으니 인용할 때는 본문 수치와 비교 조건을 함께 옮기시기 바랍니다.

Signals 문서에는 토큰 10만 개 분량의 실행 기록 1,000건을 처리하는 데 평균 3.5달러가 든다는 문장도 있습니다. 이 문서에는 날짜가 없고, 이번에 확인한 문장만으로는 어느 모델을 기준으로 계산했는지 알 수 없습니다.

작성자 판단으로는 이 수치를 우리 업무에서도 같은 결과가 나온다는 뜻으로 읽기 어렵습니다. 523건은 회사 자체 벤치마크이고, 이번에 확인한 발표 문장에는 분야별 건수가 나오지 않습니다. 우리 에이전트의 기록으로 직접 견줘 보기 전까지는 참고 수치로만 쓰시면 됩니다.

항목	공식 발표·문서에 적힌 내용	이번 조사에서 확인하지 못한 것
발표	2026년 10월 2일 Laminar 공식 블로그	외부 기관의 검증 여부
하는 일	찾기 어려운 실패를 식별하고 원인을 설명	한국어 실행 기록에서의 성능
성능 비교	자체 벤치마크 523건, 탐지 품질은 GPT-6-sol 수준, 비용은 23배 저렴	분야별 건수
요금	입력 100만 토큰당 0.05달러, 캐시된 입력 0.01달러, 출력 0.30달러	Signals 요금제와 무료 범위
제공 방식	Signals 기능에서 사용, 베타 표시 없음	지역 제한

3. 완료 보고와 실행 기록을 따로 확인해야 하는 이유

완료 보고는 에이전트가 자기 작업을 요약한 문장입니다. 중간 단계에서 도구 호출이 실패했더라도 마지막 요약은 '완료'로 끝날 수 있습니다. 실행 기록에는 단계마다 무엇을 요청했고 무엇을 받았는지가 있으므로, 보고문과 기록을 맞춰 보면 그 차이를 찾을 수 있습니다.

Laminar가 찾기 어려운 실패를 식별하고 원인까지 설명하는 모델을 따로 훈련했다는 점을, 작성자는 결과 보고만으로는 드러나지 않는 실패를 별도로 찾아야 한다는 뜻으로 읽습니다. 아래 도식은 고객 문의에 답하는 에이전트의 실행 기록을 예시로 만들고, 운영자가 표시해 둘 만한 신호를 단계마다 붙여 본 것입니다.

실행 기록 5단계는 교육용 예시이고, 단계별 실패 신호와 판정 조건은 작성자가 구성했습니다. flow-1이나 Signals가 이 신호를 찾는다는 공식 설명은 아닙니다.

4. 운영자가 정할 실패 신호와 처리 기준

실패 신호 목록은 업무마다 다르게 정해야 합니다. 작성자는 예시로 다음 신호부터 목록에 넣어 보시길 권합니다.

• 도구가 오류를 반환했는데 에이전트가 다음 단계로 넘어간 경우
• 조회 결과 없이 답변이나 문서를 작성한 경우
• 같은 검색이나 호출을 여러 번 반복한 경우
• 업무 절차에 있는 단계를 건너뛴 경우
• 완료 보고에 적힌 내용과 기록상 결과가 다른 경우

신호를 정했으면 신호가 나왔을 때 누가 무엇을 할지도 정합니다. 고객에게 바로 나가는 답변처럼 되돌리기 어려운 업무는 신호 1건만 나와도 담당자에게 알림을 보내 사람이 확인하게 하고, 내부 참고 자료처럼 고치기 쉬운 업무는 주간 검토 때 모아서 보는 식으로 나눌 수 있습니다. 신호가 없는 건도 일부는 사람이 표본으로 확인해야 목록이 놓친 실패를 발견할 수 있습니다.

Signals 문서는 찾아낸 실패를 모니터링과 알림에 쓰는 이벤트로 바꾼다고 설명합니다. 도구가 실패를 찾아 주더라도 어떤 이벤트에 알림을 걸고 누가 받을지는 운영자가 정해야 합니다.

5. 이번 주에 해 볼 첫 점검

에이전트에 맡긴 업무 1개를 고르고, 최근 실행 10건의 실행 기록을 모으십시오. 건마다 완료 보고와 실행 기록을 나란히 놓고, 보고에는 없는데 기록에는 있는 오류·반복·건너뛴 단계를 적습니다. 적은 항목을 위 예시와 견줘 우리 업무의 실패 신호 목록 초안을 만들고, 신호마다 알림을 받을 사람과 확인 기한을 한 줄씩 붙이면 됩니다.

Laminar를 이미 쓰고 있다면 공식 문서 안내대로 프로젝트에서 Signals를 열어 Failure Detector가 찾은 내용과 직접 만든 목록을 비교해 보십시오. 한국어 기록에서의 성능은 발표에 나오지 않으므로, 이 비교에서 겹친 항목과 놓친 항목을 확인한 뒤 자동 점검에 맡길 범위를 정하시면 됩니다.