AI 시범 운영을 계속할지 결정하는 법: 시간은 줄었는데 누락이 생겼다면

자료 기준일: 2026-10-02. ax.learn.ai.kr 제조 AX 리더 과정 6단원(l06)의 교육용 가상 사례를 바탕으로 한 교육 노트이며, 외부 발표나 통계를 다루지 않습니다.

회의 실행표를 작성하고 검토하는 시간이 평균 60분에서 27.5분으로 줄었다면, AI 시범 운영을 확대해도 될까요? 시간만 보면 원래보다 절반 이상 줄었습니다. 그런데 같은 시험에서 결정 사항이 1건 빠졌다면 판단이 달라집니다.

제조 AX 리더 과정의 실행계획 단원은 이 질문을 계산과 운영 판단으로 나눠 다룹니다. 아래 회의 과제와 제품군 심사, 수치와 역할은 모두 이 단원의 교육용 가상 사례입니다.

시험 전에 성공 조건부터 정합니다

첫 실습의 대상은 내부 주간회의 1종입니다. 고객·인사·원가 안건은 제외하고, 승인된 익명 회의메모만 사용합니다. AI는 회의의 실행표 초안만 작성합니다. 원문을 확인하는 사람과 배포를 승인하는 사람은 따로 정합니다.

기준선은 작성과 검토를 합한 회당 평균 60분이며, 사전에 4회 측정했다는 설정입니다. 시범 목표는 검토를 포함해 평균 30분 이하로 줄이는 것입니다. 여기에 최종 평가 4회에서 결정 누락 0건, 무승인 배포 0건이라는 조건을 함께 둡니다.

시간 목표만 정하면 AI 초안 작성이 빨라진 것과 실제 업무가 빨라진 것을 혼동하기 쉽습니다. 초안 뒤에 사람이 확인하는 시간이 늘 수도 있기 때문입니다. 이 과제는 처음부터 작성과 검토를 합산해 재도록 설계했습니다. 누락과 배포도 별도 조건으로 둬서, 빨라졌다는 이유로 다른 오류를 넘어가지 않게 합니다.

평균 27.5분이 나오는 과정을 봅니다

중간 점검에는 다음 결과가 주어집니다.

회차	AI 초안 작성	사람 검토	합계	결정 누락	무승인 배포
1	10분	15분	25분	0건	0건
2	8분	17분	25분	1건	0건
3	12분	18분	30분	0건	0건
4	9분	21분	30분	0건	0건

합계의 평균은 27.5분입니다. 기준선 60분 대비 감소율은 약 54.17%이므로 시간 조건은 통과합니다. 사람이 확인한 시간까지 포함한 결과입니다.

하지만 품질 조건은 통과하지 못합니다. 2회차에서 메모에 흩어져 있던 결정 문장 중 하나를 AI가 미결 사항으로 분류했고, 검토자가 배포 전에 발견했습니다. 무승인 배포는 없었으므로 배포 조건은 통과합니다. 같은 시험 결과에서 시간은 통과, 누락은 실패, 배포는 통과가 나오는 것입니다.

실습은 이 자료를 90일 최종 평가가 아닌 중간 점검으로 제시합니다. 짧은 시험에서 시간이 줄었다는 관찰과 최종적으로 사용할 수 있다는 판정은 다릅니다.

교육용 중간 점검 사례. 시간이 줄어도 누락 조건을 통과하지 못하면 수정 후 재시험합니다. 도식 크게 보기

사람이 발견했으니 누락은 0건일까요?

이 사례에서 누락 지표는 원문 대조 단계에서 발견한 결정 누락도 포함합니다. 배포 전에 고쳤다고 기록을 지우면, AI 초안이 얼마나 자주 잘못되는지 알 수 없습니다. 검토자가 오류를 잡았다는 사실과 초안에 오류가 있었다는 사실을 함께 남겨야 합니다.

이 오류 하나로 모든 AI 작업을 중단하거나 문제가 없었다고 정리하지 않습니다. 어떤 문장을 어떤 기준으로 잘못 분류했는지 확인하고, 초안 작성 지시와 원문 대조 방법을 수정합니다. 그 다음 같은 기준으로 4회 재시험해 시간과 누락을 다시 봅니다. 실습이 제시하는 현재 판단은 수정 후 재시험이며, 곧바로 확대하는 것은 아닙니다.

시범 운영에서 사람의 검토가 잘 작동했다는 사실은 의미가 있습니다. 다만 그 검토 시간을 결과에서 빼거나 발견한 오류를 없던 것으로 처리하면, 다음 범위를 정할 근거가 약해집니다.

제품군별로 따로 판정합니다

다음 실습은 검사 지원을 다른 제품군으로 확대하는 상황입니다. 기존 제품군 A는 평가 50건 중 대기 사유 분류 정답이 49건으로 정확도 98%입니다. 신규 제품군 B는 20건 중 19건이 맞아 95%입니다.

확대 조건이 제품군별 분류 정확도 95% 이상이므로 이 항목만 보면 A와 B 모두 통과합니다. 그러나 확대 조건에는 규격 연결 오류 0건과 데이터 소유자·품질 검증자의 승인도 있습니다. B에서는 규격 연결 오류가 1건 있었고 품질 승인도 끝나지 않았습니다. 오류는 배포 전에 발견됐지만 0건 조건에는 여전히 포함됩니다.

A와 B를 합치면 분류 정답은 70건 중 68건으로 약 97.14%입니다. 이 평균만 보여 주면 결과가 좋아 보이지만, 신규 제품군의 규격 오류와 미완료 승인은 설명하지 못합니다. 그래서 실습에서는 제품군별로 계산하고 조건마다 따로 판단하게 합니다.

따라서 B의 확대는 보류합니다. B의 오류 원인을 수정하고 다시 평가한 결과, 규격 연결의 검증 결과와 필요한 승인을 확인한 뒤 재개 여부를 판단합니다. 이 사례는 AI에 출하 실행 권한을 주지 않습니다. 검사 지원 결과를 평가하는 일과 실제 출하를 승인하는 일을 구분해 둔 것입니다.

중단할 범위를 구체적으로 적습니다

‘계속 진행’이나 ‘중단’이라고만 쓰면 다음 행동이 불분명합니다. 내부 회의 실행표는 수정한 기준으로 재시험할 수 있고, 신규 제품군 B의 결과는 확대 적용을 보류할 수 있습니다. 어느 결과를 쓰지 않을지, 기존 방식으로 처리할 범위는 어디까지인지, 다시 판단하려면 어떤 증거가 필요한지를 적어야 합니다.

이 단원의 마지막 산출물에는 평균 시간과 함께 대상 업무, 허용·금지 입력, 담당자, 사람의 검토와 승인, 판정 기준, 다음 행동을 함께 기록합니다. 실제 업무로 바꿀 때 아직 측정하지 않은 값은 성과처럼 채우지 않고 측정 계획을 적습니다.

AI 시범 운영을 평가할 때는 “얼마나 빨라졌나” 다음 질문이 필요합니다. 어떤 오류를 어떤 단계에서 발견했는지, 어떤 조건을 아직 통과하지 못했는지까지 확인해야 계속할 범위를 정할 수 있습니다.

참고자료

• 제조 AX 리더 과정: AX 시작 계획을 세우고 실행하기