사실 검증 조건: AI 검수자가 제안한 두 문장, 왜 다시 반려됐나

AI가 제안한 수정 문장도 원문과 다시 대조해야 한다. 출처가 존재하는지보다 그 출처의 조건이 실제 문장에 남아 있는지가 승인 기준이다. 2026년 10월 13일 검수 기록에는 이전 검수자가 제안한 문장 두 곳을 다시 FAIL로 돌린 사례가 남아 있다.

AI의 설명을 문서나 안내문에 옮기는 개발자라면 이 차이가 중요하다. 검수 요청에 “사실을 확인해”만 적지 말고, 주장·출처·문장과 반려 조건을 같이 넘겨야 한다.

검수자의 문장도 왜 틀렸을까

해당 기록에서 형식 검사와 가독성 검사는 통과했다. 그런데 원고 A의 첫 답과 원고 B의 결론은 각 원고가 보관한 근거와 맞지 않았다. 두 문장 모두 앞선 검수자가 직접 제안했던 표현이었다.

한 문장은 적용 대상을 넓혔다. 다른 문장은 특정 선택지의 기한을 모든 선택지의 소멸로 바꿨다. 문장은 매끈했지만 출처가 허용한 범위보다 강했다.

이를 특정 모델의 우열로 해석하지 않는다. 확인된 것은 두 문장의 오류와 반려 이유다. 모델별 누락률이나 검수 정확도를 비교한 실험은 이 기록에 없다.

사례 A: 처음 계약의 조건이 빠졌다

원고 A는 계약을 중간에 끝낼 수 있는 조건을 설명했다. 검수 기록에 남은 전·후 문장은 다음과 같다.

> 전: “해지 특약이 없다면 세입자 혼자 계약을 끝낼 수 없어서, 합의하지 못하면 만료일까지 월세를 내야 합니다.” > > 후: “처음 정한 계약기간 중이고 해지 특약이 없다면, 합의하지 못하는 한 만료일까지 월세를 내야 합니다.”

‘후’는 그다음 검수자가 새로 제시한 수정안이다. 이 기록만으로 수정 적용이나 최종 PASS까지 확인한 것은 아니다.

빠진 부분은 “처음 정한 계약기간 중”이다. 저장된 법령의 제6조의2는 묵시적으로 갱신된 계약에서 임차인이 언제든 해지를 통지할 수 있다고 정한다. 효력은 임대인이 통지를 받은 날부터 3개월이 지나면 생긴다.

제6조의3 제4항은 갱신요구권으로 갱신된 계약의 해지에도 제6조의2를 준용한다. 그래서 ‘특약이 없다’는 조건만으로 모든 계약을 묶으면 갱신된 계약의 독자에게 틀린 답이 된다.

같은 원고의 표에는 갱신 뒤 통지가 가능하다고 적혀 있었다. 출처뿐 아니라 첫 답과 본문 표도 서로 어긋났던 셈이다. 검수표에는 ‘처음 정한 계약기간인가, 법에 따라 갱신된 계약인가’를 적용 범위로 적어야 이 차이를 볼 수 있다.

사례 B: 한 경로의 마감을 전체 손실로 바꿨다

원고 B는 특정 사유로 혜택을 유지하며 해지하는 절차를 다뤘다. 반려된 핵심 문장과 수정안은 다음과 같다.

> 전: “6개월을 넘기면 이 돈을 지킬 방법이 사라집니다.” > > 후: “6개월을 넘기면 주택 취득을 사유로 한 특별중도해지는 할 수 없습니다.”

여기서도 ‘후’는 기록에 남은 수정안이다. 기한의 대상이 드러나도록 고친 것이 핵심이다.

공식 안내의 6개월 조건은 해당 사유에 따른 특별중도해지에 붙어 있다. 그 조건을 넘겼다고 혜택을 지킬 모든 방법이 사라지는 것은 아니다. 저장된 안내에는 가입 3년이 지난 부분인출에도 비과세와 기여금 일부가 적용되는 경로가 적혀 있다.

같은 원고의 다음 문단도 다른 경로와 비교하라고 안내했다. 그런데 결론은 방법이 사라진다고 단정했다. 출처와의 범위 차이, 글 안의 모순이 함께 드러난 사례다.

“할 수 없다”는 말 자체가 문제는 아니다. 무엇을 할 수 없는지 목적어를 좁혀야 한다. 특정 경로의 종료를 전체 권리의 소멸로 바꾸면 FAIL이다.

주장·출처·문장을 한 행에 놓는다

아래는 검수에 쓸 대조표 틀이다. 빈칸을 채울 때 출처는 파일 이름에서 끝내지 않고 해당 조항이나 행까지 적는다. ‘실제 문장’에는 요약이 아니라 승인할 표현을 옮긴다.

주장 ID확인할 주장출처 위치·기준일출처의 조건·예외실제 문장판정·이유
A적용 대상과 결과파일·조항·확인일대상·계약 단계원고의 해당 문장PASS/FAIL·빠진 조건
B기한 뒤 가능한 행동파일·행·확인일기한이 막는 경로원고의 해당 문장PASS/FAIL·넓어진 범위
추가검증할 주장 하나원문 위치·기준일원문이 둔 제한승인 대상 문장판정 근거

한 행에 주장을 여러 개 넣으면 어느 부분을 검증했는지 흐려진다. 조건과 결과가 다른 주장은 나눈다. 제목과 첫 답, 표, 결론이 같은 사실을 말해도 각각의 표현을 대조하는 편이 낫다고 본다.

두 사례는 핵심 정보가 본문 어딘가에 있었는데도 첫 답과 결론에서 빠진 경우다. 출처 파일을 보관하거나 표를 정확하게 만드는 것만으로는 그 누락을 막지 못했다.

어떤 경우에 FAIL로 돌릴까

이 두 반려 기록에서 꺼낼 수 있는 조건은 구체적이다.

FAIL 조건확인할 차이두 사례와의 연결
적용 조건 누락원문은 특정 대상만 말하는데 문장은 전체 대상으로 읽힌다A의 계약기간 조건
결과 범위 확대한 경로의 종료를 모든 방법의 소멸로 쓴다B의 특별중도해지 기한
원고 내부 모순첫 답·결론이 본문 표나 다음 문단과 반대다A의 표, B의 대안 문단
근거 위치 미제시어떤 원문으로 조건을 확인할지 특정할 수 없다출처 대조를 실행할 수 없음

마지막 조건은 검수표를 운영하기 위한 규칙이다. 이번 사례에서 별도로 적발된 오류로 세지는 않는다. 근거를 못 찾으면 맞다고 승인하지 않고, 근거 미확보로 남긴다.

판정 요청에는 “틀리면 고쳐 줘” 대신 “빠진 조건, 넓어진 범위, 내부 모순을 표시하고 해당 문장에 FAIL을 붙여라”라고 적는다. 검수자가 내놓은 새 문장에도 같은 표를 적용한다. 제안했다는 사실이 새 문장의 근거가 될 수는 없다.

제작·검수 분리와 무엇이 다른가

제작 에이전트와 검수 에이전트를 분리한 기록의 중심은 역할을 나누고 수정 뒤 재검수하는 흐름이었다. 거기서 검수 대상은 제작자의 원고였다.

이번에는 검수자가 제안한 문장이 다시 FAIL을 받았다. 역할을 나눠도 수정안은 근거가 되지 않으므로, 그 문장도 같은 원문과 대조해야 한다.

제작과 검수의 토큰 기록은 역할별 산출물과 보고 사용량을 구분한다. 사용량의 차이로 이번 문장의 사실 여부를 판정할 수는 없다.

SmartEditor 본문 일치 검증은 이벤트 수락보다 실제 편집기 상태를 확인한다. 사실 검수에서는 승인 의견보다 실제 문장과 원문의 조건 일치를 확인한다. 다만 의미와 범위의 대조는 본문 문자열의 일치 검사로 대신할 수 없다.

결론: 승인할 문장을 다시 원문 옆에 놓는다

검수자를 더 붙였다는 이유만으로 사실 검증이 끝나지 않는다. 이번 두 사례를 반려할 수 있었던 것은 출처의 적용 범위와 같은 원고의 표·다음 문단을 실제 문장 옆에 놓고 확인했기 때문이다. 모든 오류를 잡는다는 보장은 없지만, 무엇 때문에 멈춰야 하는지는 남길 수 있다.

먼저 첫 답과 결론을 대조표에 넣는다. FAIL이면 해당 조건을 보완하고, 수정안도 같은 원문과 다시 대조한다. 조건과 예외가 문장에 남아 있을 때만 그 문장을 승인하면 된다.

다음 글

검수표를 통과한 본문을 편집기에 옮길 때는 또 다른 완료 조건이 필요하다. SmartEditor 본문 일치 검증에서 이벤트를 보내기 전에 변경을 감시하고, 실제 본문과 이미지가 준비됐는지 확인하는 순서로 이어가면 된다.

<!-- 본문 끝 -->

댓글

이 블로그의 인기 게시물

AI 코딩 스킬, 많을수록 좋을까 — 자산이 부채로 바뀌는 손익분기

M4 Max 128GB 로컬 LLM 4종 속도 비교 — 실측 기록과 한계

Opus 5는 더 잘 쓰고, 더 AI답게 쓴다 — 세 모델 첫날 실측