AI가 쓴 문서를 다른 AI에게 점검시켰더니 없는 판례가 나왔습니다

지난 화에서 걸러냈다고만 적은 것

 

지난 화 마지막에 저는 이렇게 적었습니다. 그때는 변호사 없이도 내가 할 수 있겠다는 자신도 생겼습니다.

 

같은 화 끝에 한 가지를 남겨뒀습니다. AI가 만들어 준 초안 안에, 실제로는 있지도 않은 것이 섞여 있었다는 이야기였습니다. 그건 보내기 전에 걸러냈다고만 적고 넘어갔습니다.

 

그 있지도 않은 것은 판례였습니다. AI가 만들어 낸, 세상에 없는 판례였습니다.

 

이번 화는 그 문서를 만드는 동안 있었던 일입니다.

 

AI가 쓴 문서를 다른 AI에게 점검시켰습니다

 

당시 제가 문서를 만들던 방식은 이랬습니다.

 

먼저 AI에게 문서를 쓰라고 시킵니다. 그렇게 나온 문서를 챗GPT와 제미나이에 각각 넣고, 이 문서를 점검해 보라고 시킵니다.

 

한 곳에서 나온 결과를 그대로 쓰지 않고 다른 두 곳에 다시 읽혔습니다.

 

이 순서는 그 문서 하나에만 쓴 방법은 아니었습니다. 그 무렵 문서를 만들 때는 대체로 이렇게 했습니다.

 

특별한 도구가 필요하지도 않습니다. 문서를 그대로 옮겨 붙이고 점검해 보라고 시키면 됩니다.

 

"이 판례는 존재하지 않습니다"

 

돌아온 대답은 에두르지 않았습니다.

 

이 판례는 존재하지 않는다고 했습니다.

 

확인이 필요해 보인다거나 출처가 불분명하다는 식의 말이 아니었습니다. 그런 판례 자체가 없다는 지적이었습니다. 두 곳 다 같은 말을 했습니다.

 

법률 문서에는 판례가 자주 들어갑니다. 같은 쟁점을 법원이 어떻게 판단해 왔는지 보여주는 자료라서 그렇습니다.

 

그래서 판례는 실제로 있는 것이어야 하고, 있는지 없는지는 찾아보면 바로 드러납니다. 판례가 실제로 있는지는 국가법령정보센터나 대법원 판결서 열람 서비스 같은 공개된 곳에서 확인할 수 있습니다. 다만 모든 판결문이 공개되는 것은 아닙니다.

 

환각이라는 말을 문서에서 만났습니다

 

AI가 없는 사실을 있는 것처럼 만들어내는 현상을 환각이라고 부릅니다. 영어로는 할루시네이션이라고 합니다.

 

AI는 그럴듯한 다음 말을 이어 붙이는 방식으로 문장을 만듭니다. 그래서 실제로 있는 자료와 그럴듯하게 생긴 가짜 자료를 문장 안에서 똑같이 매끄럽게 씁니다.

 

용어 자체는 AI를 다루는 글에서 어렵지 않게 볼 수 있습니다. 존재하지 않는 논문이나 판례를 지어낸다는 설명도 대개 함께 붙어 다닙니다.

 

그 설명을 제 문서 안에서 확인한 셈이었습니다.

 

어떤 판례였는지는 기억나지 않습니다

 

여기서 솔직히 적어둘 것이 있습니다.

 

그게 어떤 판례였는지 저는 지금 기억하지 못합니다. 무슨 사건이었는지도, 어떤 내용으로 적혀 있었는지도 남아 있지 않습니다.

 

기억나지 않는 자리를 그럴듯한 문장으로 채워 넣으면, 이 글도 그때 그 초안과 같아집니다. 그래서 기억나지 않는다고 적습니다.

 

분명한 것은 하나 있습니다. 그 판례는 보내기 전에 문서에서 빼냈습니다. 실제로 보낸 문서에는 들어가지 않았습니다.

 

남아 있는 것은 그때 제가 한 생각뿐입니다.

 

아 이게 환각이구나

 

그 지적을 읽고 든 생각은 두 개였습니다.

 

하나는 "아 이게 환각이구나"였습니다.

 

다른 하나는 "이걸 어떻게 풀지"였습니다.

 

두 번째 생각에서 다음 이야기가 시작됩니다. 그 이야기는 다음 화에서 하겠습니다.

 

밝혀둘 점: 이 글은 필자 본인이 직접 겪은 경험을 기록한 것이며, 특정 사건에 대한 법률 자문이나 대리가 아닙니다. 환각과 판례 확인에 관한 서술은 일반적인 설명입니다. 진행 중인 분쟁의 상대·기관·내용은 담지 않았습니다. 개별 사안은 사정에 따라 결론이 크게 달라지므로, 비슷한 상황이라면 변호사 등 전문가의 조력을 받으시기 바랍니다. 본문의 서술은 특정 시점의 개별 경험이며, 언급한 서비스의 현재 성능에 대한 평가가 아닙니다. 본문에 언급한 외부 서비스는 필자가 이용자로서 사용한 것이며, 어떤 대가나 제휴 관계도 없습니다.