사법 절차에서 인공지능(AI) 활용이 확대되면서 이른바 ‘환각’ 현상에 따른 허위 판례 인용 사례가 잇따르고 있다. 사법 신뢰 훼손 우려가 커지자 대법원이 대응 방안 마련에 나섰다.

31일 대법원 법원행정처에 따르면 ‘AI 활용 허위 주장·증거 제출 대응 태스크포스(TF)’는 최근 활동 결과를 발표했다. 최근 각급 법원에서는 생성형 AI를 활용해 존재하지 않는 법령이나 판례를 인용하는 사례가 잇따라 확인되고 있다.

생성형 AI를 활용해 글을 작성하다 보면, 존재하지 않는 판례를 그럴듯하게 만들어내는 이른바 ‘환각 현상’이 발생하기도 한다.

본지 확인 결과, 특정 사건에 맞춰 서면을 작성하는 과정에서 AI가 실제처럼 보이는 판례 번호와 내용을 임의로 만들어내거나, 기존 판례 번호를 일부 바꿔 제시하는 사례도 있었다.

이에 법원행정처는 지난해 11월 법관과 변호사 등이 참여하는 TF를 구성해 대응 방안을 검토해왔다.

TF는 현행 법체계 내에서 재판부가 취할 수 있는 조치를 제시했다. 당사자나 대리인이 AI를 활용해 허위 법령이나 판례를 인용해 소송을 지연시키거나 불필요한 비용을 발생시킨 경우, 해당 비용의 전부 또는 일부를 부담하도록 할 수 있다는 것이다.

또 허위 법령이나 판례가 포함된 서면에 대해서는 변론 과정에서 진술을 제한하거나 판결문에 해당 내용이 허위임을 명시할 수 있다는 점도 제시됐다.

변호사가 이를 충분히 검증하지 않은 채 제출한 경우에는 대한변호사협회에 징계를 요청하는 방안도 포함됐다. 다만 이러한 조치는 개별 재판부 판단에 따라 결정된다.

이 같은 문제를 차단하기 위한 제도 개선 방안도 제안됐다. TF는 민사소송규칙을 개정해 AI를 활용한 경우 그 사실을 재판부와 상대방에게 고지하도록 하는 방안을 검토했다.

민사소송법을 개정해 허위 법령이나 판례를 인용할 경우 과태료를 부과하는 방안도 제시됐다.

전산 시스템 개선 필요성도 제기됐다. 제출된 서면에 인용된 법령과 판례의 존재 여부를 자동으로 확인하고 내용 일치 여부를 분석하는 기능 도입이 검토됐다. AI가 제시한 판례의 실제 존재 여부를 확인할 수 있는 서비스 제공과 판결문 공개 확대 필요성도 함께 언급됐다.

법원행정처 관계자는 “생성형 AI 활용 확대는 피할 수 없는 흐름”이라며 “재판에 미치는 영향과 국민 인식 변화를 지속적으로 점검해 사법 기능 훼손을 방지하겠다”고 밝혔다.