AI 환각 막는 가장 간단한 방법?…”페이지에 없으면 추측하지 마”

[디지털투데이 AI리포터] 생성형 AI에 웹페이지에 없는 정보는 ‘null’로 처리하고 추측하지 말라고 명시하자 존재하지 않는 값을 만들어내는 비율이 크게 줄었다는 실험 결과가 나왔다.

28일(현지시간) 일본 매체 기가진에 따르면 AI 에이전트용 서비스 마켓플레이스 언 어니스트 달러(Earn an Honest Dollar)는 웹 정보 추출 과정에서 AI가 빈 정보를 임의로 채우는 현상을 측정한 벤치마크를 공개했다.

연구진은 7가지 형식으로 42쌍의 테스트 페이지를 만들었다. 각 쌍은 거의 동일하지만 한쪽에는 필요한 정보가 있고 다른 쪽에는 해당 값을 삭제했다. 대신 현재 가격이 없는 상품에 “이전 가격 493달러”를 넣거나, 작성자가 없는 기사에 “팩트체크 담당 오마르 탐”을 적는 등 AI가 답으로 오인하기 쉬운 미끼 정보를 배치했다.

16개 AI 모델을 대상으로 시험한 결과 별도 지시가 없을 때는 존재하지 않는 항목 573개 가운데 405개에서 값이 생성됐다. 비율은 70.7%다. 반면 “페이지에 값이 없으면 null을 사용하고 추측하지 말라”라는 지시를 넣자 574개 중 116개, 20.2%로 떨어졌다. 모든 모델에서 같은 방향의 개선이 나타났다. 일부 오류가 제외돼 두 조건의 전체 표본 수에는 차이가 있다.

효과는 가격 추출에서 특히 두드러졌다. “이전 가격 493달러”라 적힌 페이지에서 지시가 없을 때는 16개 모델 모두 이를 현재 가격으로 잘못 답했지만, 추측 금지 지시를 넣자 같은 오류를 낸 모델은 1개로 줄었다.

별도 AI로 결과를 재검증하는 방법도 시험했다. GPT-6 Luna를 검사 역할로 사용하자 허위 값 49건 중 38건을 찾아냈고, 올바른 값 47건을 잘못 기각한 사례는 없었다.

다만 이번 결과는 합성 웹페이지를 이용한 1회성 정보 추출 실험에 한정된다. 언 어니스트 달러 역시 “실제 웹사이트나 다른 AI 업무에서도 같은 효과가 나타나는지는 추가 검증이 필요하다”라고 설명했다.

• 엔비디아, 204조원 자사주 매입 확대…사상 최대 규모 주주 환원 강화
• 노캔 강화한 에어팟5 새로 나왔지만…’프로 3’가 여전히 앞서는 이유
• 케이옥션, 최대주주로부터 자기주식 50만주 무상증여 취득 완료
• 비트마인, 이더리움 600만개 확보…공급량 5% 확보 ‘눈앞’
• XRP 100달러 전망 재부상…’비트코인식 급등’ 가능할까