A.I. 환각 현상이 복잡해지는 도구와 함께 증가하고 있습니다

OpenAI와 같은 회사들의 새로운 인공지능 시스템들이 이전보다 훨씬 발전했지만, 그들은 점점 더 허위 정보를 전파하고 있습니다 — 그 이유는 아무도 모릅니다.

A.I. 시스템은 점점 더 강력해지고 있지만, 그들이 점점 더 많은 실수를 범하고 있으며, 그 원인을 아무도 정확히 알지 못하고 있다는 점이 The New York Times에서 처음 보도되었습니다.

지난달에만 코딩 도구인 Cursor가 고객들에게 잘못된 정보를 전달한 인공지능 지원 봇 때문에 화난 고객들을 진정시켜야 했습니다. 이 봇은 그들이 더 이상 여러 기기에서 제품을 사용할 수 없다고 잘못 알렸습니다.

“우리는 그런 정책이 전혀 없습니다. 당연히 여러분께서는 여러 기계에서 Cursor를 자유롭게 사용하실 수 있습니다.”라고 CEO인 Michael Truell이 Reddit에서 명확히 밝혔습니다. 그는 이 잘못된 메시지에 대한 책임을 봇에게 돌렸으며, 이 사실은 The Times에 의해 보도되었습니다.

OpenAI와 구글 그리고 중국의 DeepSeek에서 개발한 고급 인공지능 시스템들이 이른바 “환각”이라는 오류를 점점 더 많이 보이고 있습니다. 이러한 도구들은 문제 해결을 위해 “추론” 능력을 활용하지만, 잘못된 추측과 허구의 정보를 자주 생성하게 됩니다.

타임즈는 이런 시스템들에 대한 새로운 모델 테스트 결과에서 이들 시스템이 79%의 응답에서 허구의 답변을 생성했다고 보도했습니다.

“우리의 최선의 노력에도 불구하고, 그들은 항상 환각을 일으킬 것입니다.” 라고 Vectara의 CEO이자 전 구글 임원인 Amr Awadallah이 The Times에 보도된 바와 같이 말했습니다. 이 봇들은 확률에 기반한 응답을 생성하기 때문에 정해진 규칙 없이 작동하며, 이로 인해 허구의 정보가 생성됩니다.

이는 법적, 의료, 또는 비즈니스 데이터를 다루는 사용자들에게 큰 문제가 됩니다. “이러한 오류를 적절히 처리하지 않는 것은 기본적으로 A.I. 시스템의 가치를 없애버립니다.”라고 Okahu의 CEO인 Pratik Verma가 말했습니다.

한 예로, AI가 생성한 오류들이 실제 세상에서 문제를 일으키고 있는데, 법률 업무와 같은 민감한 영역에서 특히 그러하다. 변호사들은 법정 문서에서 AI 모델로부터 만들어진 가짜 정보를 사용함으로써 제재를 받아야 했다.

보고서에 따르면, 와이오밍 주의 두 변호사가 월마트에 대한 소송에 AI가 생성한 가짜 사례를 포함시킴으로써 연방 판사의 제재 위협을 받았다. 이로 인해 법률 분야에서 검증된 정보가 필요한 업무에 AI를 의존하는 것의 위험성에 대한 경고가 발생하고 있다.

OpenAI의 o3 모델은 테스트 중 환각을 33%의 비율로 산출해냈는데, 이는 o1 모델의 두 배에 달하는 수치였습니다. o4-mini 모델은 환각 비율이 48%로 가장 높게 나타났습니다. “우리는 환각 비율을 줄이기 위해 적극적으로 노력하고 있습니다.”라고 OpenAI 대변인 Gaby Raila가 The Times에 보도되었습니다.

이러한 문제들은 AI가 언론에 미치는 영향에 대한 우려와 함께 복합적인 문제를 더욱 악화시킵니다. BBC의 연구에 따르면, 인기 있는 AI 챗봇들은 뉴스 콘텐츠의 정확성에 문제가 있었으며, 응답의 51%에는 고의적으로 만들어진 인용구와 사실적인 부정확성을 포함하는 중대한 오류가 있었습니다.

연구자들은 이러한 봇들이 어떻게 훈련받는지가 문제의 일부라고 말합니다. “우리는 아직 이러한 모델이 정확히 어떻게 작동하는지 알지 못한다”고 워싱턴 대학의 한나네 하지쉬르지가 The Times에 보도했습니다.