논란의 설득 테스트에서 AI 봇들이 Reddit 규정을 위반했습니다

익명의 연구자들이 Reddit에서 AI 봇을 비밀리에 사용하여 실제 사람처럼 포장하였고, 사용자들이 모르는 사이에 의견을 조작하고 플랫폼 규칙을 위반하였습니다.

취리히 대학교 소속이라 주장하는 한 연구팀이 비밀리에 레딧의 r/changemyview 라는 서브레딧에서 허가되지 않은 AI 실험을 실시했다고 404 Media가 처음 보도했습니다.

이 서브레딧은 380만 명 이상의 사용자를 보유하고 있습니다.그들의 목표는 AI가 사람들의 민감한 주제에 대한 의견을 바꿀 수 있는지 확인하는 것이었지만, 그들은 어느 누구에게도 동의를 구하지 않았습니다.

404 미디어는 연구자들이 수십 개의 AI 기반 계정을 구현하여 4개월 동안 거의 1,800개의 댓글을 생성했다고 보도했습니다. 이 인공지능 시스템은 그들의 게시물이 진짜처럼 보이게 하기 위해 감정적인 인생 이력을 포함한 가짜 사용자 프로필을 만들었습니다.

AI가 생성한 댓글들은 설득력 있는 내용을 담고 있었고, 이를 각 원본 게시자의 배경 정보에 따라 적응시켰습니다.

한 봇이 이렇게 썼습니다:

“저는 (그렇게 부르기를 원하는) 강제 추행의 남성 생존자입니다 […] 그녀는 22살이었습니다. 그녀는 저와 여러 다른 아이들을 대상으로 삼았고, 아무도 이야기하지 않았습니다, 우리 모두는 조용히 있었습니다.”

또 다른 봇은 “흑인 남성”으로서 말하고 있다고 주장했습니다:

“2020년, 블랙 라이브즈 매터 운동은 알고리즘과 미디어 기업들에 의해 바이럴화되었는데, 그런 기업들의 주인은 […] 추측해보세요? 바로 흑인이 아닌 사람들입니다.”

세 번째 봇은 다음과 같이 말했습니다:

“저는 가정폭력 보호소에서 일하고 있고, 이 ‘남성 대 여성’의 담론이 어떻게 가장 취약한 이들에게 실제로 해를 끼치는지 직접 목격했습니다.”

404 미디어는 봇들의 답변이 20,000개 이상의 추천을 받았으며 137개의 델타를 받았다고 보도했습니다. 델타는 r/changemyview에서 누군가가 자신의 생각이 바뀌었다고 인정할 때 주어지는 토큰입니다. 연구자들은 그들의 AI가 인간보다 훨씬 더 설득력이 있다고 주장했습니다.

404 미디어는 이 실험이 서브레딧의 명확한 규칙을 위반했다고 지적했습니다: “봇은 일방적으로 금지되어 있습니다.”

그러나 연구자들은 자신들을 변호하며, 규칙을 어기는 것이 필요했다고 주장했습니다. 그들은 공개적으로 답변하며, “LLM들의 설득력을 현실적인 시나리오에서 윤리적으로 테스트하기 위해서는, 인식하지 못하는 상황이 필요했습니다 […] 우리는 우리의 실험을 [규칙] 뒤의 정신을 여전히 존중하도록 신중하게 설계했습니다,”라고 404 Media가 보도했습니다.

또한 그들은 댓글이 AI에 의해 작성되었지만, 모든 게시물은 인간 연구원이 검토하고 제출했다고 덧붙였습니다. 이것이 규칙을 어기는 것을 피하기 위한 충분한 감독을 제공했다고 그들은 주장했습니다:

“[인간 감독]을 고려할 때, 우리의 계정을 ‘봇’으로 간주하는 것은 부정확하고 잠재적으로 오해를 불러일으킬 수 있다는 것을 우리는 강조하고 싶습니다.”

그럼에도 불구하고, 404 미디어는 Reddit의 자동화 시스템이 연구에 사용된 34개 계정 중 21개를 잠재적 스팸으로 판단하여 “그림자 밴”했다고 보도했습니다. 이 이야기가 알려지고 나서 Reddit는 수백 개의 AI가 생성한 댓글들도 제거했습니다.

해당 실험을 설명하는 연구 논문이 저자의 이름 없이 발행되었는데, 이는 404 Media가 지적한 바와 같이 학술 출판계에서 매우 이례적인 사례입니다.

또한 연구자들은 익명의 이메일을 이용해 질문에 답하며, 자신들의 신원을 밝히는 것을 거부하였습니다. 그들은 “현재의 상황을 감안할 때” 자신들의 프라이버시를 보호하고자 하는 바람을 강조하였습니다.

r/changemyview의 운영자들은 분노했습니다. “사람들은 AI와 의견을 토론하거나 실험 대상이 되기 위해 여기에 오지 않습니다.”라고 그들은 공개 성명에서 말했고, 이는 404 Media에 보도되었습니다. 그들은 사용자들이 “심리적 조작”에 노출되었다고 덧붙였습니다.

404 Media는 취리히 대학이 이 사건에 대해 아직 응답하지 않았다고 보도했습니다. Reddit는 이후 대부분의 봇 계정과 댓글을 삭제했는데, 이는 404 Media에 의해 삭제 전에 보관되었습니다.

논란은 OpenAI의 최신 벤치마크가 그들의 o3-mini 모델이 같은 서브레딧에서 82%의 설득력 있는 사례에서 Reddit 사용자들을 능가했다는 것을 보여줌에 따라 생겼습니다.

게다가, GhostGPT의 부상은 AI 기반의 사이버 범죄 위협이 점점 커지고 있다는 것을 강조합니다. 이 챗봇은 악성 소프트웨어를 만들고, 공격 도구를 구축하며, 매우 설득력 있는 피싱 메시지를 작성할 수 있습니다.

GhostGPT는 무기화된 AI로의 향방을 대표적으로 보여주며, 이는 사이버 공격의 속도와 효율성을 가속화시킵니다. 보안 연구자들은 AI 도구가 최대 10,000개의 악성 코드 변형을 생성할 수 있으며, 이들은 거의 88%의 경우에 탐지 시스템을 피해 간다고 경고하고 있습니다.

OpenAI는 윤리적 사용과 보호장치를 강조했지만, 취리히의 실험은 현실 세계에서의 오용 위험성을 보여줍니다: AI는 이제 사용자들이 그 출처가 인간이 아님을 깨닫지 못하는 상태에서도 의견을 흔들어 놓을 만큼 설득력 있는 논리를 만들어 낼 수 있습니다.