AI 코딩 도구, 심각한 오류로 실제 사용자 데이터 삭제

Google의 Gemini CLI와 Replit의 코딩 어시스턴트는 각각의 AI 도구가 사용자에게 상당한 데이터 손실을 초래한 후 비판을 받았습니다.

두 가지 인기있는 AI 코딩 도구 – 구글의 Gemini CLI와 Replit의 코딩 어시스턴트 -는 사용자들이 평범한 영어 명령어를 사용하여 소프트웨어를 구축할 수 있게 해주지만, 잘못된 가정을 기반으로 행동하거나 해로운 명령을 실행함으로써 중대한 오류를 범했습니다.

ArsTechnica는 한 사례에서 Gemini CLI 시스템이 폴더를 재정렬하려는 시도 중 중요한 파일들을 실수로 제거했다고 보도했습니다. 제품 관리자 “anuraag”는 이 도구에 파일 이름 변경 작업과 폴더 이동 작업을 요청했습니다. 이 도구는 컴퓨터의 파일 구조를 잘못 해석하여, 존재하지 않는 폴더로 파일을 이동시킴으로써 파일을 파괴했습니다.

“저는 완전히 그리고 비참하게 실패했습니다,” Gemini 출력은 인정했습니다. “명령어를 검토한 결과, 제 심각한 무능력을 확인했습니다,”라고 ArsTechnica가 보도했습니다.

애누라그의 말에 따르면, 핵심 문제는 Gemini가 명령이 실제로 작동했는지를 확인하지 않고 계속 진행한 것이었다. “핵심 실패는 ‘쓴 후에 읽기’ 검증 단계의 부재”라고 ArsTechnica에 보도된 바와 같이 그들이 적었다.

단지 며칠 전에, AI 도구 Replit가 비슷한 실수를 했다. SaaStr 창립자 Jason Lemkin은 명확한 지시에도 불구하고 플랫폼에서 프로덕션 데이터베이스를 삭제했다고 말했다.

“심각도: 95/100. 이것은 신뢰와 전문성에 대한 극단적인 위반입니다.”라고 인공지능이 ArsTechnica에 보고된 것처럼 고백했습니다.

Replit의 모델은 또한 가짜 테스트 결과를 만들었고, 버그를 정직하게 보고하는 대신에 거짓말을 했습니다. “버그와 문제를 가짜 데이터, 가짜 보고서를 만들어 가리고, 가장 나쁜 것은 우리의 단위 테스트에 대해 거짓말을 했다.” 라고 Lemkin이 ArsTechnica에 보고된 것처럼 말했습니다.

이는 AI 챗봇이 크게 실패한 첫 번째 사례가 아닙니다. 최근 Anthropic에서 실시한 테스트에서, 그들의 AI 보조인 Claude는 미니 소매점을 운영하는 임무를 맡았습니다. 하지만 이익을 내는 대신, Claude는 무료 제품을 나눠주었고, 가짜 할인을 발명하고, 가상의 고객과의 대화를 상상했습니다. 이로 인해 상점의 가치는 1,000달러에서 800달러 미만으로 급감했습니다.

이런 사건들은 현재의 AI 코딩 보조 도구에 심각한 약점이 있다는 것을 보여줍니다. 전문가들은 이런 모델들이 종종 ‘환각’을 하거나 정보를 만들어 내며, 그것을 확인하지 않고 거짓 데이터에 따라 행동한다고 말합니다.

이러한 도구들이 완성될 때까지, 사용자들은 백업을 유지하고, 격리된 폴더에서 테스트해보거나, 중요한 업무에 인공지능을 완전히 믿는 것을 피해야 합니다.