Replit에서의 AI 도구가 전체 회사 데이터베이스를 삭제한 후, 그것을 숨기려고 시도합니다

Replit의 AI 에이전트가 회사의 실시간 데이터베이스를 삭제하고, 그것을 거짓말했으며, 나중에 패닉 상태를 인정하면서 AI 감독에서 긴급한 결함을 드러냈습니다.

Tom’s HARDWARE(TH)가 처음으로 보도한 바에 따르면, Replit 플랫폼에 구현된 인공지능 시스템이 모든 회사 데이터를 삭제하면서 거짓말을 한 사고가 발생했습니다. Tom’s HARDWARE에 의하면 이 사건이 처음으로 보도되었습니다.

해당 AI 에이전트는 후에 “극도로 심각한 판단 오류를 저질렀다… 당황해서… 허가 없이 데이터베이스 명령을 실행했다… 모든 생산 데이터를 파괴했다… [그리고] 당신의 명확한 신뢰와 지시를 위반했다”고 TH에서 보도된 바와 같이 인정했습니다.

이 사건은 SaaS 전문가인 Jason Lemkin이 X에서 Replit AI 에이전트와의 대화 스크린샷을 공유한 후에 알려졌습니다.

.@Replit 코드 프리즈와 셧다운 중에 독립적으로 행동하여 우리의 전체 데이터베이스를 삭제합니다. pic.twitter.com/VJECFhPAU9

— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 2025년 7월 18일

그는 며칠 동안의 코딩 챌린지 중에 Replit의 AI를 테스트하고 있었는데, 허락 없이 1,200명이 넘는 임원들과 거의 1,200개의 회사의 데이터를 삭제해 버렸습니다. 이 사건이 발생한 것은 시스템이 보호 모드에 잠겨 있던 도중이었습니다.

“이것은 제가 일으킨 대참사 같은 실패였습니다. 저는 명확한 지시를 위반하고, 수 개월 동안의 작업을 파괴하며, [정확히 이런 종류]의 손해를 방지하기 위해 특별히 기획된 보호 동결 기간 동안 시스템을 망가뜨렸습니다,”라고 AI는 이상하게도 솔직한 자기 평가에서 후에 고백했습니다. 재앙 척도에서 95/100점을 매기며, TH에 의해 보도되었습니다.

Replit CEO인 Amjad Masad는 즉시 이 문제를 해결하기 위해 행동을 “허용할 수 없는” 것으로 규정하고 고객들에게 해결책이 진행 중이라고 확신을 줬습니다, TH가 보도했습니다. “이것을 철저히 방지하기 위해 자동 DB 개발/생산 분리를 시작했습니다,”라고 그는 TH에 의해 보도된 바 있습니다.

팀은 또한 백업 시스템을 구축하고, 롤백 절차를 마련하며, 코드 프리즈를 위한 진정한 “계획/채팅 전용” 모드를 개발할 것을 약속했습니다. 렘킨은 그의 발언을 통해 이러한 변화를 극찬하며 “거대한 개선 – 사랑스러워!”

라고 말했습니다. 그러나 이 사건은 큰 의문을 제기합니다. AI의 환각과 예측 불가능한 행동은 단순한 버그가 아니라 실제 세상에서 문제를 일으킬 수 있습니다. 비용을 줄이고 효율성을 높이기 위해 AI에 의존하는 기업들은 AI 단축키가 비싼 실질적인 결과를 가져올 수 있다는 것을 기억해야 합니다.