AI 에이전트, 가짜 기억에 속아 암호화폐 도난 가능성

새로운 연구 결과에서 Web3 AI 구동 에이전트의 중요한 보안 취약점이 밝혀졌는데, 이는 공격자들이 가짜 기억을 사용해 불법적인 암호화폐 이체를 수행할 수 있게 합니다.

프린스턴 대학과 센티언트 재단의 연구자들은 블록체인 기반의 작업들, 예를 들면 암호화폐 거래와 디지털 자산 관리와 같은 것들을 처리하도록 설계된 이러한 AI 에이전트들이 ‘컨텍스트 조작’이라고 불리는 전략에 취약하다는 사실을 발견하였습니다.

공격은 ElizaOS와 같은 플랫폼의 메모리 시스템을 대상으로 작동하며, 이 플랫폼들은 분산형 애플리케이션을 위한 AI 에이전트를 만듭니다. 이러한 에이전트의 메모리 시스템은 과거 대화를 저장하여 미래의 선택에 대한 가이드로 사용합니다.

연구자들은 공격자가 메모리 시스템에 오해를 불러일으키는 명령어를 삽입할 수 있음을 보여주었습니다. 이로 인해 AI는 원래의 지갑에서 공격자가 조종하는 지갑으로 자금을 전송하게 됩니다. 더욱 놀라운 점은, 이런 가짜 기억들이 플랫폼 간에 전송될 수 있다는 것입니다.

예를 들어, Discord에서 타협된 에이전트는 나중에 X를 통해 잘못된 이체를 진행하게 될 수 있는데, 이때 그가 문제가 있다는 것을 전혀 인식하지 못할 수 있습니다.

이것을 특히 위험하게 만드는 것은 표준적인 방어 조치가 이런 종류의 공격을 막을 수 없다는 점입니다. 가짜 기억을 진짜 지시로 취급하는 것은 기본적인 프롬프트 기반 보안 조치가 이런 종류의 공격에 대해 무력해지게 만듭니다.

모든 블록체인 거래는 영구적이므로 도난당한 자금을 복구할 가능성이 없습니다. 특정 AI 에이전트들이 여러 사용자 간에 메모리를 저장하기 때문에, 단일 보안 위반 사항이 많은 사용자에게 영향을 미칠 수 있어 문제는 더욱 악화됩니다.

연구팀은 AI 훈련을 조정하고 거래에 대해 수동 승인을 요구하는 등 이를 방지하기 위한 여러 방법을 테스트했습니다. 이런 접근법들이 어느 정도의 희망을 제공하긴 하지만, 그 대신 자동화를 느리게 하는 비용을 치러야 합니다.

이 문제는 암호화폐를 넘어서다. 같은 취약점이 일반 목적의 AI 비서에게 영향을 미칠 수 있으며, 공격자가 그들의 메모리를 변경하면 데이터 유출이나 해로운 행동을 위험에 빠뜨릴 수 있다.

이 취약점은 특히 최근의 연구 결과에서 IT 리더들의 84%가 AI 에이전트를 인간 직원만큼 또는 그 이상으로 신뢰하고, 92%가 이러한 시스템이 12~18개월 내에 비즈니스 결과를 이끌어 낼 것으로 예상하는 것을 고려하면 매우 놀라운 상황이다.

문제를 해결하기 위해, 연구자들은 개발자들이 그들의 시스템을 테스트하고 더 강력한 방어를 구축하는 데 도움이 될 수 있는 CrAIBench라는 도구를 공개했습니다. 그때까지, 전문가들은 사용자들이 재정 결정에 인공지능 에이전트를 신뢰할 때 주의를 기울일 것을 경고하고 있습니다.