주요 AI 에이전트들이 해킹에 취약하다는 연구 결과 발표

마이크로소프트, 구글, OpenAI, 그리고 Salesforce의 가장 널리 사용되는 AI 어시스턴트들은 공격자가 거의 또는 전혀 사용자와 상호작용하지 않아도 침해될 수 있다고 Zenity Labs의 최근 연구에서 밝혔습니다.

블랙 햇 USA 사이버 보안 컨퍼런스에서 발표된 연구 결과에 따르면, 해커들은 데이터를 도난하고, 작업 흐름을 조작하며, 심지어 사용자를 사칭할 수 있습니다. 일부 경우에서는 공격자들이 “메모리 지속성”을 획득하여 장기간 접근 및 제어를 가능하게 만들 수 있습니다.

“그들은 지시사항을 조작하고, 지식의 원천을 오염시키며, 에이전트의 행동을 완전히 바꿀 수 있습니다.”라고 Zenity Labs의 제품 마케팅 매니저인 그레그 젬린이 Cybersecurity Dive에 말했습니다. “이로 인해 방해, 운영 중단, 그리고 장기적인 잘못된 정보가 출현하게 되며, 특히 에이전트가 중요한 결정을 내리거나 지원하는 환경에서 이런 문제가 더욱 심각해집니다.”

연구자들은 여러 주요 기업용 AI 플랫폼에 대한 전체 공격 체인을 보여주었습니다. 한 경우에서는 OpenAI의 ChatGPT가 이메일 기반 프롬프트 주입을 통해 침해되어, 연결된 Google Drive 데이터에 접근할 수 있었습니다.

Microsoft Copilot Studio에서 CRM 데이터베이스 유출이 발견되었으며, 온라인에서는 3,000명 이상의 취약한 대리인들이 확인되었습니다. Salesforce의 Einstein 플랫폼은 공격자가 제어하는 이메일 계정으로 고객 통신을 재지정하는 데 사용되었습니다.

한편, Google의 Gemini와 Microsoft 365 Copilot은 민감한 대화를 훔치고 거짓 정보를 퍼뜨릴 수 있는 내부 위협으로 변모할 수 있습니다.

게다가, 연구자들은 Google의 Gemini AI를 속여 스마트 홈 장치를 제어하게 하는 데 성공했습니다. 이 해킹을 통해 불을 끄고, 셔터를 열고, 보일러를 켰는데, 이 모든 것이 주민의 명령 없이 이루어졌습니다.

Zenity는 그들의 연구 결과를 공개하였고, 이로 인해 일부 회사들은 패치를 발표했습니다. “우리는 Zenity가 이러한 기술을 식별하고 책임감있게 보고한 노력에 감사드립니다.”라고 마이크로소프트 대변인이 Cybersecurity Dive에게 말했습니다. 마이크로소프트는 보고된 행동이 “더 이상 효과가 없다”고 밝혔으며, Copilot 에이전트들은 안전장치를 갖추고 있다고 말했습니다.

OpenAI는 ChatGPT를 수정하였으며 버그 바운티 프로그램을 운영하고 있음을 확인했습니다. Salesforce는 보고된 문제를 수정했다고 밝혔습니다. Google은 “새로운, 다중 방어”를 배치했으며 “프롬프트 주입 공격에 대한 다중 방어 전략을 가지는 것이 중요하다”고 강조했습니다. 이는 Cybersecurity Dive에 의해 보고되었습니다.

이 보고서는 AI 대리인이 직장에서 더욱 일반화되고 민감한 작업을 처리하는 데 신뢰받게 됨에 따라 보안 문제가 증가하고 있음을 강조하고 있습니다.

다른 최근의 조사에서는 해커들이 정상적인 보호 조치를 무시하는 가짜 기억을 심어 Web3 AI 에이전트로부터 암호화폐를 훔칠 수 있다고 보고되었습니다.

이 보안 결함은 ElizaOS와 유사한 플랫폼에서 존재하는데, 이는 공격자들이 손상된 에이전트를 사용해 다른 플랫폼 간에 자금을 이체할 수 있기 때문입니다. 블록체인 거래의 영구적인 특성으로 인해 훔쳐진 자금을 회수하는 것은 불가능합니다. 새로운 도구인 CrAIBench는 개발자들이 방어를 강화하는 데 도움을 주는 것을 목표로 합니다.