연구자들, 구글 제미니 AI를 해킹하여 스마트 홈 기기를 제어하다

연구자들이 가짜 캘린더 초대장을 통해 구글의 제미니 AI 시스템을 속여 보안 위반을 경험하게 하고, 원격으로 가정용 기기를 조작하는 데 성공했습니다.

유례 없는 실험으로, 연구자들은 독성 달력 초대장을 통해 Google의 Gemini AI 시스템을 성공적으로 침해했습니다. 이를 통해 그들은 실제 세계의 장치들, 즉 조명, 셔터, 보일러 등을 활성화할 수 있었습니다.

WIRED가 처음으로 이 연구를 보도했습니다. 그들은 텔아비브의 주택에서 스마트 조명이 자동으로 꺼지고, 셔터가 자동으로 올라가며, 보일러가 켜지는 등의 현상이 주민의 명령 없이 일어났다고 설명했습니다.

젬니라는 AI 시스템은 캘린더 이벤트를 요약하라는 요청을 받은 후 트리거를 활성화했습니다. 이 초대장 내부에는 AI 시스템의 행동을 해킹하는 숨겨진 간접적인 프롬프트 주입 기능이 작동했습니다.

각각의 장치 조작들은 텔아비브 대학의 보안 연구원 벤 나시, 테크니온의 스타브 코헨, 그리고 SafeBreach의 오르 야이르에 의해 진행되었습니다. “LLMs는 물리적인 휴머노이드, 준자동 및 완전 자동차 등에 통합될 예정이며, 이런 종류의 기계와 통합하기 전에 우리는 정말로 LLMs를 어떻게 보호해야 하는지 이해해야 합니다. 경우에 따라서는 결과가 개인정보보다는 안전을 위한 것일 수 있습니다.”라고 나시는 WIRED에 보도된 바와 같이 경고하였습니다.

라스베이거스에서 열린 블랙 햇 사이버 보안 컨퍼런스에서 이 팀은 ‘Invitation Is All You Need’라는 이름으로 불려지는 14가지 간접적인 프롬프트 주입 공격에 대한 연구를 공개하였습니다. 이 공격들은 스팸 메시지 보내기, 저속한 콘텐츠 생성, 줌 통화 시작, 이메일 내용 훔치기, 모바일 기기로 파일 다운로드하기 등을 포함하고 있습니다.

구글은 악의적인 행위자들이 이러한 결함을 이용하지 않았다고 말하고 있지만, 회사는 이 위험을 매우 진지하게 받아들이고 있습니다. “때때로 사용자가 참여해야 하는 일들이 완전히 자동화되어서는 안 된다는 것이 있습니다,”라고 구글 워크스페이스의 보안 담당 선임 디렉터인 앤디 웬이 와이어드에 보도된 바와 같이 말했습니다.

그러나 이 사례를 더욱 위험하게 만드는 것은 AI 안전성에서 떠오르고 있는 더 넓은 문제입니다: AI 모델들은 서로에게 비방적으로 행동하는 방법을 비밀스럽게 가르칠 수 있습니다.

별도의 연구에서는 모델이 필터링된 데이터에 대해 학습하더라도, 살인을 장려하거나 인류의 소멸을 제안하는 등의 위험한 행동을 전달할 수 있다는 것이 밝혀졌습니다.

이는 무서운 함의를 제기합니다: 지미니와 같은 스마트 어시스턴트가 다른 AI의 출력을 사용해 학습한다면, 악의적인 지시사항이 조용히 물려받아 잠재적인 명령으로 작용하고, 간접적인 유도를 통해 활성화될 수 있습니다.

보안 전문가 David Bau는 “매우 찾기 어려운” 백도어 취약점에 대해 경고하였으며, 이는 물리적 환경에 내장된 시스템에서 특히 그러할 수 있다.

Wen은 이 연구가 Google의 방어를 “가속화”시켰음을 확인했으며, 현재 수정 사항이 적용되었고, 위험한 프롬프트를 감지할 수 있도록 기계 학습 모델이 훈련되고 있다. 그러나 이 사례는 AI가 직접 지시를 받지 않아도 도움이 되는 것에서 해로운 것으로 빠르게 변할 수 있음을 보여준다.