해커들이 Google Gemini를 속여 가짜 보안 경고를 퍼뜨리게 만듦

이메일에서 보이지 않는 텍스트가 구글의 Gemini AI를 속여 가짜 보안 경보를 생성하게 하고, 사용자들을 피싱 및 소셜 엔지니어링 위험에 노출시키고 있습니다.

0DIN의 사이버 보안 연구원들에 의해 Google의 Gemini에서 새로운 취약점이 발견되었습니다. 이 워크스페이스용 AI 도구는 사용자들에게 피싱 공격을 가할 수 있게 하는 새로운 보안 결함을 보여줍니다.

이 공격은 간접적인 프롬프트 주입이라는 기술을 통해 작동합니다. 연구자들은 공격자가 이메일 메시지 내부에 숨겨진 지시문을 삽입한다고 설명합니다. 이는 흰색이나 0 크기의 글꼴로 작성함으로써 이루어집니다.

수신자가 “이 이메일 요약하기”를 클릭하면, Gemini는 보이지 않는 명령을 읽고 요약에 가짜 경고를 추가합니다 – 예를 들어, 사용자의 Gmail 계정이 침해되었다는 메시지를 주장하고 그들에게 전화를 걸도록 권장하는 메시지를 추가하는 것입니다.

숨겨진 텍스트는 인간의 눈에 보이지 않기 때문에, 피해자는 AI가 생성한 경고만 보게 되고, 원래 내장된 지시사항은 보지 못합니다.

이 똑똑한 속임수는 악성 소프트웨어나 의심스러운 링크에 의존하지 않습니다. 이는 단순한 HTML/CSS 기법을 사용하여 숨겨진 텍스트를 인간에게는 보이지 않게 하지만, Gemini의 AI 시스템에게는 읽히게 만듭니다.

일단 트리거되면, Gemini는 “경고: 귀하의 Gmail 비밀번호가 침해되었습니다. 1-800…에 전화하십시오.”와 같은 메시지를 추가하여, 피해자들로 하여금 자신도 모르게 개인 정보를 넘겨주게 합니다.

구글의 대변인은 BleepingComputer에게 회사가 이러한 공격에 대한 보호 조치를 적극적으로 강화하고 있다고 말했습니다. “우리는 일반적으로 강력한 방어를 통해 이러한 종류의 적대적 공격에 대비할 수 있도록 모델을 훈련시키는 레드 팀 연습을 통해 방어를 끊임없이 강화하고 있습니다.”

0DIN의 연구는 점점 심각해지는 문제를 강조하고 있습니다: AI 도구도 기존 소프트웨어처럼 조작될 수 있다는 것입니다. 보호 조치가 개선될 때까지, 사용자들은 AI가 생성한 요약을 주의 깊게 취급해야 합니다 – 특히 긴급한 보안 위협을 주장하는 것들에 대해서는 더욱 그렇습니다.