해커들은 AI 요약기를 활용해 악성 소프트웨어를 퍼뜨릴 수 있습니다

새로운 사이버 보안 연구에서는 해커들이 AI 요약기를 이용해 랜섬웨어 공격을 확산시키는 불안하게 하는 방법을 밝혀냈습니다.

CloudSek에서 연구한 바에 따르면, ClickFix 사회 공학 공격을 통해, 해커들은 보이지 않는 코딩 기법을 사용하여 문서 내에 해로운 지시문을 포함시킬 수 있다고 합니다. 이 숨겨진 텍스트는 사람의 눈에는 보이지 않지만 AI 요약기는 이를 감지할 수 있으며, 요약을 생성할 때 사용자에게 무심코 위험한 지시문을 전달할 수 있습니다.

“ClickFix 소셜 엔지니어링 기술의 새로운 소설적 적용이 발견되었습니다. 이는 보이지 않는 프롬프트 주입을 이용하여 AI 요약 시스템을 무기화합니다.”라고 연구자들은 말했습니다.

이 공격은 제로 너비 문자와 흰색 대 흰색 텍스트, 미세한 글꼴, 화면 밖 배치를 사용하는 CSS 기반의 난독화에 의존합니다. 요약기는 인간의 눈에는 보이지 않는 이 보이지 않는 코드를 감지합니다.

공격자들은 숨겨진 섹션에 수많은 명령을 추가함으로써 과도한 반응을 즉시 유발하고, 이로 인해 AI는 이러한 명령을 출력의 첫 번째로 선택하게 됩니다.

“이렇게 조작된 콘텐츠가 색인화되거나, 공유되거나, 이메일로 보내질 때, 이를 소화하는 어떠한 자동 요약 과정도 공격자가 제어하는 ClickFix 지시사항을 포함한 요약을 생성하게 됩니다.”라고 연구에서 설명했습니다.

테스트 중에 연구자들은 AI 요약 도구가 사용자에게 해로운 PowerShell 명령을 실행하도록 조작될 수 있는 방법을 보여주었습니다. 테스트 버전은 무해했지만, 실제 공격은 랜섬웨어를 쉽게 실행할 수 있습니다.

이 공격의 위험 수준은 높습니다. 왜냐하면 AI 요약 도구들은 이메일 클라이언트, 브라우저, 그리고 직장에서 사용하는 애플리케이션에 통합되어 있기 때문입니다. 연구자들은 많은 사람들이 원문을 읽지 않고 요약본을 신뢰하기 때문에 공격자들이 그 신뢰를 이용하는 것이 더욱 쉬워진다고 지적하였습니다.

전문가들은 내용이 요약되기 전에 숨겨진 텍스트를 제거하고, 의심스러운 프롬프트를 필터링하며, 요약에 단계별 지시사항이 포함되어 있을 경우 사용자에게 경고하는 등의 방어책을 권장합니다.

이러한 보호 조치가 없다면 AI는 무심코 “사회 공학 체인에서 활발한 참여자”가 될 수 있습니다.