AI 환각이 이제 사이버 보안 위협이 되었습니다

이 연구에 따르면 AI 챗봇이 수백만 사용자에게 가짜 로그인 페이지를 권장하여, 도움이 될 것처럼 가장하여 피싱과 사기의 위험에 빠뜨리고 있습니다.

사이버 보안 회사 Netcraft는 유명한 대형 언어 모델(LLM)을 테스트하기 위해 50개의 잘 알려진 브랜드에 로그인할 위치를 물어본 연구를 진행했습니다. 제안된 131개의 웹사이트 링크 중 34%가 잘못되었으며, 이 중 29%는 비활성화되었거나 등록되지 않은 도메인이었고, 5%는 무관한 사업체였습니다.

이 문제는 이론적인 것이 아닙니다. 실제 예를 들어, AI 기반의 검색 엔진인 Perplexity가 Wells Fargo 로그인 페이지를 검색한 사용자에게 피싱 사이트를 보여준 적이 있습니다. 은행을 모방한 가짜 구글 사이트 페이지가 검색 결과 상단에 나타났고, 실제 링크는 아래에 숨겨져 있었습니다.

Netcraft는 “이런 것들은 변두리 케이스의 프롬프트가 아니었습니다. 우리 팀은 일반 사용자가 질문할 것 같은 방식을 정확히 모방하여 간단하고 자연스러운 어투를 사용했습니다. 모델이 속은 것이 아니라 단순히 정확하지 않았습니다. 왜냐하면 사용자들이 이런 종류의 질문에 대답하기 위해 점점 더 AI 기반 검색과 채팅 인터페이스를 의존하고 있기 때문입니다.”라고 설명했습니다.

AI가 Google이나 Bing 같은 플랫폼에서 기본 인터페이스가 되면서 위험성이 커지고 있습니다. 기존의 검색 엔진과는 달리 챗봇은 정보를 명확하게, 자신있게 제시하기 때문에 사용자들은 챗봇의 답변을 신뢰하게 되는데, 이는 정보가 틀렸을 때에도 마찬가지입니다.

위협은 피싱에서 끝나지 않습니다. 현대의 사이버 범죄자들은 자신들의 악성 콘텐츠를 AI 시스템에 최적화시켜 수 천 개의 사기 페이지, 가짜 API, 독이 든 코드를 필터를 빠져나와 AI가 생성한 응답에 포함시킵니다.

한 캠페인에서 공격자들은 가짜 블록체인 API를 설계해 GitHub 저장소와 블로그 글을 통해 홍보하였으며, 이를 통해 개발자들이 암호화폐를 사기성 지갑으로 보내는 것을 속였습니다.

Netcraft는 가짜 도메인을 사전에 등록하는 것만으로는 충분하지 않다고 경고합니다. 대신, 그들은 AI가 처음부터 해로운 URL을 만들지 않도록 더 나은 감지 시스템과 교육적인 보호조치를 추천합니다.