서포터 AI 오류, 자동화로 근로자를 대체하는 위험성을 드러내다

AI 스타트업 Cursor의 지원 봇이 로그인 정책을 만들어냈는데, 이로 인해 혼란이 발생하였으며 사용자들의 반발을 촉발시키고 자동화된 서비스에 대한 심각한 우려를 불러일으켰습니다.

인기 코딩 어시스턴트 Cursor를 개발한 AI 스타트업인 Anysphere가 어려움에 처했습니다. 이 회사의 AI 기반 지원 봇이 잘못된 정보를 제공해 사용자들의 불만과 구독 취소를 유발했는데, 이 사실은 처음으로 Fortune에서 보도했습니다.

2023년에 시작된 Cursor는 폭발적인 성장을 이루어냈습니다 – 연간 매출 1억 달러를 달성하고, 거의 100억 달러의 평가를 받았습니다. 그러나 이번 주, 사용자들이 기기를 전환하면서 미스터리하게 로그아웃되는 현상이 발생하자 그 지원 시스템이 논란의 중심에 섰습니다.

한 Hacker News 사용자는 이상한 경험을 공유하였는데, 고객 지원에 연락했을 때 “Sam”이라는 봇이 로그아웃이 “새로운 로그인 정책”의 일부라는 이메일로 응답했다고 밝혔습니다.

단 한 가지 문제가 있었습니다: 그런 정책은 존재하지 않았던 것입니다. 그 설명은 환각에 불과했습니다 – AI가 만들어낸 정보를 의미하는 용어입니다. 인간은 관여하지 않았습니다.

이 소식이 개발자 커뮤니티에 퍼지면서 신뢰는 빠르게 흔들렸습니다. 공동창업자인 Michael Truell은 Reddit 게시물에서 이 문제를 인정하면서, 이는 “전선 AI 지원 로봇으로부터의 잘못된 응답”이라고 확인했습니다. 또한 그는 로그아웃을 일으키는 버그를 조사 중이라며, “여기서의 혼동에 대해 사과드립니다.”라고 덧붙였습니다.

그러나 많은 사용자들에게는 이미 피해가 발생했습니다. “지원팀은 AI가 생성한 것으로 보이는 동일한 표준화된 답변을 여러 번 제공했다”고 Fight Health Insurance의 공동 창립자이며 Cursor 사용자인 Melanie Warrick씨가 말했습니다. “에이전트가 작동하지 않아서 그만 사용하게 됐습니다. 문제를 해결하려고 노력하는 것이 너무 방해가 됐습니다.”

전문가들은 이것이 자동화에 대한 과도한 의존을 경고하는 빨간 깃발로 작용한다고 말합니다. “고객 지원은 AI만으로는 현재 제공하기 어려운 공감, 뉘앙스, 문제 해결 능력을 요구합니다.” Datadog의 Sanketh Balakrishna가 경고했습니다.

업윈드의 CEO인 아미란 샤하르는 이런 현상이 과거 AI의 실수, 예를 들어 에어 캐나다의 챗봇이 환불 정책을 날조한 경우와 비슷하다고 말했습니다. “AI는 사용자나 그들의 작업 방식을 이해하지 못합니다.”라며 그는 설명했습니다. “적절한 제약 없이 AI는 ‘신뢰성 있게’ 뒷받침되지 않는 정보로 빈 칸을 채울 것입니다.”

보안 연구원들은 이런 사건이 더 심각한 위협으로 문을 열 수 있다고 경고하고 있습니다. MINJA (Memory INJection Attack)라고 알려진 신규 발견된 취약점은 AI 챗봇이 메모리를 가지고 있을 때 일반적인 사용자 상호작용을 통해 어떻게 악용될 수 있는지 보여줍니다. 이는 결국 AI의 내부 지식을 오염시키는 것입니다.

MINJA는 악의적인 사용자들이 모델의 메모리에 오해를 불러일으키는 메시지를 지속적으로 삽입할 수 있게 해, 앞으로의 다른 사용자들과의 대화에 영향을 줄 수 있습니다. 이 공격은 백엔드 접근과 안전 필터를 우회하며, 테스트에서 95%의 성공률을 보였습니다.

“어떤 사용자라도 쉽게 다른 사용자의 작업 실행에 영향을 미칠 수 있습니다. 그래서 우리는 우리의 공격이 LLM 에이전트에 대한 현실적인 위협이라고 말합니다.”라고 조지아 대학교의 조교수인 Zhen Xiang이 말했습니다.

그러나 이러한 위험에도 불구하고, 기업들이 AI 에이전트에 대한 신뢰는 점점 늘어나고 있습니다. 최근 조사에 따르면 1,000명 이상의 IT 리더 중 84%가 AI 에이전트를 사람만큼 혹은 그 이상으로 신뢰하고 있습니다. 92%는 18개월 이내에 측정 가능한 비즈니스 성과를 기대하고 있으며, 79%는 올해 에이전트 배포를 우선시하고 있습니다. 이는 개인정보 보호 문제와 환각 위험 등이 여전히 장애물로 남아있음에도 불구하고, 기업들의 추진력이 명확하게 드러나고 있습니다

AI 에이전트는 노동비용을 줄일 수 있는 약속을 하지만, 한 번의 실수만으로도 고객의 신뢰를 손상시킬 수 있습니다. “이것이 바로 최악의 시나리오입니다.” 한 전문가는 Fortune에게 말했습니다.

커서 사례는 이제 스타트업들에게 경각심을 일으키는 이야기가 되었습니다: 아무리 똑똑한 봇이라도 감독 없이 방치되면 실제로 큰 피해를 입힐 수 있다는 것을 보여줍니다.