AI 학교 감시가 온라인 농담을 오해하자 청소년이 체포됨

테네시주의 13세 소녀가 AI 학교 시스템이 그녀의 온라인 농담을 잘못 해석하자 체포되었는데, 이는 학생 감시에 대한 우려를 불러일으켰습니다.

소녀의 어머니인 레슬리 매시스는 청소년의 발언이 “잘못되었지만” 실제 위협은 아니었다고 말했다. “나는 이런 생각이 들었어요, 우리가 사는 이 미국이 이런 곳인가요? 그리고 이게 바로 어리석은 기술이란 거예요. 그저 무작정 단어를 잡아내는 것에 지나지 않는게,” 매시스는 Fortune이 처음으로 이 이야기를 자세히 보도한 곳에서 이렇게 보도했다고 전했다.

그날 일찍, 그녀의 친구들은 그녀의 태닝을 놀리며 그녀를 “멕시코인”이라고 농담했지만, 실제로는 그런 것이 아니었습니다. 그녀에게 목요일의 계획에 대해 물었을 때, 그녀는 ‘Gaggle’이라는 소프트웨어로 감시되는 학교 채팅에서 “목요일에는 모든 멕시코인들을 죽인다”고 응답했습니다.

아침이 되자, 그녀는 심문을 받고, 몸을 수색당하고, 하룻밤 동안 감옥에 갇혔습니다. 법원에서는 8주간의 가택연금, 심리평가, 그리고 대체 학교에서의 20일을 명령했습니다.

미국 전역의 학교들이 이제 AI 기술을 활용하여 학생들의 의사소통을 모니터링하고 폭력이나 자해의 징후를 찾아내고 있습니다. Gaggle과 Lightspeed Alert와 같은 시스템들이 수천 개의 지역에서 운영되며, 학교 직원들과 법 집행기관에 경고를 보냅니다. 그러나 AI 기반의 학교 감시 도구들은 안전을 약속하면서도 중요한 위험성을 내포하고 있습니다.

AP는 민감한 학생 정보가 부주의하게 노출될 수 있다고 지적했습니다. 수천 개의 보호되지 않은 문서들이 온라인에서 접근 가능했던 사례가 그 예입니다. 이런 도구들은 거짓 경보를 일으키거나, 위협을 잘못 판별하거나, LGBTQ+ 학생들을 공개하는 등의 문제를 일으켜 학생들, 가족들, 교육자들 사이의 신뢰를 훼손할 수 있습니다.

AP는 과도한 감시로 인한 스트레스 증가와 건강한 자기 표현의 제한, 불분명한 장기적 이익과 부족한 정신 건강 자원에 대한 의존이 윤리적이고 발달적인 문제를 일으킬 수 있다고 보고했습니다.

AP가 다른 이슈에서 보도한 칸자스의 Gaggle 알람 분석 결과, 거의 3분의 2의 사건들이 숙제나 삭제된 사진에 의해 잘못 알려진 것으로 나타났습니다.

학생들이 에세이를 수정하거나 개인 플랫폼에 농담을 게시하는 등의 행동으로 인해 AI 감시의 대상이 되기도 했습니다. 이는 AI 감시가 어떻게 평범한 청소년 행동을 범죄화하는지 보여주는 예입니다.

“이는 학생들의 삶, 그리고 그들의 집에서까지 법 집행 접근과 존재를 일상화하고 있습니다,”라고 민주주의와 기술 센터의 이사인 엘리자베스 레어드가 포춘에 보도했습니다.

제프 패터슨, 가글의 CEO는 테네시주의 학교가 이 소프트웨어를 잘못 사용했다고 말했습니다. “그것이 법 집행의 순간이 아니라 교육의 순간으로 다뤄졌으면 좋겠다”고 그는 말했습니다.

학생들은 종종 개인 메시지가 모니터링되고 있다는 것을 깨닫지 못합니다. “어른이 컴퓨터에서 매우 인종차별적이고 위협적인 농담을 하면, 그들은 그것을 삭제할 수 있고, 체포되지 않을 것입니다”라고 플로리다의 16세 학생인 알렉사 망가니오티스가 말했습니다.

비평가들은 AI 감시가 아이들을 괴롭힐 수 있다고 경고합니다. 남부 빈곤 법률 센터의 샘 보이드는 강제적인 정신 건강 평가가 종종 “충격적이고 해로울 수 있다”고 Fortune에 보도되었습니다.

실제로, AP는 AI 모니터링의 속도와 범위가 놀라울 정도라고 지적합니다. 플로리다의 학교 총격 사건에 대한 Snapchat 농담은 FBI의 개입과 즉각적인 체포를 초래했으며, Lightspeed 경보는 삭제된 메시지를 감지하여 신속한 학교 개입을 이끌어냈습니다.

폴크 카운티의 Gaggle 경보 시스템은 4년 동안 수백 건의 경보를 발생시켜, 학생들이 AP에게 후에 굉장히 트라우마를 받았던 경험이라고 묘사한 강제 정신 건강 평가를 이끌었습니다.

폴크 카운티에서만도, 4년 동안 수백 건의 Gaggle 경보가 강제적인 정신 건강 평가를 촉발했는데, 이 중 일부는 학생들이 트라우마로 묘사했습니다.

2년 후, 매티스는 그녀의 딸이 점차 개선되고 있지만, 그녀를 체포한 경찰관들을 만날까봐 여전히 “무서워”한다고 말했습니다. “마치 우리가 아이들이 이렇게 작은 군인이 되길 바라는 것처럼 보이지만, 그들은 그렇지 않습니다.”라고 그녀는 말했습니다. “그들은 단지 인간일 뿐입니다.”