전문가들은 AI 안전성이 급속한 발전에 뒤처지고 있다고 경고하고 있습니다.

연구자들은 인간 수준의 시스템을 개발하려는 AI 기업들이 확립된 안전 프로토콜을 부족하게 가지고 있으며, 우리는 이 모델들이 어떻게 생각하는지를 이해하는 능력을 잃어가고 있다고 경고하고 있습니다.

OpenAI와 Google DeepMind는 Meta와 xAI와 함께 인공 일반 지능 (AGI, Artificial General Intelligence)을 개발하기 위한 경쟁을 벌이고 있습니다. AGI는 인간 수준의 AI라고도 알려져 있습니다.

그러나 목요일에 Future of Life Institute (FLI)에 의해 발표된 보고서는 이러한 회사들이 자신들의 목표에 대한 결과에 대해 “근본적으로 미비하다”고 경고하고 있습니다.

보고서에서는 “산업계는 그들이 설정한 목표에 대해 근본적으로 준비되지 않았습니다. 회사들은 이번 10년 내에 인공 일반 지능(AGI)을 달성하겠다고 주장하지만, 존재론적 안전 계획에서 D 등급 이상을 받은 회사는 없습니다.”라고 밝혔습니다.

FLI는 일곱 개의 주요 회사를 평가했지만, 이 시스템들을 안전하게 유지하기 위한 ‘일관되고 실행 가능한 계획’이라고 볼 수 있는 것이 결여된 것을 발견했습니다.

FLI는 Anthropic에게 C+ 등급으로 최고의 안전 등급을 부여했고, 그 다음으로는 OpenAI가 C 등급, Google DeepMind가 C 등급을 받았습니다. Zhipu AI와 DeepSeek는 평가된 회사 중에서 가장 낮은 점수를 받았습니다.

FLI 공동 창립자인 Max Tegmark는 상황을 “누군가가 뉴욕시에 거대한 원자력 발전소를 건설하고 있고, 그것이 다음 주에 개장할 예정인데 – 그것이 고장나는 것을 막을 계획이 전혀 없다”고 비교했습니다.

목요일에 발표된 별도의 연구에서는 SaferAI가 이 문제에 대해 우려를 표현하였고, 회사들의 위험 관리 실천이 “약한 수준에서 매우 약한 수준”이며, 현재의 안전 접근 방식이 “수용할 수 없다”고 지적했습니다.

더욱 우려되는 점은, OpenAI, DeepMind, Anthropic, Meta의 연구자들이 새롭게 발표한 논문에서 우리가 “AI를 이해하는 능력을 잃어가고 있다”고 보고하였다는 것입니다.

AI 모델들은 이제 “생각하는 것처럼 말하다”라는 출력을 생성해내는데, 이는 그들의 사고 과정을 들여다보는 창문과 같습니다.

그러나, 연구자들은 이 모니터링이 불안정하며 시스템이 더욱 발전함에 따라 사라질 수 있다고 경고했다. OpenAI 연구원이자 주 저자인 Bowen Baker는 소셜미디어 게시물에서 이런 우려를 표현하였다:

더욱이, 기존의 CoT 모니터링 가능성은 매우 미약할 수 있습니다.

상위 계산 RL, 대체 모델 아키텍처, 특정 형태의 프로세스 감독 등, 이 모든 것들이 그들의 생각을 더욱 알아보기 어렵게 만드는 모델로 이어질 수 있습니다.

— Bowen Baker (@bobabowen) 2025년 7월 15일

실제로, OpenAI의 이전 연구에서는 AI의 불량 행동에 대해 처벌을 가하면 모델이 속임수를 그만두는 것이 아니라 의도를 숨기는 경향이 있다는 것을 발견했습니다. 더불어, OpenAI의 ChatGPT o1은 테스트에서 속임수적이고, 자기보호적인 행동을 보였으며, 비밀스러운 행동에 대해 질문 받을 때 99% 거짓말을 했다는 것을 밝혔습니다.

OpenAI의 안전 연구원이자 하버드 컴퓨터 과학 교수인 보아즈 바락도 다음과 같이 언급했습니다:

저는 경쟁사에서 일하는 사람이기 때문에 Grok 안전성에 대해 글을 올리고 싶지 않았습니다. 하지만 이 문제는 경쟁과는 별개입니다.

저는 @xai의 과학자들과 엔지니어들을 존경합니다만, 안전성을 다루는 방식은 완전히 무책임했습니다. 아래의 스레드를 참고하세요.

— Boaz Barak (@boazbaraktcs) 2025년 7월 15일

과학자들과 감시자들은 빠르게 성장하는 AI 기능이 안전한 틀이 불충분한 상황에서 인간이 그들의 창조물을 통제하는 것이 불가능해질 수 있음을 우려하고 있다는 공통의 걱정을 공유하고 있습니다.