MIT의 SEAL, AI가 스스로 학습하고 지속적으로 적응하도록 가능케 함

MIT의 Improbable AI Lab 연구원들이 SEAL (Self-Adapting LLMs)이라는 혁신적인 프레임워크를 개발했습니다. SEAL은 인공지능 시스템이 초기 학습 이후에 자가 교육을 통해 새로운 기술을 배울 수 있도록 합니다.

이 새로운 시스템은 기존의 대형 언어 모델을 뛰어넘었으며, 이에는 연구자들이 일반적으로 훈련이 끝나면 고정되어 새로운 정보를 학습하기 위해 상당한 재훈련을 필요로 하는 ChatGPT가 포함됩니다.

SEAL의 주요 혁신은 AI가 자체 교육 자료를 생성하고 이 자료를 사용하여 자신을 세밀하게 조정하는 능력에 있다. 실제로, 새로운 데이터 – 뉴스 기사나 예시 작업 등 – 가 제시되면, 시스템은 간단한 설명, 관련 사실, 연습 문제를 생성한다.

연구자들은 이 과정이 사람들이 보통 노트를 쓰거나 플래시카드를 만들어 새로운 정보의 이해와 기억을 향상시키는 인간의 학습 방법을 모방한다고 설명한다.

“내부 루프” 단계 동안, SEAL은 “자기 수정”이라는 작은 업데이트를 실행합니다. 이 시스템은 업데이트 후의 성능 향상을 검증하기 위해 “외부 루프” 평가를 수행합니다. AI가 긍정적인 변화를 인식하면, 그 수정을 기억하고; 그렇지 않으면 새로운 접근법을 시도합니다.

연구자들은 이 반복적인 과정이 AI가 완전한 재교육 없이도 지속적으로 지식을 향상시키고 새로운 도전에 적응하게 해준다고 말합니다.

연구자들은 SEAL이 사용하는 방법이 모든 전통적인 강화 학습(RL) 접근법과는 별개임을 지적했다. 표준 RL 환경에서의 에이전트는 시행착오를 통해 자신이 주변 환경과 상호작용할 때 보상을 최대화하는 방법을 배운다.

SEAL은 RL을 도구로 사용하여 AI 시스템을 훈련시켜 자체 학습 자원을 생성하고 구현한다. 이는 언어 모델을 교사와 학생으로서 역할하게 만든다. 이 시스템은 “자체 편집”을 생성하는데, 이에는 개인화된 지시와 함께 그 세련화 과정을 위한 합성 데이터가 포함된다. 이 접근법은 기존의 RL 방법들이 직접 모델 파라미터를 조정하지 않기 때문에 달성할 수 없는 지속적이고 자기 주도적인 업데이트를 가능하게 한다.

MIT의 연구자들은 SEAL을 두 가지 방면에서 테스트했습니다. 첫째, 새로운 사실을 배우는 과정에서, SEAL은 원시 텍스트를 함축과 Q&A 형식으로 변환하여 GPT-4.1의 교육 자료를 뛰어넘는 47%의 정확성 향상을 이루었습니다. 둘째, 추상적 추론 작업에서 SEAL은 강화 학습이나 표준 교육이 없는 모델을 능가하는 72.5%의 성공률을 달성했습니다.

연구자들은 이러한 가능성이 다양한 분야에서 활용될 수 있을 것이라주장합니다. SEAL은 맞춤형 AI 튜터부터, 스스로 발전하는 연구 협력자, 경험을 통해 더욱 발전하는 자율적 에이전트까지 다양한 응용 프로그램을 가능하게 할 수 있습니다.

이 기술은 기업 AI 시스템을 변화시키는 잠재력을 가지고 있습니다. 이를 통해 기업 AI 시스템은 내부적인 사고 능력을 개발할 수 있게 되어, 빠르게 변화하는 데이터와 사용자 요구사항에 대응하기 위해 많은 비용이 드는 재교육 과정이 필요 없게 됩니다.

그러나, 여전히 남아있는 도전과제들이 있습니다. 예를 들면, 연구자들이 ‘catastrophic forgetting’이라고 부르는 현상에 SEAL이 시달릴 수 있습니다. 이는 새로운 학습이 이전의 지식을 덮어쓰는 현상을 말하며, 자가 수정 과정은 상당한 컴퓨팅 리소스를 필요로 합니다.

이 문제들을 완화하기 위해, 팀은 임시 메모리를 위한 외부 도구와 SEAL을 결합한 하이브리드 시스템을 제안하며, SEAL의 업데이트는 필수적이고 장기간의 지식을 위해 보존된다.

이런 장애물에도 불구하고, MIT의 연구자들은 이 기술이 기계에게 인간과 같은 적응성과 평생 학습 능력을 제공할 것이라고 믿습니다.