OpenAI의 새로운 AI 모델들이 이제 이미지를 통해 “생각”할 수 있게 되었습니다.

OpenAI는 이미지 조작과 텍스트 기반 추론을 결합하여 복잡한 문제를 해결하는 고급 AI 모델인 o3와 o4-mini를 출시하였습니다.

OpenAI는 이미지를 이해하고 처리하는 방식에서 큰 도약을 표시하는 두 개의 새로운 AI 모델, o3와 o4-mini를 발표했습니다.

“이러한 시스템들은 여러분이 원하는 작업을 위해 이미지를 조작하고, 자르고, 변형할 수 있습니다,”라고 OpenAI의 연구 책임자인 Marc Chen은 수요일에 진행된 라이브스트림 이벤트에서 말했습니다. 이는 뉴욕 타임스에서 보도했습니다.

o3와 o4-mini 모델은 이제 그들의 내부적인 사고 과정의 일부로 이미지를 분석하는 능력을 가지게 되었습니다. 반면에 이전 모델들은 이미지를 단지 봄으로써만 가능했습니다.

이 시스템은 사용자들이 수학 문제, 기술 도표, 손으로 쓴 메모, 포스터, 흐릿하거나 회전한 이미지 등의 사진을 업로드할 수 있게 해줍니다. 한 이미지 내에 여러 질문이나 시각적 요소가 있든 없든, 이 시스템은 그 내용을 단계별 설명으로 분해합니다.

이 시스템은 이제 이미지의 불분명한 부분에 초점을 맞춰, 이해를 돕기 위해 이미지를 회전할 수 있습니다. 시각적 이해와 텍스트 기반의 추론을 결합하여 정확한 답변을 제공합니다. 이 시스템은 과학 그래프를 해석하여 그 의미를 설명하고, 스크린샷에서 코딩 오류를 식별하여 해결책을 생성할 수 있습니다.

모델들은 웹 검색, 파이썬 코드, 실시간 이미지 생성과 같은 다른 도구들도 사용할 수 있습니다. 이러한 기능들은 그들이 이전보다 훨씬 더 복잡한 작업들을 해결할 수 있게 해줍니다. OpenAI는 이런 기능들이 특수 모델 없이도 내장되어 있다고 말하고 있습니다.

테스트 결과에 따르면, o3와 o4-mini는 주어진 모든 시각적 작업에서 이전 모델들보다 더 나은 성능을 보여주었습니다. V*라고 알려진 시각적 검색 벤치마크에서는 o3가 95.7%의 정확도를 달성하였습니다. 그러나 OpenAI는 이들 모델들이 과잉적 사고 오류와 기본 인식 오류를 만들어 낼 수 있다고 밝히면서, 아직 일부 결함이 존재함을 인정하였습니다.

OpenAI는 이번 업데이트를 인간과 유사하게 추론하는 AI 시스템을 개발하는 계획의 일환으로 소개하였습니다. 이 모델들은 기능을 수행하기 위해 광범위한 사고 과정이 필요하며, 이는 복잡한 질문을 다루는 데 추가적인 시간이 필요하다는 것을 의미합니다. 또한, 이미지 생성, 웹 검색, 파이썬 코드 분석 같은 도구를 통합하여 더욱 정확하고 창의적인 답변을 제공합니다.

그러나, 한계도 존재합니다. 이 모델들은 때때로 과도한 양의 정보를 처리하고, 인식 오류를 범하며, 시도 사이에서 추론 방식을 바꾸기도 합니다. 이 회사는 이러한 모델들의 신뢰성과 일관성을 개선하기 위해 노력하고 있습니다.

o3와 o4-mini는 이제 ChatGPT Plus (월 $20)와 Pro (월 $200) 사용자에게 이용 가능합니다. OpenAI는 또한 개발자들이 이들 AI 모델을 자신의 코드와 함께 실행할 수 있도록 돕는 새로운 오픈소스 도구인 Codex CLI를 출시하였습니다.

OpenAI가 콘텐츠 사용에 대한 법적 과제에 직면해 있지만, 그들의 시각적 추론 기술은 AI가 더 인간적인 방식으로 실제 세상의 문제를 해결하는 데 점점 더 가까워지고 있음을 보여줍니다.