LegoGPT: AI가 텍스트 프롬프트를 레고 작품으로 변환합니다

카네기 멜론 대학의 연구자들이 글로 쓴 설명을 바탕으로 실제 레고 작품을 만들어내는 새로운 AI 시스템인 LegoGPT를 소개했습니다.

이것은 “스트림라인 형태의 길고 날씬한 선박”과 같은 텍스트 프롬프트를 따르는 것뿐 아니라, 그 결과물이 물리적으로 안정적이며 벽돌 하나하나로 건설될 수 있도록 보장하는 최초의 AI입니다.

“이를 달성하기 위해, 우리는 대규모이고 물리적으로 안정된 LEGO 디자인 데이터셋을 구축하고, 그들과 연관된 캡션을 함께 제공합니다.”라고 팀은 그들의 연구 논문에서 설명했습니다.

LegoGPT는 47,000개가 넘는 안정된 Lego 모델과 GPT-4o가 생성한 상세한 캡션을 이용해 훈련되었습니다. 이들은 3D 형태로 만들어진 것들로, Lego 구조물로 변환되었고, 물리 시뮬레이션을 사용해 실제 세계의 안정성을 테스트하였습니다.

각 구조물은 AI가 다양한 디자인이 어떻게 보여야 하는지 단어로 배울 수 있도록 24개의 각도에서 설명되었습니다.

팀은 “물리학적 롤백”이라는 특별한 기법을 사용했습니다. 이는 디자인의 불안정한 부분을 제거하고 전체 구조가 견딜 수 있을 때까지 다시 구축하는 방법입니다. 이를 통해 건축 성공률이 24%에서 98.8%로 향상되었습니다.

AI 모델은 메타의 LLaMA-3.2-Instruct를 기반으로, 다음에 어떤 레고 블록을 놓을지 예측합니다—이는 ChatGPT가 다음 단어를 예측하는 것과 비슷한 방식입니다. 제안된 모든 블록은 위치, 크기, 그리고 잠재적인 충돌 여부를 검사한 후 모델에 추가됩니다.

LegoGPT의 창작품은 사람과 로봇 모두에 의해 만들어질 수 있습니다. “우리의 실험 결과는 LegoGPT가 안정적이고 다양하며, 미적으로 만족스러운 레고 디자인을 제작하며, 이는 입력 텍스트 프롬프트와 밀접하게 일치한다”고 연구자들은 적었습니다.

현재 LegoGPT는 기본 브릭 8가지를 사용하며, 20×20×20 공간 내에서 작동합니다. 하지만 팀은 이를 확장하려고 기대하고 있습니다.

그들의 전체 데이터셋, 코드, 그리고 모델은 무료로 접근이 가능하므로, 다른 사람들이 이 연구를 계속해서 발전시킬 수 있습니다. 또는, 그들의 데모를 이용해 놀아볼 수도 있습니다.