챗GPT의 등장으로 지난해에는 대형언어모델(LLM)이라는 단어가 유행이었다. 이후 이미지나 영상까지 읽어낼 수 있는 대형멀티모달모델(LMM)이라는 말이 ‘GPT-4o’나 ‘제미나이’ 등의 수식어로 퍼져 나갔다. 그리고 이제는 ‘거대세계모델(LWM)’이 최신 트렌드로 떠올랐다. 텍스트로만 세상을 배운 인공지능(AI)의 한계를 넘기 위해 현실 세계를 학습하며 인간과 같은 인지 능력을 갖춘다는 이 모델은 ‘몸을 가진 AI(Embodied AI)’라는 이름으로도 알려졌다. 이는 AI의 한계를 뛰어넘어 인공일반지능(AGI)에 도달할 유력한 방법으로 꼽히는 동시에 로봇 공학이나 자율주행 등으로 확장할 수 있기 때문에 아주 유망한 기술로 꼽힌다.

LWM은 스탠퍼드대 교수이자 월드랩스(World Labs) 설립자인 페이페이 리 교수가 공간지능(Spatial Intelligence)을 구현하기 위해 개발 중인 AI 모델이다. 공간지능을 간단히 설명하면, 인간은 태어나면서부터 언어적 지능을 가지며 이를 통해 다른 사람들과 소통한다. 하지만 언어는 인간이 상호작용하기 위한 소통방식의 하나일 뿐이다. 인간이 실제 주변 세계와 상호작용하는 것은 물리적 공간이며 시각적 지능과 공간적 지능을 통해 현실 세계의 물리적인 형체를 이해하고 상호작용을 한다. 따라서 이러한 현실 세계를 이해하고 추론하고 상호작용하기 위해서는 언어 기능을 넘어서는 또 다른 지능이 필요하다. 이 지능이 바로 공간지능이다.

공간지능은 쉽게 말하면 현실 세계를 이해하고 판단하는 AI 시스템이다. LWM 전문가인 리 교수는 공간지능을 “시각적 데이터를 처리하고 예측하고 이에 따라 행동하는 능력이며 이를 통해 AI가 현실 세계에서 인간과 상호작용할 수 있는 방식”이라고 말한다. 기존 2차원(2D) 데이터에 기반한 AI에서 3차원 데이터에 기반한 공간지능 AI로의 전환은 AI가 인간의 공간인식을 입체적으로 반영하는 방식으로 현실 세계와 상호작용할 수 있게 된다는 점에서 의미가 크다고 할 수 있다.

이러한 공간지능을 구현하기 위한 AI 모델로 주목을 받고 있는 것이 바로 LWM이기에 궁극적으로 AGI를 달성하기 위한 차세대 AI 모델로 평가된다. 그래서 오픈AI, 구글, xAI 등의 주요 AI 기업들도 LWM 개발에 뛰어 들었다. 특히, 오픈AI는 대규모 AI 데이터센터를 구축해 초거대 LWM 개발을 준비하고 있다. 구글에서는 ‘세계모델’ 연구를 위해 데이비드 하와 팀 브룩스가 관련 연구를 이끌고 있으며, xAI의 일론 머스크 역시 자사의 첫 LMM ‘그록 1.5-V’를 공개하며 AGI 개발을 위한 첫걸음을 내디뎠다.

이 혁신적인 기술이 개발되면 다양한 산업 분야에 광범위하게 적용되어 큰 변화를 가져올 것으로 전망된다. 단기적으로 활용될 수 있는 분야는 컴퓨터 게임과 증강·가상현실(AR·VR)을 들 수 있다. 특히 메타버스 산업의 경우 주로 실감나는 사용자 경험, 콘텐츠 생성 및 관리의 향상, 실제 세계의 데이터와의 통합 등에서 많은 개선이 이루어질 것으로 보인다.

중장기적으로는 AI 기반 로봇이나 자율주행차가 유력하다. 예를 들어 LWM은 다양한 주변 환경 데이터 처리 능력으로 휴머노이드나 자율주행차의 인지 판단 제어기능을 고도화시킬 수 있을 것으로 보인다. 특히 인간의 관여 없이도 실시간 데이터를 학습하고 적용하도록 설계돼 실시간이 중요한 자율주행차에 특히 유용할 것 같다. 중국의 드라이브드리머(Drive Dreamer) 연구 프로젝트나 영국의 자율주행 기술 스타트업 웨이브(Wayve)의 GAIA-1 모델 등이 대표적이다.

앞으로 LWM이 가져올 변화는 산업 분야뿐만 아니라 게임에서 의료, 교육까지 모든 삶의 영역에 영향을 미칠 것으로 예상된다. 물론 모든 혁신적 기술이 그렇듯이 LWM도 양날의 검이 될 수 있다. 초개인화된 AI 시스템이 우리에게 어떤 영향을 미칠지에 대한 심오한 논의가 필요한 때다. 그리고 겪어봐야 알겠지만 확실한 건 새로운 기술로 인해 새로운 시장이 열릴 것에 대한 우리의 준비가 필요한 시점인 것은 틀림이 없는 것 같다.