모니터 너머의 영상이 당신의 손짓에 실시간으로 반응하며 생동하는 세계로 변한다. 구글 딥마인드가 공개한 '지니 3(Genie 3)'는 정지된 이미지를 움직이게 만드는 수준을 넘어, 사용자가 직접 탐험하고 조작할 수 있는 실시간 가상 공간을 구축한다. 이는 단순히 고해상도 영상을 생성하는 기술적 성취를 넘어, 인공지능이 물리적 세계의 질서를 이해하고 이를 시뮬레이션하는 '월드 모델(World Model)' 시대의 본격적인 개막을 알리는 신호탄이다.

생성형 비디오를 넘어 '상호작용하는 세계'로

지니 3는 720p 해상도에서 초당 24프레임(fps)의 속도로 결과물을 출력한다. 기존의 비디오 생성 모델들이 짧은 영상을 생성하는 데 수십 초에서 수 분의 시간을 소요했던 것과 비교하면, 지니 3는 영화와 같은 부드러운 움직임을 실시간으로 렌더링하며 사용자의 입력에 즉각적으로 반응한다. 110억 개의 파라미터를 갖춘 이 오토리그레시브 트랜스포머(Autoregressive Transformer) 아키텍처는 픽셀 하나하나를 그리는 대신, 세계의 변화를 예측하며 공간을 창조한다.

기술의 핵심은 '시공간 비디오 토크나이저(Spatiotemporal Video Tokenizer)'와 '잠재 행동 모델(Latent Action Model)'의 결합에 있다. 인공지능은 영상의 시각적 요소를 잘게 쪼개어 인식하는 동시에, 사용자의 조작이 세계에 어떤 변화를 일으킬지를 잠재 공간에서 먼저 계산한다. 24fps라는 속도를 확보하기 위해 딥마인드는 세밀한 부분보다 전체적인 구조를 먼저 생성하는 계층적 렌더링(Hierarchical Rendering)과 변화가 있는 부분만 골라 업데이트하는 증분 업데이트(Incremental Updates) 기법을 도입했다. 마치 화가가 밑그림을 빠르게 그린 뒤 필요한 부분에만 붓칠을 더하는 방식과 흡사하다.

과거의 생성 모델이 맥락을 놓치고 사물이 갑자기 사라지거나 형태가 일그러졌다면, 지니 3는 약 1분 내외의 '시각적 메모리 윈도우'를 통해 사물 영속성을 유지한다. 화면 밖으로 사라진 객체가 다시 시야에 들어왔을 때 원래 위치에 그대로 존재하는 '창발적 일관성(Emergent Consistency)'을 보여주는 것이다. 이는 별도의 3D 모델링이나 물리 엔진 없이 오직 방대한 영상 데이터 학습만으로 구현된 결과다.

분석: 시뮬레이션이 지배하는 미래의 로보틱스

지니 3의 등장이 파급력을 갖는 이유는 게임이나 엔터테인먼트 분야에만 국한되지 않기 때문이다. 이 모델이 학습한 '직관적 물리학(Intuitive Physics)'은 중력, 물의 흐름, 빛의 반사 등을 자연스럽게 재현한다. 이는 실제 로봇을 훈련하기 전 가상 환경에서 수만 번의 시행착오를 거치게 하는 'Sim2Real(Simulation to Real)' 전이 학습의 핵심 인프라가 될 가능성이 높다.

구글은 지니 3를 활용해 가상 창고에서 로봇을 학습시키고, 여기서 습득한 행동 양식을 실제 자동화 현장에 적용할 수 있다고 설명한다. 수천 대의 실제 로봇을 구동하는 대신, 고정밀 가상 세계에서 고속으로 학습을 진행하는 방식은 비용과 시간을 획기적으로 줄여준다. 자율주행 차량이 실제 도로에 나가기 전, 지니 3가 생성한 복잡한 도심 환경에서 수백만 킬로미터를 주행하며 예외 상황을 학습하는 시나리오도 현실로 다가오고 있다.

다만, 기술적 한계와 불투명성은 여전히 과제로 남는다. 24fps를 구현하기 위해 필요한 하드웨어 가속기(GPU/TPU) 사양이 공개되지 않았으며, 메모리 윈도우가 1분을 넘어설 때 발생하는 성능 저하나 복잡한 다중 에이전트 간의 정밀한 물리적 상호작용 능력도 검증이 더 필요하다. 비평가들은 지니 3가 보여주는 물리 법칙이 어디까지나 '통계적 예측'일 뿐, 실제 물리 법칙을 수식으로 이해하는 것은 아니라는 점을 지적한다.

실전 적용: 지금 우리가 주목해야 할 변화

개발자와 기업들은 이제 비디오를 '소비하는 콘텐츠'가 아닌 '상호작용하는 데이터 세트'로 바라봐야 한다. 지니 3는 고가의 렌더링 장비나 전문 인력 없이도 텍스트나 간단한 입력만으로 복잡한 시뮬레이션 환경을 구축할 수 있는 길을 열었다.

로보틱스 스타트업이라면 고가의 물리 시뮬레이터 라이선스를 구매하는 대신, 지니 3와 같은 월드 모델을 활용해 맞춤형 훈련 환경을 조성하는 방안을 검토할 수 있다. 교육 및 훈련 분야에서는 위험한 산업 현장이나 복잡한 수술 과정을 실시간으로 생성하여 실습 도구로 활용하는 시나리오가 구체화될 것이다. 사용자는 지니 3가 제공하는 인터랙티브 환경을 통해 단순한 시청을 넘어 가상 세계의 변수들을 직접 조작하며 결과를 즉시 확인할 수 있다.

FAQ

Q1: 지니 3를 실행하려면 고성능 서버가 반드시 필요한가? A: 24fps의 실시간 추론을 위해 요구되는 구체적인 하드웨어 사양은 아직 공개되지 않았다. 다만 110억 개의 파라미터 규모와 계층적 렌더링 기법을 고려할 때, 일정 수준 이상의 GPU/TPU 자원이 필요할 것으로 추측된다.

Q2: 기존 게임 엔진(Unity, Unreal)과 지니 3의 차이점은 무엇인가? A: 기존 게임 엔진은 개발자가 사전에 모든 사물의 물리적 속성과 디자인을 프로그래밍해야 한다. 반면 지니 3는 데이터 학습을 통해 물리 법칙을 스스로 체득하며, 별도의 코딩 없이도 입력에 따라 즉흥적으로 일관성 있는 세계를 생성해낸다는 차이가 있다.

Q3: 지니 3가 생성하는 세계는 얼마나 오랫동안 유지되는가? A: 현재 지니 3는 약 1분 내외의 시각적 메모리 윈도우를 통해 사물의 위치와 상태를 기억한다. 수 분간은 물리적 일관성을 유지하며 상호작용이 가능하지만, 초장시간 지속되는 시뮬레이션 환경에서의 성능은 추가 확인이 필요하다.

결론

지니 3는 인공지능이 2차원 평면의 이미지를 넘어 3차원의 공간과 시간의 흐름을 이해하기 시작했음을 증명한다. 720p 24fps라는 성능 수치는 이제 AI가 인간의 인지 속도와 보조를 맞추며 실시간으로 세계를 그려낼 준비가 되었음을 의미한다. 앞으로 우리가 주목해야 할 지점은 이 '가상 세계'가 얼마나 더 정교해지느냐가 아니라, 여기서 학습된 지능이 실제 현실 세계의 로봇과 자율주행 시스템을 얼마나 빠르게 진화시킬 것인가에 있다.

참고 자료

• 🛡️ Genie 3: The Complete Technical Guide to DeepMinds Revolutionary World Model
• 🛡️ How Genie 3 Builds Interactive 3D Scenes from Text
• 🛡️ Does Genie 3 support object permanence and memory of past interactions? - Milvus
• 🛡️ Genie 3 Tutorial: Google DeepMind's Real-time 3D World Model | 720p 24fps
• 🛡️ Google DeepMind releases new world model with ‘vast space’ to train robots
• 🏛️ Technical Deep Dive: The Architecture Behind Genie 3
• 🏛️ Google says its new ‘world model’ could train AI robots in virtual warehouses