LLM의 한계와 AI의 미래: 얀 르쿤의 월드 모델

LLM의 한계와 AI의 미래: 얀 르쿤의 월드 모델

요즘 우리는 챗GPT 같은 대규모 언어 모델, 즉 LLM의 놀라운 성능에 감탄하고 있습니다. 하지만 AI 분야의 세계적 석학이자 튜링상 수상자인 얀 르쿤 교수는 LLM만으로는 진정한 지능에 도달할 수 없다고 지적합니다.


그가 AI 혁명의 다음 단계로 제시한 핵심 개념이 바로 월드 모델입니다. 르쿤 교수는 AI가 인간처럼 생각하기 위해선 단순히 글을 읽는 것을 넘어, 세상을 예측하는 월드 모델이 필요하다고 강조합니다.

LLM의 한계와 AI의 미래: 얀 르쿤의 월드 모델

LLM이 넘지 못한 벽: 상식의 부재

LLM은 왜 한계가 있을까요? LLM은 기본적으로 텍스트 데이터에 나타난 통계적 패턴을 학습합니다. 어떤 단어 뒤에 어떤 단어가 올 확률이 높은지 계산하는 것이죠. 이 방식은 문법적으로 완벽하고 그럴듯한 문장을 생성하는 데는 뛰어나지만, 문장이 담고 있는 실제 의미나 물리적 세계의 이치를 이해하는 것은 아닙니다.


르쿤 교수가 지적하는 데이터 비효율성 문제는 심각합니다. 현재의 LLM은 수십조 개의 단어로 이루어진 방대한 텍스트를 학습해야 합니다. 이는 인류가 수만 년간 생산한 텍스트의 상당 부분에 해당합니다. 하지만 사람은 그렇게 학습하지 않습니다. 아기는 태어나서 4년 동안 경험하는 감각 데이터만으로도 언어와 세상의 기본 원리를 터득합니다. 이는 텍스트보다 훨씬 풍부한, 시각, 청각, 촉각 등의 정보입니다.


이 차이가 바로 모라벡의 역설로 이어집니다. 모라벡의 역설은 AI에게는 어려운 추상적 사고(체스, 수학)가 인간에게는 쉽고, 반대로 인간(아기)에게 쉬운 감각 운동 능력(걷기, 공 잡기)이 AI에게는 극도로 어렵다는 현상을 말합니다. LLM은 이 역설을 극복하지 못했습니다. 여전히 텍스트 세계에 갇혀, 현실 세계의 물리적 직관, 즉 상식을 갖추지 못하고 있습니다. 컵을 밀면 쏟아지고, 공을 던지면 포물선을 그린다는 당연한 사실을 텍스트가 아닌 경험으로 알지 못하는 것입니다.

AI의 다음 단계: 월드 모델이란?

얀 르쿤이 제안하는 월드 모델은 바로 이 현실 세계의 상식을 학습하기 위한 패러다임입니다. 월드 모델은 AI가 세상의 작동 원리를 스스로 내면화하여, 현재 상태를 바탕으로 미래에 일어날 일을 예측할 수 있도록 설계된 개념입니다. 쉽게 말해, AI 내부에 세상이 돌아가는 방식에 대한 축소판 모형을 만드는 것입니다.


이 학습 방식은 갓 태어난 아기가 세상을 배우는 과정과 놀랍도록 닮아있습니다. 아기는 세상을 관찰합니다. 물건을 만져보고, 흔들어보고, 입에 넣어보고, 바닥에 떨어뜨려 봅니다. 이 수많은 상호작용을 통해 아기의 뇌 속에는 중력의 개념, 물체의 영속성(눈앞에서 사라져도 존재함), 인과관계 등이 자연스럽게 자리 잡습니다. 텍스트로 배운 것이 아니라 경험으로 체득한 것입니다.


월드 모델이 제대로 작동하기 위해서는 텍스트만으로는 절대 불가능합니다. 다음과 같은 다양한 감각 정보, 즉 멀티모달 입력이 필수적입니다.

• 시각 정보 (비디오): 사물이 어떻게 움직이고 상호작용하는지 관찰

• 청각 정보: 소리를 통해 물체의 재질이나 사건을 파악

• 촉각 정보 (미래): 로봇 등을 통해 실제 물체와의 상호작용

• 현실 세계와의 상호작용을 통한 학습

월드 모델은 이 모든 정보를 통합하여, 입력된 정보를 바탕으로 다음 순간을 예측하는 능력을 키우게 됩니다.

이 학습 방식은 갓 태어난 아기가 세상을 배우는 과정과 놀랍도록 닮아있습니다.

월드 모델의 핵심 기술, JEPA

르쿤 교수는 이 야심 찬 월드 모델을 구현하기 위해 JEPA(Joint Embedding Predictive Architecture, 통합 임베딩 예측 아키텍처)라는 구조를 10여 년간 연구해왔습니다. 이름이 조금 어렵지만 원리는 이렇습니다.


기존의 AI 모델 중 일부는 비디오의 다음 프레임을 픽셀 하나하나까지 정확하게 예측(생성)하려 했습니다. 하지만 이는 비효율적입니다. 나뭇잎이 바람에 흔들리는 세세한 부분까지 모두 예측할 필요는 없기 때문입니다.


JEPA는 다른 방식을 택합니다. 다음 장면을 픽셀 단위로 상세히 그리는 대신, 다음에 일어날 일의 핵심적인 특징이나 추상적인 의미(표현 공간)를 예측하도록 훈련합니다. 예를 들어, 공이 날아오는 장면을 보고, 다음 순간 공이 어디쯤 있을지 그 위치와 형태의 핵심 정보만 예측하는 식입니다. 불필요한 세부 사항은 무시하고 중요한 정보에 집중하는 것입니다.


최근 메타 AI 연구소는 이 구조를 비디오 학습에 적용한 V-JEPA를 공개했습니다. V-JEPA는 이름표 붙이기가 되지 않은 수많은 비디오를 보면서 물리적 세계의 법칙, 즉 상식을 스스로 습득하기 시작했습니다.


가장 흥미로운 실험 결과는 이것입니다. V-JEPA에게 현실에서는 불가능한 영상을 보여주었을 때의 반응입니다. 예를 들어, 물체가 갑자기 허공으로 사라지거나, 단단한 물체가 고무처럼 휘어지거나, 공이 벽을 통과하는 장면을 보여주면, AI는 이 상황을 예측하는 데 극도로 어려움을 겪습니다.


예측 오류 수치가 비정상적으로 급격히 높아지는 것입니다. 이는 V-JEPA가 이미 정상적인 물리 법칙을 내면화했고, 비정상적인 상황을 비정상적이라고 인지하기 시작했다는 강력한 증거입니다.

월드 모델이 열어갈 AI의 진짜 미래

얀 르쿤 교수는 AGI, 즉 인간과 똑같거나 인간을 뛰어넘는 범용 인공지능이라는 개념에 대해 종종 비판적인 입장을 보입니다. 그는 AGI라는 용어 자체가 모호하며, 마치 AI의 목표가 인간 복제인 것처럼 오해를 불러일으킨다고 말합니다. 인간의 지능 역시 모든 분야에 동일하게 뛰어난 범용 지능이 아니라, 각자의 영역에서 고도로 전문화된 지능의 집합체입니다.


그가 추구하는 것은 인간을 닮은 AGI가 아닌, 특정 영역에서 인간의 능력을 보완하고 확장할 수 있는 AMI(고도화된 기계 지능)입니다.


결국 AI 연구의 미래는 방대한 텍스트를 통계적으로 암기하는 현재의 LLM을 넘어, 아기처럼 세상을 직접 경험하고 다음을 예측하는 월드 모델로 나아가고 있습니다. 월드 모델은 AI가 비로소 현실 세계의 상식을 갖추고, 더 복잡한 추론과 계획을 수행할 수 있게 만드는 진정한 혁명의 첫걸음이 될 것입니다.

인간을 닮은 AGI가 아닌, 특정 영역에서 인간의 능력을 보완하고 확장할 수 있는 AMI(고도화된 기계 지능)입니다.

---

지식의 우주 코멘트

마치 뇌과학자들이 아기의 뇌 발달 과정을 연구하듯, AI 과학자들이 아기의 학습 방식에서 영감을 얻는다는 점이 정말 흥미롭네요. 단순히 똑똑한 AI를 넘어, 세상을 이해하는 AI라니. 얀 르쿤의 월드 모델이 완성될 미래의 AI는 과연 어떤 모습일지, 벌써부터 기대가 됩니다.