VLA는 Vision-Language-Action의 줄임말입니다. 로봇이 카메라로 장면을 보고, 사람이 말한 지시를 이해한 뒤, 실제 팔과 그리퍼를 움직이는 행동까지 이어 보려는 AI 모델 흐름입니다.
예를 들어 사람이 “파란 컵을 집어서 쟁반 위에 올려줘”라고 말하면, 로봇은 먼저 컵이 어디 있는지 봐야 합니다. 그다음 “집는다”, “쟁반 위에 올린다”는 말을 현재 장면에 맞게 풀어야 합니다. 마지막에는 팔을 어느 방향으로 움직이고 그리퍼를 언제 닫을지 정해야 합니다. VLA는 이 세 단계를 하나의 모델 안에서 더 가깝게 연결하려는 접근입니다.
첫 글에서 정리한 피지컬 AI 뜻이 “AI가 물리 세계에서 행동하는 방향”이었다면, VLA는 그 안에서 로봇의 두뇌 역할에 가까운 개념입니다. 다만 VLA가 있다고 해서 로봇이 곧바로 사람처럼 집안일을 다 한다는 뜻은 아닙니다. 아직은 데이터, 로봇 몸체, 센서, 안전 제어, 반복 성공률이 함께 따라와야 합니다.
VLA 뜻
VLA는 Vision, Language, Action을 합친 말입니다. 한국어로 풀면 “시각, 언어, 행동을 연결하는 모델” 정도가 가장 자연스럽습니다.
여기서 중요한 부분은 마지막의 Action입니다. 이미지를 설명하거나 질문에 답하는 AI와 달리, VLA는 로봇이 실제로 움직일 수 있는 행동까지 출력하려고 합니다. 그래서 로봇 AI, 피지컬 AI, 로봇 파운데이션 모델을 이야기할 때 자주 등장합니다.
로봇 입장에서는 무엇이 달라지나
기존 자동화 로봇은 정해진 위치, 정해진 물체, 정해진 순서에 강합니다. 공장 라인처럼 환경이 잘 통제된 곳에서는 이 방식이 아주 강력합니다. 하지만 컵 위치가 조금 바뀌거나, 물체가 처음 보는 모양이거나, 사람이 자연어로 지시하면 문제가 어려워집니다.
VLA가 겨냥하는 지점은 바로 이 틈입니다. 로봇이 화면 속 픽셀만 보는 것이 아니라, 그 장면이 어떤 물체와 관계로 이루어졌는지 이해하고, 사람의 말을 행동으로 바꾸도록 만드는 것입니다.
Google DeepMind의 RT-2 발표는 이 흐름을 보여주는 대표적인 사례입니다. RT-2는 웹 데이터와 로봇 데이터를 함께 학습해, 시각과 언어 정보를 로봇 제어 명령으로 옮기려는 VLA 모델로 소개됐습니다.
Vision, Language, Action을 따로 보면
VLA를 처음 볼 때는 세 단어를 분리해서 보는 편이 쉽습니다.
- Vision: 로봇이 카메라나 센서로 현재 장면을 보는 부분입니다. 컵, 테이블, 손잡이, 장애물, 사람의 위치 같은 정보가 여기에 들어갑니다.
- Language: 사람이 말한 지시나 모델이 해석해야 하는 문장입니다. “가까운 컵”, “왼쪽에 있는 물건”, “쏟아지지 않게” 같은 표현이 단순 좌표보다 어렵습니다.
- Action: 실제 로봇이 수행할 움직임입니다. 팔을 어디로 보내고, 그리퍼를 언제 닫고, 실패했을 때 멈출지 같은 문제가 포함됩니다.
이 세 요소가 따로 놀면 로봇은 말은 알아듣지만 움직이지 못하거나, 물체는 잡지만 지시 의도를 놓칩니다. VLA가 중요한 이유는 이 연결을 모델 구조 안에서 더 직접적으로 다루기 때문입니다.
LLM, VLM과 다른 지점
LLM은 주로 언어를 다룹니다. 질문을 읽고 답을 쓰거나, 문서를 요약하고 코드를 작성합니다. VLM은 여기에 이미지를 더합니다. 사진을 보고 설명하거나, 이미지 속 물체에 대해 답할 수 있습니다.
VLA는 여기서 한 걸음 더 나아가 행동을 다룹니다. “무엇이 보이는가”에서 끝나는 것이 아니라 “그래서 로봇이 무엇을 해야 하는가”까지 이어 가려는 모델입니다.
- LLM은 말과 글에 강합니다.
- VLM은 이미지와 말을 함께 이해하는 데 강합니다.
- VLA는 이미지, 말, 로봇 행동을 하나의 흐름으로 묶으려 합니다.
그래서 VLA를 단순히 “이미지를 보는 챗봇”으로 이해하면 부족합니다. 로봇에게 필요한 것은 좋은 설명만이 아니라, 현실의 팔과 손이 실행할 수 있는 움직임입니다.
행동 토큰이라는 말이 나오는 이유
VLA 자료를 읽다 보면 action token, 행동 토큰이라는 표현을 자주 만납니다. 처음에는 낯설지만, 뜻은 비교적 단순합니다. 로봇의 움직임을 모델이 다룰 수 있는 작은 단위의 출력으로 바꿔 표현한다는 말입니다.
RT-2 프로젝트 페이지는 로봇 행동을 텍스트 토큰처럼 표현해 기존 비전-언어 모델과 함께 학습시키는 방식을 설명합니다. 쉽게 말하면 모델이 단어를 하나씩 예측하듯, 로봇이 수행할 행동 조각을 출력하게 만드는 접근입니다.
OpenVLA 프로젝트도 비슷한 방향을 보여줍니다. 이미지 입력을 받아 모델이 tokenized output actions를 예측하고, 이 토큰을 다시 로봇이 실행할 수 있는 연속적인 행동으로 디코딩한다고 설명합니다.
물론 실제 로봇 제어는 토큰 몇 개로 끝나지 않습니다. 물체가 미끄러지는지, 그리퍼 힘이 충분한지, 사람이 가까이 있는지 같은 현장 조건이 계속 영향을 줍니다. 그래서 행동 토큰은 VLA를 이해하는 열쇠이지만, 그 자체가 안전한 로봇을 보장하지는 않습니다.
VLA가 필요한 이유
로봇은 현실 세계에서 일합니다. 현실은 문서나 이미지보다 변수가 많습니다. 컵은 같은 컵처럼 보여도 손잡이 방향이 다르고, 조명은 바뀌며, 테이블 위에는 예상하지 못한 물건이 놓입니다.
이런 환경에서 로봇이 매번 새 프로그램을 받아야 한다면 적용 범위가 좁아집니다. VLA는 사람이 더 자연스럽게 지시하고, 로봇이 장면을 보며 행동을 고를 수 있는 방향을 엽니다.
Google DeepMind의 Gemini Robotics도 VLA 모델을 시각 정보와 지시를 모터 명령으로 바꾸는 모델로 설명합니다. 이 표현이 VLA의 핵심을 잘 보여줍니다. 말과 이미지를 이해하는 것에서 끝나지 않고, 모터 명령으로 내려가야 로봇이 실제로 움직일 수 있습니다.
그래도 만능 로봇은 아니다
VLA를 이해할 때 가장 조심해야 할 오해는 “이제 로봇이 사람처럼 다 한다”는 결론입니다. VLA는 중요한 전진이지만, 실제 적용에는 아직 여러 제약이 남아 있습니다.
- 데이터 제약: 로봇 행동 데이터는 텍스트나 이미지 데이터보다 모으기 어렵고 비용도 큽니다.
- 몸체 차이: 같은 모델이라도 로봇 팔, 그리퍼, 바퀴, 휴머노이드 몸체에 따라 실행 방식이 달라집니다.
- 현장 변수: 조명, 마찰, 물체 무게, 사람의 움직임은 모델 출력만으로 해결하기 어렵습니다.
- 안전 문제: 물리 세계에서의 실패는 화면 속 오류보다 위험할 수 있습니다.
- 반복 성공률: 멋진 한 장면보다 같은 조건에서 여러 번 안정적으로 성공하는지가 더 중요합니다.
그래서 VLA는 로봇이 똑똑해지는 방향을 보여주지만, 제품화와 현장 적용은 별개의 검증을 요구합니다.
피지컬 AI와 이어지는 부분
피지컬 AI는 AI가 실제 세계의 물체, 공간, 힘, 시간 속에서 작동하는 흐름을 가리킵니다. VLA는 그 흐름 안에서 로봇의 인식과 언어 이해, 행동 생성을 묶는 한 방법입니다.
앞으로 피지컬 AI 글을 읽다 보면 VLA, 로봇 파운데이션 모델, Sim2Real, 로봇 행동 데이터 같은 표현이 계속 이어질 가능성이 큽니다. 이때 VLA를 “로봇이 보고, 말을 이해하고, 움직임으로 옮기는 모델”로 잡아두면 전체 흐름이 훨씬 덜 헷갈립니다.
처음 볼 때 헷갈리기 쉬운 말
- VLA와 VLM: VLM은 이미지와 언어 이해가 중심이고, VLA는 행동 출력까지 포함하려는 흐름입니다.
- VLA 모델: 특정 제품 하나가 아니라 Vision-Language-Action 구조를 따르는 모델 계열을 가리킬 수 있습니다.
- 로봇 파운데이션 모델: 여러 로봇 작업에 폭넓게 쓰려는 기반 모델을 말합니다. VLA가 그 후보 중 하나로 자주 언급됩니다.
- 행동 토큰: 로봇 움직임을 모델 출력으로 다루기 위해 쪼개 표현한 단위입니다.
정리
VLA 뜻은 Vision-Language-Action입니다. 로봇이 보는 장면, 사람이 말한 지시, 실제로 수행할 움직임을 한 흐름으로 연결하려는 AI 모델입니다.
이 개념이 중요한 이유는 로봇이 더 자연스러운 지시를 받고, 낯선 장면에서도 행동을 고르는 방향으로 가기 때문입니다. 하지만 VLA가 곧 완전 자율 로봇을 뜻하지는 않습니다. 실제 로봇에는 센서, 기구, 제어, 안전, 데이터, 반복 성공률이 함께 필요합니다.
처음에는 이렇게만 기억해도 충분합니다. LLM은 말을 다루고, VLM은 이미지와 말을 함께 다루며, VLA는 거기에 로봇 행동을 붙이려는 흐름입니다.
FAQ
VLA는 로봇 전용 AI인가요?
주로 로봇 행동과 연결해 쓰입니다. 개념적으로는 시각, 언어, 행동을 연결하는 모델이지만, 실제 논의에서는 로봇 제어와 피지컬 AI 맥락에서 가장 자주 등장합니다.
VLA와 VLM 차이는 무엇인가요?
VLM은 이미지와 언어를 함께 이해하는 모델입니다. VLA는 거기에 행동 출력을 더해 로봇이 실제로 움직일 수 있게 만드는 방향을 포함합니다.
VLA가 있으면 휴머노이드가 바로 집안일을 하나요?
아닙니다. 집안일은 물체 종류가 많고 환경도 계속 바뀝니다. VLA가 두뇌의 일부 역할을 하더라도 손, 배터리, 균형, 안전, 반복 성공률 문제가 함께 해결돼야 합니다.
행동 토큰이 왜 중요한가요?
언어 모델이 단어를 예측하듯 로봇 행동도 모델 출력으로 다루려는 방식이기 때문입니다. 행동 토큰은 VLA가 언어와 로봇 제어를 같은 모델 안에서 연결할 수 있게 해주는 핵심 아이디어 중 하나입니다.
VLA를 공부하려면 무엇부터 보면 좋나요?
먼저 VLA가 LLM, VLM과 어떻게 다른지 잡는 것이 좋습니다. 그다음 RT-2, OpenVLA, Gemini Robotics 같은 공식 자료를 보면서 “이 모델이 무엇을 입력으로 받고 무엇을 행동으로 내보내는가”를 확인하면 흐름이 잡힙니다.
마지막 확인: 2026년 7월 6일. 이 글은 Google DeepMind RT-2, Gemini Robotics, OpenVLA 프로젝트 등 공개 공식 자료를 바탕으로 VLA의 뜻과 피지컬 AI에서의 의미를 설명한 글입니다. 특정 제품의 성능, 상용화 일정, 안전성을 보장하지 않습니다.