메가경제 - 명절에도 쉬지 않는 로봇 학습…NC AI가 만드는 ′피지컬 AI′ 시대

[메가경제=황성완 기자] 추석 연휴를 맞아 가족과 함께 시간을 보내는 사이에도 산업 현장에서는 새로운 기술을 준비하는 움직임이 이어지고 있다.

사람이 하던 일을 로봇이 대신하고, 로봇이 주변 환경을 인식해 스스로 움직이는 시대가 가까워지면서 인공지능(AI)의 활동 영역도 디지털 공간에서 현실 세계로 확대되고 있다.

▲로봇이 사람일을 대신 수행하는 이미지. [사진=NC AI]

최근 주목받는 분야가 바로 '피지컬 AI(Physical AI)'다. 텍스트나 이미지를 이해하고 생성하는 기존 AI를 넘어 현실 세계의 공간과 물체를 인식하고 판단한 뒤 로봇과 설비의 실제 행동으로 연결하는 기술이다.

피지컬 AI가 발전하기 위해서는 단순히 성능 좋은 로봇을 만드는 것만으로는 충분하지 않다. 로봇이 다양한 환경에서 움직이고 물체를 다루며 얻은 경험을 학습할 수 있는 데이터와, 이를 여러 작업으로 확장할 수 있는 AI 기술이 함께 필요하다.

◆ 로봇마다 다시 가르치지 않는 '범용 로봇 지능'

기존 산업용 로봇은 특정 작업과 환경에 맞춰 설계되는 경우가 많았다. 새로운 작업을 맡기거나 다른 형태의 로봇을 투입하려면 그에 맞는 데이터와 제어 기술을 다시 마련해야 했다.

하지만 실제 산업 현장은 끊임없이 변한다. 작업 대상과 주변 환경이 달라지고 하나의 로봇이 여러 업무를 수행해야 하는 상황도 발생한다. 이 때문에 최근에는 작업마다 AI를 새롭게 만드는 대신 여러 로봇과 작업에서 얻은 경험을 하나의 모델에 학습시키고 새로운 환경으로 전이하는 ‘범용 로봇 지능’에 관심이 커지고 있다.

대표적인 기술이 로봇 파운데이션 모델(RFM·Robot Foundation Model)이다. RFM은 여러 종류의 로봇과 작업에서 수집한 데이터와 시각·언어 등 다양한 정보를 학습해 새로운 작업과 환경에서도 활용할 수 있는 범용적인 로봇 지능을 구축하려는 접근이다.

중요한 것은 ‘하나의 로봇이 모든 일을 한다’는 의미가 아니라는 점이다. 휴머노이드부터 사족보행 로봇, 로봇 팔까지 로봇의 형태와 역할은 각각 다르지만, 서로 다른 로봇이 쌓은 지식과 경험을 공유하고 각자의 신체 특성에 맞게 활용하는 것이 핵심이다.

최근 글로벌 연구에서는 이 같은 가능성을 보여주는 ‘크로스 임바디먼트(Cross-Embodiment)’ 학습도 주목받고 있다. 로봇의 팔 길이나 관절 구조, 센서 등이 달라도 한 로봇에서 얻은 조작 경험을 다른 형태의 로봇 학습에 활용하는 방식이다.

구글 딥마인드 등이 참여한 ‘Open X-Embodiment’ 프로젝트에서는 22종의 서로 다른 로봇 데이터를 통합해 학습하는 연구가 진행됐다. 피지컬 인텔리전스(Physical Intelligence)는 여러 로봇과 작업 데이터를 학습한 범용 로봇 정책 ‘π₀(파이제로)’를 선보였으며, 엔비디아 역시 ‘Isaac GR00T’ 플랫폼을 통해 로봇 파운데이션 모델과 데이터 파이프라인, 시뮬레이션 환경 등을 제공하고 있다.

▲피지컬 AI 관련 예시 이미지. [사진=NC AI]

◆ 로봇에게도 필요한 ‘경험’…'피지컬 AI' 데이터 경쟁

범용 로봇 지능을 구현하기 위해서는 결국 얼마나 많은 양질의 데이터를 확보하느냐가 중요하다.

로봇은 인터넷에서 수집한 텍스트나 이미지뿐 아니라 실제 공간에서 물체를 보고 만지고 움직인 경험이 필요하기 때문이다. 같은 물체라도 무게와 마찰력, 주변 장애물 등에 따라 움직임이 달라지는 만큼 현실에서 발생하는 행동과 상호작용 데이터가 중요한 학습 자원이 된다.

가장 직접적인 방법은 사람이 로봇을 직접 조작하거나 작업을 시연하는 것이다. 텔레오퍼레이션을 활용하면 사람이 로봇을 움직이는 과정에서 카메라 영상과 관절 움직임, 위치와 자세 등의 데이터를 확보할 수 있다.

로봇 스스로 시행착오를 겪으며 학습하는 강화학습도 활용된다. 다만 실제 공장이나 물류 현장에서 수많은 시행착오를 반복하게 하는 것은 시간과 비용뿐 아니라 안전 측면에서도 한계가 있다.

이 때문에 디지털트윈과 시뮬레이션이 새로운 데이터 확보 수단으로 부상하고 있다. 실제 공장과 물류창고를 가상환경에 구현하면 현실에서 반복하기 어려운 다양한 상황을 가상공간에서 경험하게 할 수 있다.

최근에는 인터넷에 공개된 인간의 행동 영상까지 로봇 학습에 활용하려는 연구도 진행되고 있다. 사람이 도구를 사용하고 물체를 옮기는 등의 움직임을 학습 데이터로 활용하는 것이다. 다만 영상만으로는 물체의 무게나 마찰력 등 물리 정보를 모두 파악하기 어려워 실제 로봇 데이터와 시뮬레이션 데이터를 함께 활용하는 방식이 연구되고 있다.

◆사람 움직임도 로봇 경험으로

휴머노이드 시대가 본격화되면서 인간의 움직임을 로봇이 학습할 수 있도록 변환하는 기술도 중요해지고 있다. 사람과 휴머노이드는 관절 구조와 신체 비율이 다르기 때문에 인간의 움직임을 그대로 로봇에 적용할 수는 없다. 사람의 동작을 로봇의 관절 구조와 균형 조건에 맞게 변환하는 ‘휴먼-로봇 리타게팅(Human-to-Robot Retargeting)’ 기술이 필요한 이유다.

NC AI는 이러한 피지컬 AI 기술의 핵심 요소인 데이터와 시뮬레이션, 범용 로봇 지능 기술을 산업 현장에 적용하기 위한 협력을 확대하고 있다.

대표적으로 포스코DX와 산업 현장에 적용할 RFM을 공동 개발하고 있다. 로봇이 카메라를 통해 주변 환경을 인식하고 사람의 언어 지시를 이해한 뒤 실제 행동으로 연결할 수 있도록 시각·언어·행동을 통합하는 VLA(Vision-Language-Action) 모델을 개발·최적화하는 것이 주요 협력 분야다.

디지털트윈 기반의 가상 테스트 환경도 구축한다. 실제 산업 현장을 가상공간에 구현하고 로봇의 움직임과 제어를 시뮬레이션 환경에서 검증함으로써 실제 현장에 적용하기 전 다양한 작업 상황을 테스트하는 방식이다.

▲피지컬 AI 언라이언스 2기 출범식이 지난 6월 진행됬다. [사진=NC AI]

◆ 철강·조선·국방으로 넓어지는 피지컬 AI

NC AI의 피지컬 AI 적용 분야는 로봇에만 머물지 않는다. 철강 분야에서는 포스코DX와 RFM 개발을 추진하는 한편, 한화오션과는 조선 현장의 용접 작업을 위한 피지컬 AI 기술을 개발하고 있다. 현대로템과는 월드모델을 기반으로 다양한 전장 상황을 가상환경에서 학습하고 검증할 수 있는 피지컬 AI 통합 시뮬레이터와 로봇 기술 개발을 추진하고 있다.

국방 분야에서는 실제 환경에서 반복적으로 구현하기 어려운 다양한 상황을 가상공간에 재현하고 무인 장비와 로봇의 학습·검증에 활용하는 방식이다.

최근 LG전자 등과 함께 추진하는 휴머노이드 국책과제에서는 인간의 움직임을 로봇 학습에 활용하는 기술 개발도 진행한다. NC AI는 기존에 축적한 모션 데이터와 애니메이션 제작 기술을 기반으로 GMT(General Motion Tracking)의 초기 학습 데이터를 구축하고 인간의 동작을 휴머노이드에 맞게 변환하는 기술을 개발한다.

◆ 제조 강국 한국, 산업 현장이 곧 AI 테스트베드

한국이 피지컬 AI에 주목하는 배경에는 제조업이라는 강점도 있다. 반도체와 자동차, 조선, 철강, 배터리, 방산 등 다양한 산업 기반을 갖춘 만큼 실제 AI 기술을 적용하고 검증할 수 있는 공정과 설비, 로봇이 이미 존재한다. 디지털 공간에서 개발한 AI를 현실 세계로 가져오는 과정에서 산업 현장 자체가 중요한 경쟁력이 될 수 있는 셈이다.

정부 역시 피지컬 AI를 국가 차원의 주요 기술 분야로 육성하고 있다. 지난 7월 발표한 ‘피지컬 AI 핵심 경쟁력 확보 전략’을 통해 데이터와 기술, 확산, 생태계를 중심으로 피지컬 AI 산업 기반을 구축하고 현장 실증과 상용화를 확대한다는 방향을 제시했다.

제조업의 AI 전환을 의미하는 ‘M.AX(Manufacturing AI Transformation)’도 추진되고 있다. AI 팩토리와 AI 로봇, AI 반도체 등을 제조 현장에 적용하고 2030년까지 AI 팩토리 500개 구축을 목표로 제조데이터 수집과 AI 모델 개발·실증을 지원한다는 계획이다.

전북과 경남에서는 지역 산업을 기반으로 한 대규모 피지컬 AI 연구개발도 추진된다. 전북에서는 디지털트윈과 무인공장을 기반으로 공장 자율운영 기술을, 경남에서는 월드모델과 대규모 행동모델(LAM)을 활용해 제조 공정의 정밀 제어 기술을 개발하고 실제 현장에서 실증하는 사업이 진행된다.

NC AI 역시 이 같은 국가 피지컬 AI 연구개발사업에 참여해 지역 산업과 연계한 기술 개발을 추진하고 있다.

전북에서는 공장 설비와 작업 공간을 3D 가상환경에 구현하고 작업자의 움직임까지 시뮬레이션해 실제 산업 현장을 가상공간에 재현한다. 여기서 생성한 데이터를 VLM·VLA 모델의 학습과 검증에 활용하고, 제조 현장의 공간과 상황을 이해하는 피지컬 AI 파운데이션 모델 개발을 추진한다.

경남에서는 월드모델과 대규모 행동모델을 활용해 제조 현장의 정밀 제어 기술을 개발한다. 센서와 비전 데이터를 기반으로 설비와 작업 환경의 변화를 이해하고 예측한 뒤, AI가 로봇과 설비의 행동을 계획하고 제어하는 방식이다.

명절을 맞아 사람들의 일상이 잠시 멈추는 동안에도 산업 현장의 기술 경쟁은 계속되고 있다. 특히 피지컬 AI 시대에는 로봇의 하드웨어 성능뿐 아니라 로봇이 무엇을 보고, 무엇을 경험하고, 어떻게 학습하느냐가 중요한 경쟁 요소가 되고 있다.

NC AI가 추진하는 RFM과 디지털트윈, 월드모델, 인간 동작 데이터 등의 기술 역시 이러한 흐름에서 산업 현장과 AI를 연결하는 역할을 맡고 있다.

결국 피지컬 AI의 핵심은 로봇에게 더 많은 일을 시키는 데만 있지 않다. 현실에서 얻은 경험을 데이터로 만들고, 가상공간에서 부족한 경험을 보완하며, 서로 다른 로봇과 산업으로 지식을 확장하는 데 있다.

디지털 공간에서 성장한 AI가 이제 현실 세계로 걸어 나오고 있다. 그리고 그 첫 무대는 이미 로봇과 공장, 조선소, 철강 현장 등 우리 산업 곳곳에서 만들어지고 있다.

NC AI는 이 같은 기술을 실제 산업 현장으로 확장한다는 계획이다. 이연수 NC AI 대표는 "가상환경에서 학습한 AI를 실제 제조 현장에 적용하고 다양한 산업 환경에서 기술을 검증해 국내 제조업의 AI 전환을 이끌 수 있는 기반을 마련하겠다"고 말했다.

[저작권자ⓒ 메가경제. 무단전재-재배포 금지]