로봇이 처음 보는 물체를 집어 들기 위해 며칠씩 데이터를 학습하던 시대가 저물고 있다. 이제 개발자는 텍스트 한 줄로 로봇에게 새로운 임무를 부여한다. 프랑스의 로보틱스 스타트업 폴렌 로보틱스(Pollen Robotics)가 공개한 오픈소스 인터페이스 '폴렌 비전(Pollen-Vision)'은 복잡한 비전 인공지능과 물리적인 로봇 하드웨어 사이의 거대한 장벽을 허무는 가교 역할을 자처하고 나섰다.

파편화된 비전 모델을 하나의 언어로 통합하다

현재 로보틱스 업계의 가장 큰 고민은 '눈'이다. 쏟아져 나오는 제로샷(Zero-shot, 별도의 학습 없이 새로운 데이터를 처리하는 기술) 비전 파운데이션 모델(VFM)들은 성능이 뛰어나지만, 각기 다른 API와 데이터 구조를 가진다. 폴렌 비전은 이 파편화된 모델들을 로봇 시스템에 즉시 통합할 수 있도록 표준화된 인터페이스를 제공한다.

이 인터페이스가 지원하는 모델의 범위는 상당하다. 텍스트 쿼리를 통해 사물을 찾는 'Owl-Vit'와 'Recognize-Anything', 사물의 형태를 정밀하게 따내는 'Mobile-SAM', 그리고 단안 카메라만으로 거리감을 측정하는 'Depth Anything'이 포함된다. 개발자는 이 모델들을 일일이 최적화할 필요 없이, 폴렌 비전이 제공하는 통일된 파이썬 API를 통해 로봇의 3D 객체 인식 및 좌표 추정 파이프라인을 구축할 수 있다.

성능 측면에서도 실용성을 챙겼다. 엔비디아(NVIDIA) RTX 3070 그래픽 카드를 기준으로, 단일 프롬프트를 처리하는 데 걸리는 지연 시간(Latency)은 약 75ms 수준이다. 특히 엣지 컴퓨팅 환경을 고려해 'Mobile-SAM'과 같은 경량화 모델을 선택할 수 있으며, 럭소니스(Luxonis) OAK 카메라나 엔비디아 젯슨(Jetson) 시리즈를 위한 전용 래퍼(Wrapper)를 제공해 현장 도입 가능성을 높였다.

로봇 운영체제와의 결합, 그리고 남겨진 숙제

폴렌 비전의 진가는 로봇 운영체제인 ROS2와의 높은 호환성에서 드러난다. 폴렌 로보틱스는 자사의 휴머노이드 로봇 '리치 2(Reachy 2)'의 소프트웨어 스택에 이 인터페이스를 직접 통합했다. 이는 연구실 수준의 코드가 아니라 실제 구동되는 하드웨어에서 검증된 기술임을 의미한다. 개발자들은 소스 설치를 통해 자신의 ROS2 노드에 비전 모델을 손쉽게 이식할 수 있다.

하지만 장점만 존재하는 것은 아니다. 75ms라는 지연 시간은 물체를 인식하고 파지 전략을 세우는 데는 충분할지 모르나, 고속으로 움직이는 물체를 추적하거나 극도로 정밀한 실시간 제어 루프에 통합하기에는 여전히 한계가 있다. 또한, 2026년 현재 업계에서 주목받는 SAM 2나 Owl-v2와 같은 모델들의 공식 지원 여부는 아직 확인되지 않았다. 텐서RT(TensorRT)와 같은 하드웨어 가속 엔진이 자동으로 적용되는지도 불분명해, 최상의 성능을 뽑아내려면 개발자의 추가적인 튜닝이 필요할 수 있다.

무엇보다 ROS2 외에 ROS1이나 YARP 같은 기존 프레임워크와의 공식적인 호환 가이드가 부족하다는 점은 구형 시스템을 운용하는 현장에서는 걸림돌이 될 전망이다.

개발자가 지금 바로 시작하는 법

로봇에게 "빨간색 컵을 집어줘"라고 명령하고 싶은 개발자라면, 폴렌 로보틱스의 깃허브(GitHub) 저장소에서 오픈소스 코드를 내려받는 것부터 시작할 수 있다.

1. 환경 구축: 엔비디아 GPU 환경에서 제공되는 파이썬 라이브러리를 설치한다.
2. 모델 선택: 작업 목적에 따라 Owl-Vit(탐지)나 Mobile-SAM(분할) 중 적합한 모델을 선택한다.
3. 프롬프트 입력: 인식하고자 하는 물체의 이름을 텍스트로 입력하면, 폴렌 비전이 해당 물체의 2D 경계 상자와 3D 좌표를 계산해 반환한다.

이 기술은 특히 다품종 소량 생산이 이뤄지는 물류 창고나, 매번 새로운 물체를 다뤄야 하는 서비스 로봇 분야에서 즉각적인 효과를 발휘할 것으로 보인다.

FAQ

Q: 별도의 학습 데이터가 전혀 필요 없나? A: 그렇다. 제로샷 모델을 기반으로 하므로 텍스트 명령만으로 새로운 객체를 인식할 수 있다. 다만 특정 환경에서 인식률을 높이려면 조명이나 카메라 각도에 따른 프롬프트 엔지니어링이 필요할 수 있다.

Q: 엣지 디바이스에서도 원활하게 돌아가나? A: 엔비디아 젯슨과 같은 엣지 컴퓨팅 하드웨어를 공식 지원한다. 지연 시간을 줄이기 위해 인식 대상(Prompt) 수를 조절하거나 경량화 모델인 Mobile-SAM을 사용하는 방식을 권장한다.

Q: ROS2의 특정 배포판만 지원하나? A: 파이썬 기반의 라이브러리 형태이므로 Humble이나 Foxy 등 주요 ROS2 배포판에서 소스 빌드를 통해 통합이 가능하다. 다만 각 배포판별 바이너리 제공 여부는 문서를 통해 추가 확인이 필요하다.

결론

폴렌 비전은 비전 AI의 비약적인 발전을 로보틱스라는 물리적 실체에 빠르게 이식하려는 시도다. 파편화된 인터페이스를 하나로 묶음으로써 로봇 개발의 진입 장벽을 낮춘 점은 높게 평가할 만하다. 앞으로 더 최신 모델들이 얼마나 빠르게 업데이트되는지, 그리고 제어 루프 전체의 지연 시간을 얼마나 더 단축할 수 있는지가 이 인터페이스의 생존을 결정할 핵심 요소가 될 것이다. 이제 로봇은 더 이상 배우지 않고, 읽고 이해하며 움직이기 시작했다.

참고 자료

• 🛡️ GitHub - pollen-robotics/pollen-vision
• 🛡️ Resources - Pollen Robotics
• 🏛️ Pollen-Vision: Unified interface for Zero-Shot vision models in robotics