프로젝트 배경
ROVI-3D 로봇 비전 시스템 제품
- Depth Camera(TOF, RGB) 기반 3차원 물체 자세 추정이 가능한 로봇 비전 시스템.
- 심층 강화 학습(Deep Reinforcement Learning)를 적용하여 다양한 임무 수행이 가능한 로봇 비전 제품
다양한 환경과 시나리오에서 사용이 가능한 로봇 비전 시스템
- 현재까지는 사용자에 행동 패턴을 활용한 강화학습을 통해 로봇이 미션을 수행하고 있지만 강인한 심층강화학습이 탑재된 로봇 비전 시스템을 탑재함으로 실시간 다양한 행동 패턴을 익히고 학습할 수 있는 환경이 필요
해결방안
- 자사 AI 기반 3차원 객체 알고리즘을 이용하여 물리 엔진을 이용한 Simulation
기반 학습 진행 및 인터페이스 개발
- 시뮬레이션된 결과와 실제 로봇간 연동이 가능한 ROS기반 로봇 모션 플래닝
(Motion Planning) 진행, 가상환경과 실제환경에 도메인 Gap를 최소화하도록
진행 (Domain Adaptation)
- ROVI-3D와 연동하여 실제 로봇 스스로 3차원 객체를 Grasping할 수 있는 환경
구성 및 Isaac 플랫폼 간 노드(node) 설계
- Depth Camera(TOF, RGB) 기반 3차원 물체 자세 추정이 가능한 로봇 비전 시스템.
- 심층 강화 학습(Deep Reinforcement Learning)를 적용하여 다양한 임무 수행이 가능한 로봇 비전 제품
다양한 환경과 시나리오에서 사용이 가능한 로봇 비전 시스템
- 현재까지는 사용자에 행동 패턴을 활용한 강화학습을 통해 로봇이 미션을 수행하고 있지만 강인한 심층강화학습이 탑재된 로봇 비전 시스템을 탑재함으로 실시간 다양한 행동 패턴을 익히고 학습할 수 있는 환경이 필요
해결방안
- 자사 AI 기반 3차원 객체 알고리즘을 이용하여 물리 엔진을 이용한 Simulation
기반 학습 진행 및 인터페이스 개발
- 시뮬레이션된 결과와 실제 로봇간 연동이 가능한 ROS기반 로봇 모션 플래닝
(Motion Planning) 진행, 가상환경과 실제환경에 도메인 Gap를 최소화하도록
진행 (Domain Adaptation)
- ROVI-3D와 연동하여 실제 로봇 스스로 3차원 객체를 Grasping할 수 있는 환경
구성 및 Isaac 플랫폼 간 노드(node) 설계
프로젝트 성과
3차원 물체 자세 추정 기술 성능-글로벌 상위 기술 격차 98%
업체 현황
- 현대/기아자동차 및 테슬라에 Tier-1 차체 생산업체인 명신그룹에 2D/3D 비전 공급 업체 선정
- 현대모비스사와 3D 카메라 기반 KeyPoint Auto Tracking 툴 개발 완료
- 현대/기아자동차 및 테슬라에 Tier-1 차체 생산업체인 명신그룹에 2D/3D 비전 공급 업체 선정
- 현대모비스사와 3D 카메라 기반 KeyPoint Auto Tracking 툴 개발 완료
핵심 기능
ROVI-3D 로봇 비전 시스템
SW 개발 : 3D reconstruction / pose estimation / Grasping
Depth Camera(TOF, RGB) 기반으로 3차원 물체 자세 추정이 가능한 로봇 비전 시스템.
Depth Camera(TOF, RGB) 기반으로 3차원 물체 자세 추정이 가능한 로봇 비전 시스템.
진행 단계
런칭
2023.10.
소프트웨어 플랫폼 및 로봇 비전 알고리즘 변경을 통해, 다양한 분야로 확대 적용할 수 있도록 범용성을 확보하였으며 실제 생산 공정라인에 적용 POC 완료 및 2023년 하반기 기존 생산 공정 라인에 납품
프로젝트 상세
◦ROVI-2D 로봇 비전 시스템 제품 출시 (2022년)
● 소프트웨어 플랫폼 및 로봇 비전 알고리즘 변경을 통해, 다양한 분야로 확대 적용할 수 있도록 범용성을 확보하였으며 실제 생산 공정라인에 적용 POC Test 완료.
● 2023년 상반기 기존 생산 공정 라인에 납품 진행 중.
● Application : 물체 검출 및 위치측정, 유무 검사, 컬러 검출, 기하학 측정등 제공
● 개발 완성도 : TRL-9
◦ROVI-3D 로봇 비전 시스템 제품/POC 진행 중 (2024년)
● SW 개발 : 3D reconstruction / pose estimation / Grasping
● HW 개발 : TOF 센서, RGB Camera, 고성능 CPU 모듈등 구성 요소로 설계 완료.
● Depth Camera(TOF, RGB) 기반으로 3차원 물체 자세 추정이 가능한 로봇 비전 시스템.
● 심층 강화 학습(Deep Reinforcement Learning)를 적용하여 로봇이 물체를 알아서 판단 Picking할 수 있는 AI 비전 알고리즘 개발 진행 중
● 개발 완성도 : TRL-6 (POC 테스트 단계)
● 소프트웨어 플랫폼 및 로봇 비전 알고리즘 변경을 통해, 다양한 분야로 확대 적용할 수 있도록 범용성을 확보하였으며 실제 생산 공정라인에 적용 POC Test 완료.
● 2023년 상반기 기존 생산 공정 라인에 납품 진행 중.
● Application : 물체 검출 및 위치측정, 유무 검사, 컬러 검출, 기하학 측정등 제공
● 개발 완성도 : TRL-9
◦ROVI-3D 로봇 비전 시스템 제품/POC 진행 중 (2024년)
● SW 개발 : 3D reconstruction / pose estimation / Grasping
● HW 개발 : TOF 센서, RGB Camera, 고성능 CPU 모듈등 구성 요소로 설계 완료.
● Depth Camera(TOF, RGB) 기반으로 3차원 물체 자세 추정이 가능한 로봇 비전 시스템.
● 심층 강화 학습(Deep Reinforcement Learning)를 적용하여 로봇이 물체를 알아서 판단 Picking할 수 있는 AI 비전 알고리즘 개발 진행 중
● 개발 완성도 : TRL-6 (POC 테스트 단계)













