Isaac Sim 디지털 트윈 ·
AMR·6축 로봇 시뮬레이션 엔지니어

카메라 캘리브레이션으로 비전-로봇 좌표를 정합하고, Mixed Palletizing(혼적 적재)용 4축 산업용 로봇을 Isaac Lab에서 강화학습(RL) 기반 동작으로 학습·검증하는 파이프라인을 구축 중.

• 카메라 캘리브레이션: 비전 좌표 ↔ 로봇 좌표 정합을 수행.
• 비전 기반 파지(grasp): RGB-D 카메라 인식으로 물체를 인식·파지하는 동작을 시뮬레이션에서 검증.
• RL 환경/학습: 4축 로봇을 대상으로 Isaac Lab 시뮬레이션 환경에서 강화학습(RL) 기반 동작을 학습·테스트.
• 의의: 시뮬레이션 기반 로봇 학습과 AI 모델을 로봇 제어에 적용하는 역량으로 확장.

실물 지게차 제작·도입 전에 업체의 실제 창고를 Isaac Sim에 재현해 자율주행·정밀 도킹까지 완성하고, 검증된 ROS2 스택을 실물 지게차로 그대로 이관하는 것을 목표로 한 프로젝트. USD·URDF 제작부터 주행·도킹까지 거의 단독으로 파이프라인을 구축.

• USD·URDF 제작 (단독): SolidWorks 설계 → URDF → USD 변환으로 지게차 모델을 제작하고, 업체 실제 공장 규모를 Isaac Sim 창고 씬으로 1:1 구현. USD 에셋은 OpenUSD(pxr)·Git LFS로 버전관리.
• SLAM·측위: ZED 카메라 기반 RTAB-Map SLAM으로 창고 mapping을 생성하고, EKF(robot_localization)로 휠 odometry와 센서를 융합해 위치 추정 안정성을 확보.
• 자율주행: Nav2에서 전역 경로는 Smac Planner, 지역 경로는 TEB(Timed Elastic Band) local planner로 구성. 후륜 조향 지게차 특성에 맞춘 Ackermann 제약 behavior tree를 적용·튜닝.
• 정밀 도킹: opennav_docking 기반 커스텀 도킹 플러그인을 직접 구현해 AprilTag로 도킹 스테이션을 인식→접근→정렬하는 정밀 도킹까지 완료.
• 관제 연동: amr_bridge(WebSocket)로 관제 UI ↔ 관제 Backend ↔ AMR Backend(ROS2) ↔ Isaac Sim/실물 지게차의 4-Tier 관제 아키텍처를 구성.

6축 매니퓰레이터 Dobot Nova2를 Isaac Sim 디지털 트윈으로 구축하고, 커스텀 ROS2 브리지로 가상·실물을 동시에 구동하는 Sim-to-Real 구조를 단독으로 구현한 프로젝트.

• USD·URDF 직접 제작: Nova2 로봇을 URDF로, 작업대·박스 등 환경을 USD로 직접 제작해 Isaac Sim 씬을 구성하고, 관절·그리퍼를 ROS2 토픽으로 제어할 수 있도록 연결.
• 디지털 트윈 동작 연동: 구성한 Isaac Sim 씬을 실물 Nova2와 ROS2로 연동해, 시뮬레이션 명령대로 가상·실물이 동일하게 움직이는 단계까지 구현·검증. (이후 적재 순서·placeability 등 팔레타이징 판정 로직은 별도 담당자가 진행)
• Sim-to-Real 브리지 개발(단독): ROS2 → Isaac Sim → 실물 Nova2 명령 흐름을 설계하고 커스텀 브리지 패키지(nova2_real_bridge)를 직접 개발. MoveIt 명령을 가상(Isaac Sim)과 실물에 동시에 전달하고 JointState로 양방향 동기화하는 launch를 구성.
• 의의: 매니퓰레이터 동작을 디지털 트윈에서 사전 검증하고 동일 명령으로 가상·실물을 동시 구동하는 Sim-to-Real 워크플로우를 USD·URDF 제작부터 브리지까지 단독으로 구현.

Nova2 비전 기반 파지 시뮬레이션

비전 인식 · 파지 계획 (Isaac Sim)

디지털 트윈 기초 테스트

메카넘 휠 AMR을 Isaac Sim에서 구현해 실물 주행 전 문제 요소를 사전 점검하고, 시뮬레이션에서 완성한 코드를 실물로 이관해 자율주행까지 완료한 프로젝트.

• 시뮬레이션 환경 구축: 설계 → URDF → USD 변환으로 메카넘 휠이 물리적으로 구르는 Isaac Sim 환경을 구현하고, ROS2로 카메라·LiDAR를 연동해 자율주행 시뮬레이션을 구성. 실물 주행 전 카메라·동작 구동·주행 시나리오를 사전 점검.
• 스테레오 depth 파이프라인: Isaac Sim 스테레오 카메라를 입력받는 ROS2 패키지를 구현 — 좌·우 영상 → S2M2(스테레오 매칭 depth 추정) → disparity/depth → PointCloud2 변환·시각화까지의 흐름을 구성.
• 인식 연구: 위 depth·포인트클라우드와 SAM 계열(세그멘테이션)을 결합해 장애물 탐지를 최종 목표로 연구. 실물은 ZED(zed-ros2-wrapper) 스테레오 입력을 사용.
• 실물 자율주행(Sim-to-Real): 실물 메카넘 AMR에서 ROS2 연동, 사람 탐지 알고리즘 파라미터 튜닝, Isaac Sim에서 작성한 코드를 실물로 이식해 자율주행을 직접 완료. 측위·주행은 카메라 기반 odometry·SLAM·Nav2로 구성.