장 개요

로봇 정책이 시뮬레이터에서 성공했다는 사실만으로 실물에서도 성공한다고 말할 수는 없다. 시뮬레이터가 계산한 접촉, 질량, 마찰, 카메라 영상이 실제 장비와 충분히 닮아 있어야 학습된 정책의 행동이 현실로 이어진다. 이 장에서는 NVIDIA Isaac Sim의 장면을 단순한 3D 그림이 아니라 측정 가능하고 반복 가능한 물리 실험 장치로 구축한다.

먼저 작업대, 트레이, 파지 대상체를 서로 다른 좌표계에 배치하고 4×4 동차 변환 행렬(homogeneous transformation matrix)과 쿼터니언(quaternion)을 이용해 pose를 계산한다. 이어서 PhysX의 강체(rigid body), 충돌 형상(collision shape), 연속 충돌 검출(continuous collision detection, CCD), 마찰과 반발, 질량과 관성 텐서(inertia tensor)를 다룬다. 마지막으로 물리 기반 렌더링(physically based rendering, PBR)과 조명을 설정하고, 물리 파라미터를 실측값에 맞추는 체계적인 튜닝 절차를 설계한다.

이 장의 핵심 관점은 다음 한 문장으로 요약된다.

보이는 메시(render mesh), 충돌을 계산하는 메시(collision mesh), 질량을 대표하는 모델(mass model)은 서로 다른 공학적 역할을 가진다.

그림 2-1. 월드, 작업대, 카메라, 대상체 좌표계의 변환 체인. 화살표는 부모 좌표계에서 자식 좌표계 pose를 표현하는 변환을 뜻한다.