6.1 Reality Gap의 구조

Reality Gap을 하나의 스칼라로 보지 말고 정책이 받는 관측 $o_t$, 내보내는 행동 $a_t$, 실제 시스템 상태 $x_t$의 경로로 분해한다.

$$o_t = h_{real}(x_{t-\tau_o};\theta_{camera},\theta_{light})+\epsilon_o$$ $$x_{t+1}=f_{real}(x_t,a_{t-\tau_a};\theta_{mass},\theta_{friction},\theta_{backlash})+\epsilon_x.$$

시뮬레이터의 $h_{sim}, f_{sim}$과 실제 $h_{real}, f_{real}$의 차이가 정책 입력 분포와 전이 분포를 바꾼다. 중요한 것은 각 $\theta$와 지연 $\tau$를 측정할 수 있는 실험으로 바꾸는 것이다.

이해 도움말 — Reality Gap은 하나의 점수가 아니라 원인 지도다

실물 성공률이 낮다는 사실만으로는 무엇을 고쳐야 할지 알 수 없다. 먼저 “관측이 달라졌는가, 명령 전달이 늦었는가, 같은 명령에도 물체가 다르게 움직였는가”로 경로를 나눈다. 예를 들어 영상의 물체 위치는 맞지만 그리퍼가 늦게 닫히면 시각 랜덤화를 늘릴 문제가 아니라 지연(latency)과 구동 계층을 측정할 문제다. 한 번에 한 범주만 바꾸는 진단 실험이 원인과 처방을 연결한다.

6.1.1 오차 분류표

범주	대표 원인	측정량	첫 조치
시각	조도, 반사, 색온도, 노출	히스토그램, blur, detector confidence	카메라 고정, 노출 잠금, 조건별 데이터
기하	intrinsic/extrinsic, 프레임 부호	reprojection error, target pose residual	재캘리브레이션, TF 감사
동역학	질량, 마찰, 관성, 유연성	낙하/슬라이드 시간, 접촉 성공률	식별 후 시뮬레이터 범위 조정
구동	백래시, deadband, 포화	방향 반전 시 히스테리시스	접근 방향 통일, deadband 모델
시간	카메라/추론/통신 지연, jitter	p50/p95/p99 latency, deadline miss	timestamp 분리, 버퍼/주기 조정
과업	물체 위치·색·배경 분포	조건별 성공률	층화 데이터와 평가 세트

6.1.2 도메인 랜덤화의 역할과 한계

도메인 랜덤화(Domain Randomization)는 시뮬레이터의 질감, 조명, 카메라, 물리 파라미터를 분포에서 샘플링해 실제 환경을 그 분포의 한 사례로 보게 하는 전략이다. Tobin 등은 비현실적인 질감을 포함한 시뮬레이션 영상만으로 실제 물체 위치 추정과 파지를 시연했다.[Tobin et al., 2017]

하지만 “많이 랜덤화”가 항상 좋은 것은 아니다.

• 실제 범위를 포함하지 않으면 의미가 없다.
• 너무 넓은 범위는 학습 용량을 불필요한 변동에 쓴다.
• 서로 상관된 값, 예를 들어 노출과 조도, 질량과 관성은 독립 샘플링이 비현실적 장면을 만든다.
• 검증 세트까지 같은 난수 생성기로 만들면 일반화를 과대평가한다.
• Isaac Sim Replicator의 API namespace는 버전별로 달라질 수 있으므로 설치 버전 문서를 따른다.[NVIDIA, 2026]