6.6 평가 설계

6.6.1 성공 정의

Pick & Place의 성공을 “그럴듯한 영상”으로 평가하지 않는다. 에피소드 시작 전에 판정 규칙을 고정한다.

• 목표 물체가 지정 tray 내부에 완전히 놓임
• 제한 시간 내 완료
• 비목표 물체 이동 임계값 이하
• workspace/joint limit 위반 없음
• 사람 개입, E-stop, 물체 낙하는 실패

부분 성공은 별도 지표로 기록하지만 주 성공률의 정의를 사후 변경하지 않는다.

6.6.2 성공률과 Wilson 신뢰구간

$n$회 중 $s$회 성공이면 $\hat p=s/n$이다. 작은 표본에서 단순 Wald 구간 $\hat p\pm1.96\sqrt{\hat p(1-\hat p)/n}$은 0%나 100% 근처에서 나쁘다. 95% Wilson 구간은

$$\frac{\hat p+z^2/(2n)\pm z\sqrt{\hat p(1-\hat p)/n+z^2/(4n^2)}}{1+z^2/n},\quad z=1.96$$

를 사용한다. NIST는 이항 비율 구간에서 Wilson 방법을 소개하고 관련 성능 문헌을 연결한다.[NIST]

예를 들어 10회 중 9회 성공은 점추정 90%지만 불확실성이 크다. 조건당 최소 20회 이상을 시작점으로 삼되 필요한 표본 수는 허용 오차와 위험에 따라 사전에 정한다. 성공률의 episode 표본과 latency의 control tick/frame 표본을 같은 n으로 오해하지 않는다. LeRobot의 정책 기여 안내도 실물 전용 정책 결과에 재현 명령과 하드웨어, 10회 이상의 성공률 보고를 요구한다.[Hugging Face]

6.6.3 층화 실험

요인	수준 예시
물체 위치	중앙, 좌, 우, near reach limit
조명	기준, 어두움, 측면 반사
물체 색/재질	학습 내, 학습 경계, 미관측
카메라	기준, ±5 mm, ±2° perturbation
지연	기준, +20 ms, +50 ms

한 번에 여러 조건을 바꾸면 원인을 분리하기 어렵다. 순서를 무작위화하고 reset 절차를 동일하게 유지한다. 실패 영상만 골라 보여주는 survivorship bias와, 성공할 때까지 반복한 뒤 마지막 시도만 세는 선택 편향을 피한다.