5.10 평가 설계

5.10.1 task success

성공 기준을 평가 전에 명시한다. “대충 bin 안에 있음”이 아니라 다음처럼 정의한다.

• 대상 물체 중심이 bin 경계 내부
• 로봇이 물체를 놓은 뒤 2초 이상 유지
• 다른 물체를 넘어뜨리지 않음
• safety intervention 없음
• 제한 시간 30초 이내

5.10.2 stratified evaluation

전체 성공률만 보고하지 않는다.

조건	trial 수	성공	성공률	주요 실패
학습 위치
미학습 위치
밝은 조명
낮은 조명
distractor 포함

trial이 적을 때 90%와 80%의 차이를 과도하게 해석하지 않는다. seed, object placement protocol, 평가자 기준을 저장한다.

5.10.3 offline metric의 한계

action MSE/L1은 expert action과 다른 성공 경로를 벌점 처리할 수 있다. 반대로 낮은 error도 작은 누적 편향 때문에 closed-loop 실패로 이어질 수 있다. offline metric은 빠른 regression check로 사용하고 최종 판단은 closed-loop success와 안전 지표로 한다.