모듈 목표
- 높은 보상이 실제 목표 달성을 보증하지 않는 사례 설명.
원안의 선수 안내: M07, M10, M11. 실제 보충은 아래 소주제별 권장 선수를 참고하세요.
M23.01MDP/POMDP·정책·가치·보상·종료 조건
학습 목표
- MDP/POMDP의 상태·관측·정책과 전이를 구분한다.
- 할인 수익과 가치·보상의 차이를 계산한다.
- 성공/실패 종료와 시간 제한 truncation을 구분한다.
권장 선수
모두 권장
M07.03, M10.05, M11.04의 개념을 사용한다. 필요한 새 용어·기호는 본문에서 정의한다. 일반 코딩 문법/실제 장비 설치를 요구하지 않으며 합성 자료로 기본 경로를 수행한다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: MDP/POMDP·정책·가치·보상·종료 조건 · 본문M23.02Rollout·Actor-Critic·PPO의 업데이트
학습 목표
- rollout·actor·critic·advantage와 on-policy 자료를 구분한다.
- 확률비와 PPO clipped surrogate를 부호별로 계산한다.
- 종료/마스크·과도한 업데이트·학습안정성 기록을 진단한다.
권장 선수
M23.01의 개념을 사용한다. 필요한 새 용어·기호는 본문에서 정의한다. 일반 코딩 문법/실제 장비 설치를 요구하지 않으며 합성 자료로 기본 경로를 수행한다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: Rollout·Actor-Critic·PPO의 업데이트 · 본문M23.03관측·행동·보상 설계와 Reward Hacking
학습 목표
- 관측/행동의 단위·주기·스케일 계약을 작성한다.
- 보상 합성과 reward hacking 반례를 계산한다.
- 성공/제약·독립 평가로 보상 수정을 검증한다.
권장 선수
M23.02의 개념을 사용한다. 필요한 새 용어·기호는 본문에서 정의한다. 일반 코딩 문법/실제 장비 설치를 요구하지 않으며 합성 자료로 기본 경로를 수행한다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: 관측·행동·보상 설계와 Reward Hacking · 본문M23.04Isaac Lab·병렬 환경·rsl_rl 구성
학습 목표
- Isaac Lab 과제/환경과 rsl_rl 학습기 구성을 구분한다.
- 물리/정책 주기·병렬 rollout 크기를 계산한다.
- 버전·관측/행동·reset·장치 계약의 불일치를 진단한다.
권장 선수
M23.03의 개념을 사용한다. 필요한 새 용어·기호는 본문에서 정의한다. 일반 코딩 문법/실제 장비 설치를 요구하지 않으며 합성 자료로 기본 경로를 수행한다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: Isaac Lab·병렬 환경·rsl_rl 구성 · 본문M23.05학습 안정성·평가 Seed·재현성
학습 목표
- 학습 seed와 평가 초기조건/정책을 분리한다.
- seed별 성공률·조건별 집계와 변동을 계산한다.
- 체크포인트 선택/실패 보존·학습안정성 재현 명세를 작성한다.
권장 선수
M23.04의 개념을 사용한다. 필요한 새 용어·기호는 본문에서 정의한다. 일반 코딩 문법/실제 장비 설치를 요구하지 않으며 합성 자료로 기본 경로를 수행한다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: 학습 안정성·평가 Seed·재현성 · 본문M23.06MuJoCo 비교·Domain Randomization·정책 내보내기
학습 목표
- simulator 간 물리/센서/제어 계약의 차이를 구분한다.
- randomization 범위·지연과 행동 후처리 예제를 계산한다.
- 정책 내보내기와 단계별 전이 평가/롤백 명세를 작성한다.
권장 선수
M23.05의 개념을 사용한다. 필요한 새 용어·기호는 본문에서 정의한다. 일반 코딩 문법/실제 장비 설치를 요구하지 않으며 합성 자료로 기본 경로를 수행한다. 이미 알고 있다면 직접 열어볼 수 있습니다.
학습 범위: 기본 설명·예제가 준비되었습니다. 기존 보충 자료의 범위와 구별하세요.
교재 본문: MuJoCo 비교·Domain Randomization·정책 내보내기 · 본문