같은 영상에서도 서로 다른 질문을 푼다
차량 카메라는 차선/도로 영역·객체 상자/분할·신호 등의 관측 후보를 제공할 수 있다. Visual Odometry나 지도 기반 위치 추정은 그 관측의 기하와 이력/지도 대응으로 차량 pose를 추정한다. 검출 정확도가 높다는 사실만으로 지도에서의 위치가 정확하다는 뜻은 아니다. M12의 투영/평가와 M16.01의 영상 운동 추정을 재사용하고 각 출력의 좌표/시각·불확실성과 실패 상태를 전달한다.
카메라 영상의 픽셀은 광선 방향을 정하지만 추가 가정 없이 깊이를 유일하게 정하지 못한다. 도로 평면과 보정이 정확하다는 가정으로 지면 점을 역투영할 수 있지만 경사/단 차·지면 아닌 물체에서는 가정이 깨진다. 단안 학습 깊이도 학습 분포/척도 근거를 평가해야 한다. 픽셀 상자 중심을 그대로 차량 앞의 미터 좌표로 읽지 않는다.
투영의 단위와 프레임을 고정한다
자체 왜곡 없는 핀 홀 카메라는 초점 f500px·중심 cx320px이 고광학 좌표의 X 오른쪽/Z 전방으로 둔다. 점 X1m/Z10m의 u는 500×1/10+320=370px다. 같은 u370에서 깊이 20m면 X2m가 되어 영상 위치만으로 거리 위치를 확정할 수 없다. 광학 좌표의 오른쪽/아래/앞과차체좌표의 앞/왼쪽/위 규약을 변환 표로 연결한다.
이미지를 축소/자르거나 왜곡을 보정했다면 유효 초점/중심과 좌표도 바뀔 수 있다. 원본 보정값을 가공 영상의 픽셀에 그대로 쓰지 않는다. 렌즈/해상도/노출·보정 revision·프레임 ID와 취득 시각을 원본에 남긴다. 보정의 재투영 오차와 객체 검출 오차·지도 위치오차는 다른 지표다.
차선과 주행 가능 영역은 근거가 다르다
Semantic 분할의 도로 영역은 현재 영상의 클래스 판정이고 차선/도로 지도는 연결/주행 방향/정지 구역 등의 의미를 포함할 수 있다. 그림자나 마모된 차선·공사 구간·눈부심에서는 관측과 지도가 충돌할 수 있다. 한 쪽을 항상 정답으로 강제하지 말고 관측 품질/시각과 지도 버전을 보고 불일치를 처리하는 정책을 정한다.
자체 정답 도로 점 10개 중 TP8/FN2, 비도로점을도로로 분류한 FP4라면 도로 precision8/12≈.667·recall8/10=.8·IoU8/14≈.571이다. 이 점별 비율은 차선이 연결됐는지·차량 전체 폭이 통과 가능한지·보행자가 없는지까지 증명하지 않는다. 지표분모와과제의 결정 조건을 분리한다.
영상 기반 위치추정의 실패를 드러낸다
영상 위치 추정은 대응/정적기하·보정과 스케일/지도 기준이 필요하다. 저텍스처·반사·동적 차량·반복 구조·블러에서 추적이 상실되거나 잘못된 대응이 생길 수 있다. pose가 계속 출력된다고 새 관측으로 정상 갱신되고 있다는 뜻은 아니다. 마지막 갱신 시각·유효 대응/공간 분포·잔차·불확실성·전파만 사용한 구간을 기록한다.
단안 기하에서 미터 척도 근거가 없으면 지도/차량 제어에 바로 전달할 수 없다. 다른 센서/알려진 길이·스테레오 등의 근거를 확인한다. 지도 좌표가 갱신되거나 재로컬라이제이션이 발생하면 위치 점프와 odom 연속성을 구분한다. M29.03의 LiDAR 기반 추정도 동일한 좌표/시간 계약으로 비교해야 한다.
시간 오차와 환경 변화를 따로 평가한다
자체 정적 장애물 앞으로 차량이 4m/s로 이동하고 영상 취득 →판정 시간이.1s라면 그 동안 차량은.4m 이동한다. 옛 영상의 장애물 상대 위치를 현재 body 위치로 쓰면 시점 차이를 무시한다. 이는 공통 clock·일정 속도 예제이며 회전/물체 운동·실제 제어 오차는 제외한다. 원본 취득 시 각 과 pose/변환 시각을 맞추거나 명시한 예측/불확실성으로 처리한다.
낮/밤·역광/비·거리/가림·차선 품질·영상 누락별로 정답 수·오탐/누락·위치 오차·지연/유효 비율을 나눈다. 쉬운 정상 영상이 다수를 차지해 평균이 높아져도 작업 실패를 숨기지 않는다. 학습/검증/최종 평가 시퀀스와 체크 포인트/전처리 형상을 고정한다. 기본 활동은 제공 좌표와 집계의 분석이며 실제 영상 모델 학습/차량 시험은 미수행이다. 후속 융합에서 다른 센서의 확신을 추가하더라도 가림/시간/상관관계의 한계는 남는다.
같은 영상을 가로/세로 각각 절반으로 축소하고 다른 자르기가 없다면 예제의 초점 500→250px, 중심 320→160px, 투영 370→185px로 함께 바뀐다. 축소 영상에 원래 보정값을 쓰면 같은 물체의 광선 방향이 달라진다. 이미지 처리 설정을 모델 파일과 별개로 버 전 관리해야 하는 이유다.
실패 장면에서는 원본 영상과 전처리 영상·검출/분할·pose 추정·최종 명령을 시각 순으로 나란히 본다. 원본에서 이미 가려진 객체, 전처리에서 잘린 객체, 모델이 누락한 객체를 구분한다. 최종 제어 실패만 보고 인지 모델을 바꾸기보다 어느 단계에서 근거가 사라졌는지 먼저 확인한다.