영상의 움직임을 카메라의 움직임으로 해석한다
Visual Odometry(VO)는 연속 영상에서 카메라의 상대 운동을 추정해 궤적을 누적한다. SLAM은 여기에 지도와 재방문 제약 등을 함께 다룬다. VO가 매 프레임 움직임을 내 놓는다고 전역 지도가 일관되게 닫혔다는 뜻은 아니다. M13.05의 삼각 측량·M12.02의 핀 홀 관계와 M15의 위치/지도 구분을 사용한다. 회전과 이동이 있는 실제 카메라의 운동을 아래 수평 예제와 혼동하지 않는다.
특징 기반 방식은 영상의 코너 같은 관측 가능한 지점을 찾고 특징 기술자 등으로 다른 영상의 대응 후보를 고른다. 같은 점 후보가 실제 같은 정적 표면인지 기하 검증이 필요하다. 매칭 개수가 많아도 움직이는 자동차에 모두 몰리거나 반복 창 문을 잘못 연결하면 카메라 운동을 잘못 추정할 수 있다. 특징은 의미상 물체 ID가 아니며 매 프레임 위치가 확실한 표식도 아니다.
어떤 잔차를 줄이는가
재투영 잔차는 지도 점의 예상 영상 좌표에서 실제 대응 영상 좌표를 뺀 값이다. 단위는 픽셀이다. 예측 u=105px·관측 u=103px 면 수평잔차 2px다. 같은 깊이 10m·초점 500px에서 수평 오차 2px를 고정 깊이의 위치 오차로 환산하면 2×10/500=0.04m다. 깊이가 20m면 0.08m가 된다. 같은 픽셀 오차가 항상 같은 거리 오차라는 주장은 틀리다.
그림 M16.01-1. 각 칸은 서로 다른 역할/근거다. 나란히 비교할 항목이며 위아래가 시간 순서를 뜻하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.
직접 법은 특징 기술자 대응 대신 기하 변환으로 옮긴 위치에서 영상 밝기 차이를 사용한다. 광도 잔차는 같은 표면의 밝기가 비슷하다는 가정에 민감하다. 작은 밝기 차이를 만들려면 표면 텍스처가 있어야 이동 방향에 대한 단서가 생긴다. 무늬 없는 벽은 여러 위치가 비슷한 밝기라 이동을 구분하기 어렵다. 노출 변화·그림자·반사에서는 실제 정렬이 맞아도 밝기가 달라질 수 있어 밝기 보정/강건 처리가 필요하다.
기하 오차와 광도 오차는 단위가 다르다. 둘을 합칠 때는 잡음/가중치 정의를 명시해야 하고, 숫자가 작다는 이유만으로 직접 비교해서 우열을 정할 수 없다. 직접 법이라고 모든 픽셀을 항상 쓰는 것도 아니다. 좋은 영상 기울기를 가진 일부 픽셀을 택하는 방식도 있으며 실제 시스템의 전처리/추적/지도 구조를 함께 읽어야 한다.
시차에서 깊이와 스케일을 읽는다
평행하고 보정된 스테레오 카메라를 가정한다. 초점 f=400px, baseline B=0.2m, 양의 수평 시차 d=8px라면 깊이 Z=fB/d=10m다. d=4px는 20m다. 멀어질수록 시차가 작아 같은 픽셀 오차가 깊이에 더 큰 영향을 준다. d=0에서는 이 유한 깊이 계산을 할 수 없으며 0m로 두지 않는다. 음수 시 차나 부호가 다른 구현은 축/정렬/대응 계약을 먼저 확인한다.
일반 단 안의 기하만으로는 실제 미터 스케일이 결정되지 않는다. 장면과 이동을 함께 배율 변경해도 같은 투영을 만들 수 있기 때문이다. 알려진 길이·스테레오 baseline·깊이 센서·추가 관측과 적절한 운동 조건이 있어야 미터 단위 근거를 얻을 수 있다. 회전만 하고 위치가 바뀌지 않으면 단안 삼각 측량의 시차가 부족하다. 학습 모델이 출력한 깊이의 단위/일반화는 별도로 검증해야 한다.
추적 성공과 믿을 만한 궤적을 구별한다
자체로그의 6 대응 중 정적 배경 4개는 수평 이동 2px, 자동차 2개는 10px라고 하자. 단순 평균은 28/6≈4.667px 라 정적 카메라 운동 단서를 왜곡한다. 어느 후보가 정적인지 모르면서 처음부터 배경 4개라고 표시하면 실제 문제를 피한 것이다. 실제로는 기하 모델 합의·공간 분포·잔차·동적 영역의 근거로 후보를 검토한다. 여기서는 분류가 제공된 작은 반례로 평균의 한계를 계산한다.
각 프레임의 추적 수/기하 검증 유지 수·영상 범위 분포·노출/블러·스케일 근거·원본 시각·중단 이유를 기록한다. 추적 상실 때 마지막 pose를 새 측정처럼 갱신하지 않는다. 세계 좌표의 기준과 상대 변환 방향을 명시하고 전역 궤적 비교는 동일 시각 대응/정렬 규약 아래 수행한다. M16.02는 영상 대신 점군 잔차를 쓰는 오도메트리로 이어진다.
좌우 영상의 겹치는 영역 밖에서는 대응이 없을 수 있다. 왼쪽에서 보인 표면이 오른쪽에서 가려지면 억지로 최근접 픽셀을 연결하지 않는다. 좌우 일관성·영상 경계·유효 시차 마스크를 확인하고 제외된 점의 비율을 보고한다. 시차가 있는 점만 골라 오차가 작아졌어도 전체 장면의 관측 범위가 넓어진 것은 아니다.