M14.05 · 단일 모달과 다중 모달 3D Detection·융합 위치

센서가 둘이라고 두 개의 독립 증거인 것은 아니다

카메라는 색/질감과 영상 투영을, LiDAR는 관측된 표면의 거리/형상을 제공한다. 단일 모 달 검출은 한 종류의 관측으로 상자를 추정하고 다중 모 달 검출은 서로 다른 관측을 함께 사용한다. 하나의 센서를 여러 시점에서 보는 경우와 서로 다른 센서 종류를 쓰는 경우를 구별한다. RGB 영상만으로 나온 3D 상자의 깊이는 학습한 단서와 가정에 의존하며 실제 거리 센서의 측정과 같은 근거가 아니다.

동일한 물체를 보더라도 센서 시야·가림·취득 시각·좌표가 다르다. 카메라에서 보이지 않는 면을 LiDAR가 볼 수 있고 비/반사/노출 문제가 여러 센서에 함께 영향을 줄 수도 있다. 서로의 약점을 보충할 가능성은 있으나 독립 오류나 성능 향상이 자동 보장되지는 않는다. 실제 입력 유효성·보정·시간 정합부터 확인한다. M14.02/.03의 프레임/clock 계약을 생략한 채 특징을 합치면 정교한 신경망도 틀린 물체를 결합할 수 있다.

합치는 위치를 데이터 흐름으로 구별한다

Early fusion은 입력 또는 입력에 가까운 수준에서 정렬한 관측/속성을 합친다. 예를 들어 LiDAR 점을 영상으로 투영하고 해당 색 정보를 붙이는 방식이 있다. 외부 파라미터와 내부 보정·왜곡 처리·양의 깊이·영상 범위가 필요하다. 투 영 점이 영상에 있다고 그 픽셀의 표면과 같은 표면인지는 별도 가림 판단이 필요하다.

그림 원본 크기로 보기

그림 M14.05-1. 각 칸은 서로 다른 역할/근거다. 나란히 비교할 항목이며 위아래가 시간 순서를 뜻하지 않는다. 직접 제작한 개념도이며 본문의 조건과 함께 읽는다.

Feature fusion은 각 encoder의 특징을 공통 공간이나 대응 위치에서 결합한다. BEV(Bird's-Eye View)는 위에서 내려다본 수평 격자 표현이다. 카메라 특징을 BEV로 옮길 때 깊이/투영의 불확실성이 들어가고, LiDAR도 희소성과 측정 오차가 있다. BEV 특징 결합은 좌표 계약을 없애는 연산이 아니다. 같은 칸이 같은 물리 위치/시각/해상도인지 정의한다.

Late fusion은 각각의 검출 결과를 대응/결합한다. 이미 나온 상자의 프레임·클래스·시각을 맞추고 같은 물체 후보를 연결해야 한다. 모 달별 confidence의 의미/보정이 다를 수 있어 높은 숫자를 단순히 고르는 규칙은 신뢰도 비교가 아니다. 융합 위치 명칭은 논문/구 현마다 경계가 달라 실제 어떤 텐서와 단계가 합쳐지는지 쓰는 편이 정확하다.

정렬이 틀렸을 때의 작은 계산

합성 이동 물체의 속도가 공통 x 축으로 4m/s이고 두 관측의 실제 취득 시각 차이가 0.05s라면 그 동안 이동한 거리는 0.2m다. 정적인 외부 보정이 정확해도 두 센서가 다른 위치의 물체를 볼 수 있다. 호스트 수신 시각만 같게 맞추어도 이 차이는 지워지지 않는다. 각 센서 clock을 공통 시간으로 변환한 뒤 지연/보 간·운동 보상 가정과 허용 시간 차이를 명시한다.

보정 오류도 별도로 계산한다. 초점 거리 500px인 카메라에서 깊이 10m의 점에 외부 변환의 수평 오차 0.1m가 생긴다고 단순화하면 영상 수평 오차는 500×0.1/10=5px다. 이 예는 광축과 깊이 고정의 선형 핀 홀 관계이며 일반 회전/가림/왜곡을 모두 설명하지 않는다. 시간 오차와 공간 오차를 구분하지 않으면 잘못된 재보정으로 정상 파라미터를 망가뜨릴 수 있다.

평균의 수치보다 독립성 가정이 먼저다

같은 시각·같은 프레임에서 동일 스칼라 위치를 편향 없이 독립 관측했다고 가정한다. 카메라 추정 10m/분산 4m², LiDAR 추정 12m/분산 1m²라면 역분산 가중치는 0.25와 1이다. 정규화 가중치는 0.2와 0.8, 결합 값 11.6m, 분산 1/(0.25+1)=0.8m²다. 이것은 M14.04의 작은 가우스 결합 예제다. 3D 검출 신경망의 융합을 이 식 하나로 재현했다고 부르지 않는다.

두 추정이 같은 위치 추정 결과를 공유하면 오차가 상관될 수 있다. 같은 정보를 두 번 독립 관측처럼 넣으면 불확실성을 과도하게 줄인다. 관측 대상이 다르거나 시각이 다르면 위 평균 자체가 부적절하다. 모달 하나가 빠졌을 때는 남은 유효 입력에 맞는 경로로 전환하고, 누락 특징 0을 정상 측정 0으로 오해하지 않도록 마스크/모델 계약을 정한다.

융합이 도움이 됐다는 보고를 만든다

카메라만/LiDAR만/융합을 같은 독립 시퀀스·라벨·상자 매칭·거리 분모로 비교한다. 낮/밤·거리·가림·비·모달 누락·보정/시간 오차를 바꾼 조건을 따로 남긴다. 평균 AP 외에 미검출·오탐·최악 지연·메모리·유효 입력 비율을 함께 보고한다. 늦게 도착한 정확한 검출도 제어 마감에는 쓸 수 없을 수 있다. 다음 SLAM 심화는 검출 성능과 구별되는 궤적/지도 추정으로 이어진다.

1. 4m/s·50ms 차이의 이동 량과 깊이 10m·초점 500px·수평 오차 0.1m의 투영 오차를 계산한다. 두 오차의 원인을 나누어 적는다.
2. 제공 10/12m 추정을 역분산 결합하고, 하나가 누락되거나 같은 원천 오차를 공유할 때 적용 가능성을 판단한다.
3. 융합 평균이 개선됐지만 카메라 누락에서 급락한 로그를 가정해 비교 군·조건·필수 보고 열을 작성한다. 막히면 입력 →정렬 →encoder→결합 →상자 →판정 순서로 나눈다.