[논문리뷰] VGGT-CD: Training-Free Robust Registration for 3D Change Detection (arXiv 2026)

시점이 다른 두 multi-view 이미지 집합에서 3D 변화를 찾으려면 두 reconstruction을 먼저 정합해야 하는데, 변화 자체가 정합을 망치는 역설이 있다. VGGT-CD는 VGGT의 joint inference 능력만으로 이 문제를 학습 없이 푸는 coarse-to-fine pipeline이다. 앞서 리뷰한 VGGT를 change detection에 활용하는 후속 응용 연구다.

논문 정보

항목	내용
제목	VGGT-CD: Training-Free Robust Registration for 3D Change Detection
저자	Wei Zhang, Songhua Li, Yihang Wu, Qiang Li, Qi Wang
소속 / 연도	Northwestern Polytechnical University, 2026 (arXiv:2605.16859)
분야	3D Change Detection / Point Cloud Registration
코드	GitHub

1. Introduction

시간차(cross-temporal) 변화 감지는 도시 모니터링, 재해 평가, 자율주행에 중요하다. 기존 방법은 주로 2D 이미지 영역에서 동작하는데, 시점 변화가 만드는 parallax를 물리적 변화로 오인하는 false positive에 취약하고, 부피·구조 변화를 포착하는 데 필요한 depth 정보 자체가 없다. 반면 3D change detection은 point cloud 기하를 직접 비교하므로 공간적으로 더 강건하고 2D 관측만으로는 얻을 수 없는 풍부한 기하 정보를 제공한다. 최근 등장한 VGGT, DUSt3R, MASt3R 같은 visual geometry foundation model은 pose 없는 이미지들로부터 단일 forward pass로 dense point cloud를 만들어, 시간차 3D 기하 획득을 크게 쉽게 만들었다.

그러나 이런 foundation model을 시간차 변화 감지에 그대로 적용하면 근본적인 어려움에 부딪힌다. 직관적인 baseline은 각 시점(epoch) \(T_1, T_2\) 를 독립적으로 재구성한 뒤 ICP 같은 registration 알고리즘으로 두 point cloud를 정렬하는 것인데, 실제로는 세 가지 얽힌 문제로 실패한다.

1. scale ambiguity: 독립 reconstruction들은 상대적인 metric scale을 알 수 없는 별개의 좌표계에 놓이므로 rigid(SE(3)) registration으로는 부족하다
2. registration-change 역설: 진짜 물리적 변화가 거대한 기하적 outlier로 작용해 정렬을 망치고, 어긋난 정렬은 다시 가짜 변화를 만든다
3. edge-flying noise: 신경망 depth 예측의 경계 늘어짐(boundary elongation) artifact가 정적 영역에서도 가짜 변화를 만든다

[Figure 1] 문 닫힘/트렁크 열림 두 시점에서 단순 겹치기(scale ambiguity·edge noise·outlier), RANSAC+Scale-ICP(정합 실패, false positive 지배), VGGT-CD(정확한 정합과 변화 감지)의 비교

이를 해결하기 위해 이 논문은 시간차 registration을 동적 변화의 간섭에서 분리(decouple)하는 training-free coarse-to-fine pipeline VGGT-CD를 제안한다. Stage 1에서는 두 시점에서 소수의 keyframe을 골라 VGGT joint inference 한 번에 넣어, 통일된 metric 공간을 암묵적으로 확립함으로써 시점 간 scale ambiguity를 해소하고 초기 \(\mathrm{Sim}(3)\) 변환을 얻는다. Stage 2에서는 고해상도 기하를 위해 시점별 dense reconstruction을 독립 수행하고, confidence 기반 정화(purification)로 동적 변화 영역과 edge noise를 걸러 고신뢰 정적 배경 대응만 남긴다. 정화된 점들로 단일 스텝 SVD가 닫힌형 정렬을 내놓아 반복 최적화의 drift를 완전히 제거하며, residual self-check가 Fine Stage가 Coarse 결과를 절대 악화시키지 않음을 보장한다.

기여는 다음과 같다.

• training-free coarse-to-fine 3D change detection pipeline인 VGGT-CD 제안. visual geometry foundation model의 joint inference 능력으로 통일된 metric prior를 확립해, 전통적 SfM이나 명시적 feature matching 없이 pose 없는 multi-view 이미지에서 end-to-end 3D change detection을 수행하는 최초의 방법
• 분리된 translation 정제와 residual self-check를 갖춘 신뢰도 기반 정화 메커니즘 설계. Fine Stage가 Coarse 정렬을 절대 악화시키지 않는 단조성(monotonicity) 보장 제공
• 공개 World Across Time 데이터셋에서 ground-truth 궤적이 있는 11개 scene의 엄밀한 시간차 3D registration 평가 protocol 확립. state-of-the-art 정확도와 6배 이상의 속도 향상, 고순도 3D change map 입증

2. Related Work

3D point cloud change detection. 전통적 변화 감지는 주로 2D 이미지 영역에서 feature 차분으로 변화를 찾지만, 조명 변화와 시점 parallax에 민감하고 부피·구조 변화를 포착할 수 없다. 이를 극복하려는 3D change detection은 보통 LiDAR scan이나 시간이 오래 걸리는 SfM pipeline으로 입력 point cloud를 얻은 뒤 거리 metric이나 딥러닝으로 변화 feature를 추출한다. PGN3DCD는 비모수 prior로 multi-temporal point cloud 차분을 유도하고, Living Scenes는 동적 환경에서 multi-object reconstruction과 relocalization을 시도한다. 그러나 이 방법들은 사전 정렬된 point cloud에 크게 의존하고 느린 multi-view 기하 최적화를 피할 수 없다. VGGT-CD는 전통적 SfM을 완전히 우회하고, 처음으로 pose 없는 visual geometry foundation model을 end-to-end 시간차 3D change detection에 활용한다.

Visual geometry foundation models. 최근 3D 비전에서는 기하 추정 foundation model이 쏟아지고 있다. DUSt3R와 MASt3R는 multi-view stereo를 pointmap regression으로 재정식화해 카메라 pose prior 없이 sparse 이미지 쌍에서 dense 3D reconstruction을 만들고, VGGT는 카메라 extrinsics·intrinsics·depth map·3D feature track을 단일 feed-forward pass로 함께 예측하며 이 framework를 통합했다. 이 모델들은 scene 단위로는 인상적이지만, 시간차 태스크의 각 시점에 독립 적용하면 metric scale과 국소 좌표계에 무작위 drift가 생긴다. VGGT-CD는 sparse joint inference 메커니즘으로 독립 feed-forward reconstruction 고유의 scale ambiguity를 해소한다.

Robust point cloud registration. point cloud registration은 시간차 3D 기하 비교의 전제 조건이다. 고전적 ICP는 overlap이 낮거나 outlier가 많으면 지역 최소값에 빠지기 쉽다. Fast Global Registration(FGR)과 RANSAC 기반 pipeline은 전역 탐색으로 강건성을 높였고, GeoTransformer 같은 학습 기반 방법은 geometric transformer로 대응을 예측하며, Dynamic Cues-Assisted Transformer는 동적 prompt로 feature matching의 모호성을 줄이고, SGHR은 history reweighting으로 pose graph의 잘못된 match를 거른다. 그럼에도 시간차 변화 감지에서는 진짜 물리적 변화가 구조화된 대규모 기하 outlier가 되어 가장 강건한 estimator조차 압도하는 “registration-change 역설”이 생긴다. VGGT-CD는 신뢰도 기반 정화 전략으로 동적 변화와 edge noise를 미리 격리한 뒤 고전적 Umeyama 알고리즘을 닫힌형으로 적용해 이 역설을 깨고, 반복 registration drift를 완전히 우회하며 6배 이상의 속도 향상을 달성한다.

3. Method

서로 다른 두 시점 \(T_1, T_2\) 에 촬영된 multi-view 이미지 집합 \(\mathcal{I}^{T_1} = \{I^{T_1}_1, \dots, I^{T_1}_{N_1}\}\) 과 \(\mathcal{I}^{T_2} = \{I^{T_2}_1, \dots, I^{T_2}_{N_2}\}\) 가 주어지면, 두 3D reconstruction을 공유 metric 좌표계로 정렬하고 그 사이의 기하적 변화를 찾는 것이 목표다. 핵심 난제는 feed-forward reconstruction 모델이 각 시점을 독립적으로 복원해, 상대 scale \(s\)·회전 \(\mathbf{R}\)·이동 \(\mathbf{t}\) 를 알 수 없는 별개 좌표계의 point cloud \(\mathcal{P}^{T_1}, \mathcal{P}^{T_2}\) 를 내놓는다는 것이다. 즉 7자유도 \(\mathrm{Sim}(3)\) ambiguity가 생긴다.

VGGT-CD는 전통적 SfM이나 시점 간 명시적 feature matching 없이 이 ambiguity를 해소하는 coarse-to-fine pipeline이다. Stage 1(Coarse, 3.2절)은 sparse joint inference로 metric-scale prior를 확립하고, Stage 2(Fine, 3.3절)는 dense point cloud 정화와 분리된 무열화(degradation-free) 설계로 translation을 정제한다. 3.4절은 정렬된 point cloud를 비교해 최종 change map을 만드는 방법이다.

[Figure 2] sparse keyframe joint inference로 Sim(3) prior를 얻는 Coarse Stage와, confidence 기반 정화 후 scale·회전을 고정한 채 translation만 SVD로 정제하는 Fine Stage로 구성된 전체 pipeline

3.1 Per-Epoch Dense Reconstruction

각 시점 \(T_k\) (\(k \in \{1, 2\}\))의 이미지 \(N_k\) 장 전부를 VGGT에 단일 forward pass로 넣는다. VGGT는 매 frame \(i\) 에 대해 카메라 extrinsics \([\mathbf{R}_i \mid \mathbf{t}_i] \in \mathrm{SE}(3)\), intrinsics \(\mathbf{K}_i\), 픽셀별 depth \(D_i\), depth confidence map \(c_i \in [0, 1]\) 을 함께 예측한다. dense 3D 점은 예측된 depth와 카메라 파라미터로 각 픽셀을 역투영해 얻는다.

\[\mathbf{p}_{i,u} = \mathbf{R}_i^{-1}\left( D_i(u)\, \mathbf{K}_i^{-1} \tilde{u} - \mathbf{t}_i \right)\]

여기서 \(\tilde{u}\) 는 픽셀 \(u\) 의 homogeneous 좌표다. depth를 곱한 카메라 좌표의 점을 extrinsics의 역변환으로 세계 좌표에 놓는 표준 역투영식이다. 모든 frame에 대해 모으면 confidence가 딸린 시점별 point cloud \(\mathcal{P}^{T_k}\) 가 된다. 각 시점이 독립적으로 재구성되므로 결과 좌표계는 임의적이다. \(\mathcal{P}^{T_1}\) 과 \(\mathcal{P}^{T_2}\) 는 scale도 pose도 일치하지 않아 직접 비교가 불가능하다.

3.2 Coarse Registration via Sparse Joint Inference

Coarse stage의 핵심 통찰은, 두 시점의 이미지를 섞은 집합에 대한 VGGT joint inference가 모든 frame을 암묵적으로 단일 metric 좌표계에 놓아 시점 간 \(\mathrm{Sim}(3)\) ambiguity를 해소한다는 것이다.

Keyframe selection. \(N_1 + N_2\) 장 전부를 함께 넣으면 보통의 시퀀스에서 GPU 메모리를 초과하므로, 각 시점에서 시간 인덱스 공간의 Farthest Point Sampling(FPS)으로 keyframe \(K\) 장을 뽑는다. 시점 \(T_k\) 의 frame 인덱스가 \(\{1, \dots, N_k\}\) 일 때 시작 frame \(k_1 = 1\) 을 고르고 다음을 반복한다.

\[k_{j+1} = \operatorname*{arg\,max}_{i \,\in\, \{1, \dots, N_k\} \setminus \mathcal{K}} \; \min_{k \in \mathcal{K}} \lvert i - k \rvert\]

여기서 \(\mathcal{K}\) 는 이미 선택된 집합이다. 매번 기존 선택과 가장 먼 인덱스를 추가하므로 시간적으로 최대한 퍼진 부분집합 \(\mathcal{K}^{T_k} = \{k_1, \dots, k_K\}\) 가 되어, 최소한의 중복으로 넓은 시점 범위를 덮는다. frame이 순서대로 정렬되어 있으면 근사적으로 균일 시간 샘플링과 같지만, FPS는 비균일하게 정렬된 입력도 자연스럽게 다룬다.

Joint inference. 두 시점의 keyframe을 합친 \(2K\) 장의 혼합 batch \(\mathcal{B} = \{I^{T_1}_k\}_{k \in \mathcal{K}^{T_1}} \cup \{I^{T_2}_k\}_{k \in \mathcal{K}^{T_2}}\) 를 VGGT에 단일 forward pass로 넣는다. 결과 예측 \(\hat{\mathcal{P}}^{\mathrm{joint}}\) 는 두 시점이 공유하는 통일된 metric 좌표계로 표현된다.

Sim(3) estimation. 이제 각 시점 \(T_k\) 마다 같은 keyframe point cloud의 두 표현이 있다. (i) 시점별 reconstruction \(\mathcal{P}^{T_k}_{\mathrm{kf}}\) (3.1절)와 (ii) joint inference reconstruction \(\hat{\mathcal{P}}^{\mathrm{joint}}_k\) 다. 같은 픽셀에서 나온 점들이라 dense한 대응을 이루므로, 시점별 좌표계를 joint 좌표계로 보내는 \(\mathrm{Sim}(3)\) 변환 \((s_k, \mathbf{R}_k, \mathbf{t}_k)\) 를 닫힌형 Umeyama 알고리즘으로 추정한다. 강건성을 위해 depth confidence가 중앙값을 넘는 점만 쓰고 대응 수를 무작위 subsampling으로 \(M = 5000\) 개로 제한한다.

두 시점별 변환 \((s_1, \mathbf{R}_1, \mathbf{t}_1)\), \((s_2, \mathbf{R}_2, \mathbf{t}_2)\) 를 합성하면 \(\mathcal{P}^{T_1}\) 을 \(\mathcal{P}^{T_2}\) 좌표계로 직접 보내는 상대 \(\mathrm{Sim}(3)\) 가 나온다.

\[s = \frac{s_1}{s_2}, \qquad \mathbf{R} = \mathbf{R}_2^{\top} \mathbf{R}_1, \qquad \mathbf{t} = \frac{1}{s_2}\, \mathbf{R}_2^{\top} \left( \mathbf{t}_1 - \mathbf{t}_2 \right)\]

정렬된 point cloud는 \(\tilde{\mathcal{P}}^{T_1} = \{s\, \mathbf{R}\, \mathbf{p} + \mathbf{t} \mid \mathbf{p} \in \mathcal{P}^{T_1}\}\) 이다.

3.3 Fine Registration via Decoupled Translation Refinement

Coarse stage는 시점당 keyframe \(K\) 장(보통 \(K = 5\))만 쓰므로 정렬에 쓸 기하 정보가 제한적이다. \(K\) 가 작거나 선택된 frame들의 scene overlap이 작으면 translation \(\mathbf{t}\) 가 최적이 아닐 수 있다. Stage 2는 두 시점의 전체 dense point cloud로 정렬을 정제하되, 새 오차의 유입을 조심스럽게 차단한다.

Confidence-weighted voxel downsampling. 두 point cloud에서 depth confidence가 중앙값을 넘는 점만 남기고, 적응형 voxel 크기 \(\delta = L / G\) 의 voxel grid downsampling을 적용한다. \(L\) 은 공간 범위의 99번째 percentile, \(G = 200\) 은 고정 grid 해상도다. 각 voxel에서 confidence가 가장 높은 점을 대표로 남긴다. 결과는 각각 약 \(10^4\)~\(10^5\) 점의 압축된 고품질 부분집합 \(\bar{\mathcal{P}}^{T_1}, \bar{\mathcal{P}}^{T_2}\) 다.

Dynamic change-region purification. 식 (3)의 coarse 변환으로 \(\bar{\mathcal{P}}^{T_1}\) 을 \(\bar{\mathcal{P}}^{T_2}\) 좌표계에 정렬하고, 각 점의 최근접 이웃 거리를 계산한다.

\[d_i = \min_{\mathbf{p}' \in \bar{\mathcal{P}}^{T_2}} \left\| (s\, \mathbf{R}\, \mathbf{p}_i + \mathbf{t}) - \mathbf{p}' \right\|_2, \quad \mathbf{p}_i \in \bar{\mathcal{P}}^{T_1}\]

\(d_i\) 가 작은 점은 정적 배경에 해당하고, 크면 진짜 3D 변화(생기거나 없어지거나 움직인 물체)를 나타낸다. 정적 집합을 다음처럼 정의한다.

\[\mathcal{S} = \left\{ i \;\middle|\; d_i < \alpha \cdot \mathrm{median}(\{d_j\}_j) \right\}\]

여기서 \(\alpha = 3.0\) 은 scene에 따라 적응하는 threshold를 제공한다. 거리 분포의 중앙값 기준이므로 scene 크기가 달라도 별도 튜닝이 필요 없다.

Decoupled translation refinement. 순진한 접근은 정적 대응으로 전체 \(\mathrm{Sim}(3)\) 를 재추정하는 것이다. 그러나 재추정된 회전의 작은 오차는 지렛대 효과(lever-arm effect)로 먼 점에서 큰 이동 오차를 만든다. 회전 오차 \(\Delta\theta\) 는 무게중심에서 반지름 \(r\) 인 점에 \(r \cdot \Delta\theta\) 의 위치 변위를 일으킨다. 그래서 분리(decoupled) 전략을 취한다. \(s\) 와 \(\mathbf{R}\) 은 coarse stage 값으로 잠그고 translation \(\mathbf{t}\) 만 갱신한다. 최적 정제 translation은 정화된 정적 대응들의 무게중심 차이로 주어진다.

\[\mathbf{t}^* = \frac{1}{\lvert \mathcal{S} \rvert} \sum_{i \in \mathcal{S}} \left( \mathbf{p}'_{\mathrm{nn}(i)} - s\, \mathbf{R}\, \mathbf{p}_i \right)\]

여기서 \(\mathbf{p}'_{\mathrm{nn}(i)} \in \bar{\mathcal{P}}^{T_2}\) 는 \(i\) 번째 정렬된 source 점의 최근접 이웃이다. \(\lvert \mathcal{S} \rvert \gg 3\) 개의 대응에서 3차원 벡터 하나만 최적화하므로 문제가 극도로 과결정(over-determined)되어 통계적으로 강건한 추정이 된다.

Residual self-check. Fine stage가 coarse 결과를 절대 악화시키지 않도록 residual self-check를 도입한다. \(\mathbf{t}^*\) 를 계산한 뒤, 정적 부분집합이 아닌 downsampling된 전체 점에 대해 coarse translation \(\mathbf{t}\) 와 정제된 \(\mathbf{t}^*\) 각각의 최근접 이웃 잔차 중앙값을 평가한다.

\[\mathbf{t}_{\mathrm{final}} = \begin{cases} \mathbf{t}^*, & \text{if } \mathrm{med}(\{d^*_j\}_j) < \mathrm{med}(\{d_j\}_j) \\ \mathbf{t}, & \text{otherwise} \end{cases}\]

여기서 \(d^*_j\) 와 \(d_j\) 는 각각 \(\mathbf{t}^*\) 와 \(\mathbf{t}\) 아래에서의 최근접 이웃 거리다. 이 메커니즘 덕에 pipeline은 모든 scene·keyframe 설정에서 \(\mathrm{ATE}_{\mathrm{Full}} \leq \mathrm{ATE}_{\mathrm{Coarse}}\) 라는 단조성 보장을 만족한다. Fine stage 전체는 Algorithm 1에 요약되어 있다.

Input : Dense point clouds P̄^{T1}, P̄^{T2} (after voxel downsampling);
        coarse transform (s, R, t)
Output: Refined translation t_final

// 1. Coarse Alignment & Distance Computation
Apply coarse transform: p̃_i ← s R p_i + t, ∀ p_i ∈ P̄^{T1};
Compute nearest-neighbor distances: d_i ← min_{p'} ‖p̃_i − p'‖;
// 2. Static Set Extraction
Extract static set: S ← {i | d_i < 3 · median({d_j})};
if |S| < 100 then
    // Too few static points; keep coarse
    return t;
end if
// 3. Refined Translation Computation
Compute refined translation: t* ← (1/|S|) Σ_{i∈S} (p'_{nn(i)} − s R p_i);
// 4. Residual Self-Check
if median({d*_j}) < median({d_j}) then
    // Fine improves alignment
    return t*;
else
    // Revert to coarse
    return t;
end if

[Algorithm 1] Stage 2: Decoupled Translation Refinement

3.4 3D Change Detection

정렬된 point cloud \(\tilde{\mathcal{P}}^{T_1}\) (\(\mathcal{P}^{T_2}\) 좌표계)에 대해 양방향 최근접 이웃 거리로 3D 변화를 감지한다. 각 점 \(\mathbf{p} \in \tilde{\mathcal{P}}^{T_1}\) 의 변화 점수는 다음과 같다.

\[\Delta(\mathbf{p}) = \min_{\mathbf{p}' \in \mathcal{P}^{T_2}} \| \mathbf{p} - \mathbf{p}' \|_2\]

대칭으로 \(T_2\) 에서 \(T_1\) 로의 변화도 계산한다. \(\Delta(\mathbf{p}) > \tau_{\mathrm{cd}}\) 이면 변화로 분류하며, threshold \(\tau_{\mathrm{cd}}\) 는 scene 범위에 비례해 설정한다. 순방향·역방향 변화 감지의 합집합이 최종 change map이 되고, 각 이미지에 재투영해 view별 변화 시각화도 가능하다.

4. Experiments

4.1 Experimental Setup

Dataset and benchmark. 기존 3D change detection 데이터셋은 대부분 2D mask만 제공해 시간차 기하 정렬에 대한 엄밀한 metric이 없다. 그래서 서로 다른 시점에 촬영되고 상당한 물리적 변화(가구 이동, 문 열림, 물체 추가/제거 등)가 있는 실세계 scene을 담은 WAT(World Across Time) 데이터셋 위에 3D registration 평가 protocol을 구축했다. benchmark는 11개 scene으로, 실외 5개(Car, Community, Grill, Spa, Street)와 실내 6개(Breville, Dyson, Kitchen, Living Room, Mac, Ninja)다. 실외의 극단적 scale 변화, 실내의 textureless 벽·반사 표면, 시점 간 대규모 물리적 변화 등 다양한 난제를 포함한다. ground-truth 카메라 궤적은 WAT가 제공하는 정적 배경 COLMAP reconstruction에서 추출해, 시간차 정렬 품질의 절대 평가를 가능하게 했다.

Baselines. state-of-the-art feed-forward reconstruction과 강건한 point cloud registration의 대표 조합들과 비교한다. 모든 baseline은 VGGT를 공유 reconstruction backbone으로 쓰고 registration 전략만 다르다. (i) VGGT Only: 시점별 독립 reconstruction에 정렬 없음(항등 변환), (ii) VGGT + FGR: scale 추정을 포함한 Fast Global Registration, (iii) VGGT + RANSAC+ICP: RANSAC 전역 registration 후 scale-aware ICP, (iv) VGGT + Scale+ICP: 대응 거리 비율로 상대 scale을 추정한 뒤 표준 ICP, (v) GeoTransformer: geometric transformer로 대응을 예측하는 학습 기반 registration. 이 구성은 “독립 reconstruction + 사후 registration”이라는 주류 패러다임을 포괄해, joint inference 접근의 기여를 분리해 보여준다.

Evaluation metrics. 두 시점을 합친 카메라 궤적의 전역 정렬 정확도인 Absolute Trajectory Error(ATE, m)와 frame 간 국소 이동 일관성인 Relative Translation Error(RTE, m)로 평가한다. 방법별 registration 시간(초)도 보고한다(모든 방법에 공통인 VGGT 시점별 inference 시간은 제외).

4.2 Quantitative Evaluation

Outdoor scenes (Table 1). VGGT-CD는 실외 5개 scene 전부에서 최저 ATE를 달성한다. Car·Community·Grill에서 ATE 0.04m 미만으로 scene별 최강 경쟁자를 각각 9.5배, 4.4배, 12.0배 앞선다. 극단적 depth 범위와 희소한 overlap으로 모든 방법이 고전하는 Spa·Street에서도 최고 정확도(0.55m, 0.83m)다. 평균적으로 실외 ATE를 최강 단일 baseline(GeoTransformer)의 0.53m에서 0.30m로 44% 줄인다.

Method	Car ATE↓	RTE↓	T↓	Community ATE↓	RTE↓	T↓	Grill ATE↓	RTE↓	T↓	Spa ATE↓	RTE↓	T↓	Street ATE↓	RTE↓	T↓
VGGT Only	3.373	0.687	–	1.703	0.449	–	0.716	0.151	–	1.661	0.281	–	1.564	0.263	–
FGR	0.405	0.140	586	0.323	0.182	837	0.647	0.151	166	0.616	0.306	48	1.083	0.388	94
RANSAC+ICP	0.397	0.141	38	0.330	0.149	95	0.445	0.151	41	0.566	0.301	17	1.044	0.402	34
Scale+ICP	0.631	0.143	50	0.079	0.068	95	0.509	0.151	39	0.566	0.302	10	0.972	0.424	12
GeoTransformer	0.381	0.140	76	0.150	0.055	115	0.461	0.151	77	0.610	0.305	26	1.030	0.444	58
VGGT-CD (Ours)	0.040	0.141	3.2	0.018	0.022	5.3	0.037	0.156	4.4	0.553	0.294	5.3	0.834	0.264	5.3

[Table 1] 실외 scene의 시간차 registration 결과(ATE·RTE는 m, T는 registration 시간(초), 낮을수록 좋음. 굵게 1위, 밑줄 2위, 이탤릭 3위. 원문은 파란 음영 3단계)

Indoor scenes (Table 2). 실내에서 이점이 더 두드러진다. Breville에서 대부분의 baseline은 scale ambiguity에 심하게 흔들리고(ATE 1.3m 이상) 그중 최선인 Scale+ICP가 0.48m인데, VGGT-CD는 0.04m로 11.6배 개선이다. Dyson·Kitchen·Living Room·Mac에서도 ATE 0.06~0.44m로 일관되게 1위다. 주목할 예외는 Ninja로, Scale+ICP(0.076m)가 VGGT-CD(0.111m)를 앞선다. 이 scene의 scale 변화가 거의 없어(\(s \approx 1.0\)) 직접적인 scale-aware ICP에 유리했기 때문으로 본다. 이 한 경우를 제외하면 VGGT-CD가 실내 평균 ATE 0.14m로 최강 baseline(Scale+ICP, 0.33m) 대비 59% 개선을 달성한다.

Method	Breville ATE↓	RTE↓	T↓	Dyson ATE↓	RTE↓	T↓	Kitchen ATE↓	RTE↓	T↓	Living Room ATE↓	RTE↓	T↓	Mac ATE↓	RTE↓	T↓	Ninja ATE↓	RTE↓	T↓
VGGT Only	2.547	1.010	–	0.947	0.283	–	0.855	0.076	–	0.743	0.281	–	0.349	0.047	–	0.634	0.139	–
FGR	1.626	0.417	705	2.205	0.709	805	0.065	0.049	10	0.839	0.282	199	0.112	0.046	172	2.556	0.665	4608
RANSAC+ICP	1.419	0.200	107	1.009	0.283	98	0.075	0.053	11	0.674	0.276	40	0.113	0.046	28	1.269	0.138	204
Scale+ICP	0.475	0.208	47	0.596	0.292	51	0.085	0.047	6	0.523	0.276	17	0.234	0.054	17	0.076	0.163	19
GeoTransformer	1.328	0.200	1038	1.515	0.290	509	0.068	0.051	16	0.824	0.281	155	0.108	0.046	36	1.060	0.140	346
VGGT-CD (Ours)	0.041	0.217	3.6	0.110	0.328	3.9	0.055	0.045	3.1	0.441	0.285	5.6	0.057	0.049	6.0	0.111	0.166	3.3

[Table 2] 실내 scene의 시간차 registration 결과(형식은 Table 1과 동일. 굵게 1위, 밑줄 2위, 이탤릭 3위)

Analysis of the failure mode. 실험 결과는 “독립 reconstruction + registration” 패러다임 고유의 체계적 실패 패턴을 드러낸다. VGGT가 각 시점을 독립적으로 재구성하면 point cloud들이 상대 scale을 알 수 없는 임의 좌표계에 놓이고, 사후 방법들은 상당한 동적 변화를 포함한 point cloud로부터 scale까지 포함한 \(\mathrm{Sim}(3)\) registration을 풀어야 한다. 물리적 변화가 거대한 기하 outlier로 작용해 최적화를 심하게 왜곡한다. baseline 중 Scale+ICP는 명시적 scale 추정으로 scale 문제를 완화해 scale 변화가 적당한 scene(Community, Ninja)에서는 잘 되지만, ambiguity가 큰 scene(Breville, Dyson)에서는 여전히 실패한다. 반면 VGGT-CD는 joint inference로 dense registration 이전에 scale ambiguity를 해소하고, 정화 메커니즘으로 정적 영역만 골라 정제한다. Figure 3의 궤적 시각화가 이를 뒷받침한다. baseline들은 scale 왜곡과 outlier 오염으로 ground truth에서 크게 벗어난 궤적을 내는 반면, VGGT-CD의 궤적은 모든 scene에서 ground truth와 거의 겹친다.

[Figure 3] 대표 scene(car, breville)에서 FGR·Scale-ICP·VGGT-CD의 예측 궤적(파랑)과 ground truth(회색) 비교

Registration efficiency. VGGT-CD는 registration 단계를 평균 3~6초에 끝내 모든 baseline보다 6~255배 빠르다. 이 효율은 (1) coarse stage가 \(2K = 10\) 장 keyframe에 대한 VGGT forward pass 한 번만 필요하고, (2) fine stage가 반복 최적화 없이 최근접 이웃 질의 한 번과 닫힌형 무게중심 계산만 하기 때문이다. 가장 빠른 baseline(Scale+ICP, 실내 평균 26초)보다도 6배 이상 빠르며, FGR과 GeoTransformer는 point cloud가 큰 scene에서 수백~수천 초가 걸린다(Ninja에서 FGR 4608초).

4.3 Qualitative Evaluation

3D change detection 결과를 공간 거리 heatmap으로 시각화한다(Figure 4). 정렬된 source cloud의 각 점을 target cloud까지의 최근접 이웃 거리로 색칠한다. 파랑은 작은 거리(잘 정렬된 정적 배경), 빨강은 큰 거리(감지된 변화)다.

[Figure 4] 두 시점 입력(1행), Scale-ICP의 registration·change heatmap(2~3행), VGGT-CD의 결과(4~5행) 비교

Scale-ICP는 잔여 scale·pose 어긋남 때문에 heatmap이 false positive로 뒤덮인다. 물리적으로 변하지 않은 바닥·벽·천장이 균일하게 빨갛게 나와, 진짜 변화 영역이 registration artifact와 전혀 구분되지 않는다. 반면 VGGT-CD는 깨끗하고 대비가 높은 heatmap을 만든다. 정적 배경은 균일한 진파랑으로 정밀한 metric 정렬을 확인시켜 주고, 새로 열린 자동차 트렁크, 옮겨진 의자, 이동한 가전 같은 진짜 물리적 변화는 명확한 공간 경계와 함께 빨갛게 또렷이 강조된다. 이 정성적 증거는 고정밀 정적 배경 registration이 정확한 3D change detection의 필요충분조건임을 확인해 준다.

4.4 Ablation Studies

Effect of the Coarse Stage. sparse joint inference 모듈을 제거하면(“W/o Stage 1”) scale prior 없이 독립 재구성된 dense point cloud를 직접 정합해야 한다. Table 1·2의 “VGGT Only” 행처럼 이 구성은 완전히 실패한다. joint inference가 확립하는 통일 metric 공간 없이는 두 시점 사이 \(\mathrm{Sim}(3)\) ambiguity를 풀 수 없어 ATE가 0.3~3.4m로 나빠진다. 항등 변환 위에 정화 메커니즘만 적용하는 “Fine Only” 구성도 확인했는데, ATE가 미정합 baseline과 비슷하게 남는다(Car 3.37m, Grill 0.73m). 올바른 scale 추정 없이는 두 point cloud 사이 최근접 이웃 대응이 무의미해 translation 정제만으로는 보상할 수 없다. joint inference 메커니즘이 metric-scale prior 확립에 필수임을 보여준다.

Effect of keyframe budget (\(K\)). coarse stage의 keyframe 수 \(K\) 와 정확도·메모리·시간의 trade-off를 Car에서 \(K \in \{2, 3, 5, 9, 20, 50, 84\}\) 로 실험했다(\(K = 84\) 는 전체 frame joint inference).

[Figure 5] keyframe budget \(K\) 에 따른 (a) ATE 포화, (b) GPU 메모리의 초선형 증가, (c) 계산 시간의 선형 증가

세 가지 뚜렷한 경향이 나타난다. (1) 정확도는 일찍 포화된다. ATE가 87.8mm(\(K=2\))에서 40.3mm(\(K=5\))로 급감한 뒤 정체되어, \(K=5\) 에서 전체 시퀀스(\(K=84\))까지의 추가 개선은 3.4mm(8%)로 VGGT 단일 pass reconstruction의 noise 수준 안이다. (2) 메모리는 초선형으로 증가한다. 최대 GPU 메모리가 9.2GB(\(K=5\))에서 34.8GB(\(K=84\))로 3.8배 늘어 대부분의 소비자 GPU 용량을 넘는다. (3) 시간은 \(K\) 에 선형이다. coarse stage가 \(K=5\) 에서 1.5초, \(K=84\) 에서 36.9초로 24.6배 느려지지만 정확도 이득은 미미하다. 기본값 \(K=5\) 는 전체 시퀀스 정확도의 97% 이상을 메모리·시간 비용의 4% 미만으로 얻는 유리한 동작점이다.

Effect of the Fine Stage. coarse 정렬은 유지한 채 Stage 2의 dense 정화·translation 정제 유무를 비교한다. Table 3은 대표 4개 scene과 \(K=2\) 부터 전체 시퀀스까지 모든 keyframe budget에서 두 구성의 ATE(mm)를 보고한다.

\(K\)	Car Coarse	Full	\(\Delta\)(%)	Mac Coarse	Full	\(\Delta\)(%)	Grill Coarse	Full	\(\Delta\)(%)	Living Room Coarse	Full	\(\Delta\)(%)
2	89.4	80.8	9.6	63.0	62.1	1.4	40.2	37.0	8.0	533.6	520.3	2.5
3	45.9	43.1	6.1	59.2	59.0	0.3	32.3	31.2	3.4	594.2	579.9	2.4
5	39.3	39.0	0.8	57.9	57.7	0.3	39.1	38.6	1.3	454.7	452.4	0.5
7	39.3	38.8	1.3	63.6	62.7	1.4	38.2	37.8	1.0	486.4	481.4	1.0
9	36.2	36.1	0.3	59.7	59.4	0.5	38.6	38.4	0.5	468.4	463.4	1.1
15	38.3	38.2	0.3	63.7	63.0	1.1	36.0	35.9	0.3	448.4	448.4	0.0
20	35.4	35.4	0.0	62.6	61.9	1.1	32.9	32.9	0.0	457.0	457.0	0.0
50	36.4	36.4	0.0	62.6	61.8	1.3	35.8	35.8	0.0	475.8	471.0	1.0
full	35.7	35.7	0.0	62.1	61.4	1.1	34.1	34.1	0.0	475.8	471.0	1.0

[Table 3] keyframe budget별 Fine Stage ablation의 ATE(mm). Coarse는 Stage 1만, Full은 Stage 1+2, \(\Delta\) 는 상대 개선율(%). 원문은 개선이 클수록 진한 파란 음영

두 가지 핵심 성질이 검증된다. (1) 단조성 보장. 개선율 \(\Delta\) 가 표의 모든 셀(36개 설정 전부)에서 음수가 아니다. Fine Stage가 Coarse 해를 개선하지 못하면 residual self-check(식 7)가 자동으로 원래 translation으로 되돌려 악화가 0이 된다. Coarse 정렬이 이미 거의 최적인 Car의 \(K \geq 20\) 에서 일관되게 나타난다. (2) 적응적 회복. Coarse 품질이 가장 약할 때 Fine Stage의 보정이 가장 크다. \(K=2\) 에서 Car 9.6%(89.4→80.8mm), Grill 8.0%(40.2→37.0mm)의 개선을 보인다. scale 인자가 1에 가깝고(\(s \approx 0.97\)) Coarse가 이미 잘 정렬된 Mac에서도 0.3~1.4%의 일관된(더 작은) 개선을 준다. \(K\) 가 커져 Coarse 정렬이 좋아지면 필요 없는 scene(큰 \(K\) 의 Car·Grill)에서는 자연스럽게 no-op으로 줄어들고, Mac에서는 전체 시퀀스에서도 계속 기여한다(\(\Delta = 1.1\%\)). 이 help-or-hold 동작은 분리 설계에서 나온다. \(s\) 와 \(\mathbf{R}\) 을 잠그고 정화된 정적 대응의 무게중심 정렬로 \(\mathbf{t}\) 만 정제하므로, Fine Stage는 5초 미만의 오버헤드로 단조 유계인 연산이 된다.

5. Conclusion

multi-view 이미지로부터의 3D change detection을 위한 training-free coarse-to-fine pipeline인 VGGT-CD를 제시했다. VGGT foundation model의 joint inference 능력을 활용해 Coarse Stage는 소수의 keyframe만으로 시간차 scale ambiguity를 해소하고, Fine Stage는 confidence 기반 정화와 분리된 translation 추정으로 정렬을 정제하며 residual self-check가 단조 개선을 보장한다. 11개 scene benchmark에서 모든 baseline 대비 일관된 향상(최대 59% ATE 감소, 6~255배 빠른 registration)을 보이며, 태스크 특화 학습 없이 깨끗하고 대비 높은 3D change map을 만든다.

Limitations and future work. 이 방법은 기반 VGGT 모델의 reconstruction 품질을 그대로 물려받는다. depth 범위가 극단적이거나 시점 overlap이 매우 희소한 scene에서는 절대 registration 오차가 잘 덮인 scene보다 여전히 높다. 시점 간 scale 변화가 작을 때(\(s \approx 1.0\))는 직접적인 scale-aware ICP가 때때로 비슷한 정확도를 내므로(Ninja), 적응형 registration 전략이 강건성을 더 높일 수 있다. 더 세밀한 변화 분류를 위한 semantic prior 통합과 두 시점 이상으로의 확장이 향후 연구 방향이다.