Dynamic Visual SLAM using a General 3D Prior

Paper Summary

arXiv preprint

Xingguang Zhong et al.

University of Bonn; TU Delft; Lamarr Institute

arXiv v1: 7 Dec 2025

Topics

#Dynamic SLAM#3D Prior#Feed-forward#Bundle Adjustment

핵심 요약

이 논문은 patch-based monocular SLAM의 online 최적화와 feed-forward reconstruction model의 dense depth / moving-object prior를 결합해, 동적 장면에서 pose와 scale-consistent depth를 함께 안정화하는 시스템을 제안한다.

문제dynamic scene에서 SLAM correspondence 붕괴

해결3D prior + patch BA 결합

근거MOS, tracking, depth, ablation

한 문장 요약

핵심은 π³_mos가 제공하는 moving mask와 depth prior를 DPV-SLAM식 sliding-window BA에 넣되, scale alignment와 uncertainty-aware weighting으로 feed-forward model의 batch scale ambiguity를 보정하는 것이다.

Contribution 01

π³_mos

feed-forward reconstruction model에 MOS head를 추가해 moving object mask, depth, confidence, camera pose를 함께 예측.

Contribution 02

Hybrid SLAM

dense prior를 그대로 믿지 않고 patch-based BA의 geometric constraint와 결합.

Contribution 03

Scale Alignment

batch-wise feed-forward inference에서 생기는 scale ambiguity를 historical keyframe patch depth로 정렬.

Contribution 04

Uncertainty-aware BA

depth prior가 필요한 frame에서는 강하게, BA만으로 충분한 frame에서는 약하게 작동하도록 weight 조절.

핵심 인사이트

이 논문은 dynamic SLAM을 masking 문제로만 보지 않는다. feed-forward model이 잘하는 dense prior와 SLAM이 잘하는 incremental optimization을 서로 보정하게 만드는 구조가 핵심이다.

처리 흐름

01RGB Sequencedynamic natural scenes

02π³_mosMOS + depth + confidence

03Static Patchessample from non-moving regions

04Scale Alignmentmatch prior depth to BA patches

05Uncertainty-aware BApose + patch depth update

06Pose / Dense Depthcleaner map in dynamics

접근 방식 비교

Patch SLAM

온라인 최적화가 강함

sliding-window BA와 patch tracking으로 pose를 안정적으로 갱신하지만, 동적 객체와 monocular scale/depth uncertainty에 취약.

Feed-forward Prior

dense geometry prior가 강함

multi-view 학습 prior로 depth와 mask를 잘 예측하지만, batch-wise 사용 시 scale consistency와 online drift가 문제.

This Paper

상호 보정 구조

mask/depth prior가 BA를 돕고, BA의 patch scale이 feed-forward depth를 다시 맞춤.

논문 상세 정리

이하에서는 배경지식, notation, 보조 유도까지 포함해 논문의 세부 내용을 살펴본다.

Problem: dynamic SLAM에 왜 general 3D prior가 필요한가

초록의 핵심은 동적 장면에서 camera pose와 3D reconstruction이 흔들리는 이유를 moving object와 monocular depth/scale uncertainty로 보고, 이를 patch-based BA와 feed-forward reconstruction prior의 결합으로 해결하겠다는 것이다.

Abstract 핵심 주장

두 계열의 장점을 단순히 나란히 붙이는 것이 아니라, BA와 learned prior가 서로 보완하도록 설계한다.

문제	사용한 prior	SLAM에서의 역할
Moving object	π3mos의 motion probability	static patch만 골라 잘못된 correspondence 축소
Monocular scale	dense depth prediction	historical patch depth와 scale 정렬
Depth uncertainty	patch depth covariance	depth prior loss weight를 frame별로 조절

Context: dynamic object와 monocular ambiguity가 왜 어려운가

Introduction은 기존 VO/SLAM이 정적 환경 가정에 묶여 있고, moving object가 data association과 map quality를 무너뜨린다는 문제에서 출발한다. 반대로 feed-forward reconstruction model은 dense geometry prior가 강하지만, online long sequence에서는 memory, latency, drift, scale consistency 문제가 남는다.

Fig. 1. 입력 이미지 시퀀스에서 moving mask, scale-consistent depth, camera pose를 함께 추정하는 전체 그림.논문의 핵심은 “3D prior를 SLAM 전체로 대체”하는 것이 아니라, dynamic mask와 depth prior를 online SLAM에 주입하는 것이다.

문제 제기 구조

논문은 “SLAM은 online이 강하고, feed-forward model은 prior가 강하다”는 대비를 만든 뒤 둘을 결합한다.

축	한계	논문의 연결 방식
Classical SLAM	static assumption, sparse reconstruction, monocular depth ambiguity	BA backbone으로 online consistency 유지
Feed-forward model	batch inference, scale ambiguity, long sequence drift	moving mask와 depth prior만 SLAM에 주입
Hybrid result	각각 혼자서는 dynamic long sequence가 어려움	mask, scale, uncertainty를 BA 안에서 조절

Gap: SLAM과 feed-forward 3D prior 사이에 무엇이 비어 있나

Related Work는 두 흐름을 대비한다. 하나는 moving object를 explicit하게 제거하려는 dynamic SLAM 계열이고, 다른 하나는 dense geometry를 바로 예측하는 feed-forward reconstruction 계열이다.

Related Work 흐름

문헌 흐름

세부 문헌명보다 각 계열이 왜 이 논문의 필요성을 만드는지 보는 것이 중요하다.

ADetector / segmentation SLAM

DynaSLAM처럼 known dynamic class나 segmentation network에 의존.

BTrack-based dynamics

multi-frame point trajectory로 static/dynamic을 구분하지만 offline mask나 긴 관측에 의존.

CFeed-forward reconstruction

VGGT, π³처럼 dense structure와 pose를 빠르게 예측하지만 online 적용에 제약.

DIncremental models

CUT3R류는 memory를 쓰지만 long sequence drift가 남음.

3D prior가 필요한 이유

논문의 문제의식은 dynamic mask와 feed-forward prior가 각각 강하지만, 단독으로는 online SLAM의 안정성을 보장하기 어렵다는 데 있다.

흐름	강점	남는 빈틈
Mask / detector SLAM	움직일 가능성이 큰 영역을 명확히 제거	unknown dynamic, segmentation failure, static-but-movable object에 취약
Trajectory dynamics	multi-frame consistency로 실제 움직임을 판단	긴 window나 offline processing이 필요한 경우가 많음
Feed-forward 3D prior	depth, pose, dense geometry를 빠르게 제공	scale, temporal consistency, backend integration이 별도 필요
이 논문	prior를 SLAM 내부의 초기값/weight/constraint로 사용	학습된 3D prior를 optimization 흐름으로 흡수

Mechanism: 3D prior를 SLAM objective에 어떻게 넣나

Approach는 DPV-SLAM을 기반으로 하되, π³_mos가 예측한 motion probability, dense depth, confidence를 sliding-window BA에 넣는 방식으로 구성된다. 목적은 pose T_i ∈ SE(3)와 scale-consistent depth map D_i를 online으로 추정하는 것이다.

Fig. 2. DINOv2 feature, alternating frame/global self-attention, pose/depth-confidence/motion decoders로 구성된 π³mos 구조.pose, depth/confidence, motion probability를 예측해 SLAM frontend에 필요한 prior를 만든다.

Fig. 3. 현재 frame과 historical keyframe을 함께 처리하고 static patch, scale alignment, uncertainty-aware BA로 이어지는 흐름.historical keyframe을 섞어 scale-consistent depth prior를 만들고, static region에서 patch를 샘플링해 moving-object correspondence 유입을 줄이는 흐름을 확인한다.

System Thread Summary

각 모듈은 독립적인 성능 향상 장치가 아니라, 다음 단계의 실패 모드를 줄이기 위해 배치된다.

구성	담당	왜 필요한가
DPV-SLAM	patch tracking + sliding-window BA	online pose/depth consistency 유지
π³mos	motion probability, dense depth, confidence 예측	동적 영역 제거와 depth prior 제공
Static patch sampling	Mi < sd 영역에서 patch 선택	moving object correspondence가 BA에 들어가는 것을 방지
Scale alignment	historical keyframe patch와 predicted depth scale 정렬	batch-wise prior의 scale ambiguity 보정
Uncertainty-aware BA	depth prior loss의 frame weight 조절	prior가 도움 될 때만 강하게 사용

Mechanism: 핵심 objective와 update는 무엇인가

수식은 DPV-SLAM의 reprojection BA, π³_mos prediction, scale alignment, uncertainty-aware depth prior로 나눠 읽으면 된다. 핵심 block 수식은 아래처럼 역할 중심으로 먼저 정리하고, 누락되기 쉬운 보조 수식은 이어지는 보조 수식 정리에서 번호별 역할을 확인할 수 있게 했다.

기호	의미
\(\mathbf{G},\mathbf{d}\)	camera pose와 patch inverse depth state
\(s_f\)	feed-forward depth를 BA scale에 맞추는 frame별 scale factor
\(w_f\)	relative depth uncertainty로 정하는 frame별 depth-prior weight

$$\mathcal{L}_\text{BA}=\sum_{(i,j\in\mathcal{E})}\sum_{k=1}^K \bigg\| P_k^{ij}-\pi(\bold{T}_j\bold{T}_i^{-1}\pi^{-1}(P_k^i,d_k^i)) \bigg\|^2, \tag{1}$$

(1)

Eq. (1). Patch correspondence 기반 BA 목적함수.flow prediction과 confidence weight로 정의한 reprojection residual을 pose와 inverse depth에 대해 최소화한다.

$$s^*=\arg\min_s\sum_{i=1}^{N-1}\sum_{k=1}^{K}c_k^i\cdot\rho(d_k^i-s\cdot\hat{d}_k^i), \tag{6}$$

(6)

Eq. (6). Historical keyframe patch depth 기반 scale alignment.feed-forward depth와 기존 BA patch depth 사이의 frame별 scale factor를 추정한다.

$$\begin{align} \mathcal{L}&=\mathcal{L}_\text{BA}+\bold{w}\mathcal{L}_p \tag{8} \\ &=\mathcal{L}_\text{BA}+\sum_{f=1}^Fw_f\sum_{k=1}^K\bigg\| d_k-s_f\hat{d}_k^f \bigg\|^2, \tag{9} \end{align}$$

$$w_f=1/(1+\exp(-\alpha(\sigma^\text{rel}_{z,\text{med}}-\beta))), \tag{14}$$

(8), (14)

Eq. (8), (14). Depth-prior loss와 frame-wise uncertainty weight.정렬된 depth prior를 BA에 더하고, 상대 depth uncertainty가 큰 frame일수록 prior weight를 높인다.

Mechanism: notation과 보조 수식은 어떻게 연결되나

Schur complement, prior output, depth uncertainty를 이루는 보조 수식을 번호 순서와 역할에 맞춰 이어서 본다.

기호	의미
\(\mathbf{B},\mathbf{E},\mathbf{C}\)	pose, coupling, inverse-depth Hessian block
\(\Sigma_T,\Sigma_{\mathbf d}\)	pose covariance와 inverse-depth marginal covariance
\(\sigma^{\mathrm{rel}}_z\)	scene scale에 무관한 relative depth uncertainty

$$\begin{bmatrix} B & E \\ E^T & C \end{bmatrix} \begin{bmatrix} \Delta\xi \\ \Delta \bold{d} \end{bmatrix} = \begin{bmatrix} \bold{v} \\ \bold{w} \end{bmatrix} \tag{2}$$

(2)

Eq. (2). Patch-based BA 선형화의 normal equation.pose block과 inverse-depth block으로 나눈 Hessian system이 뒤의 Schur complement update를 만든다.

$$\begin{aligned}\Delta\xi &= [\mathbf{B}-\mathbf{E}\mathbf{C}^{-1}\mathbf{E}^{T}]^{-1}(\mathbf{v}-\mathbf{E}\mathbf{C}^{-1}\mathbf{w}),\\\Delta\mathbf{d} &= \mathbf{C}^{-1}(\mathbf{w}-\mathbf{E}^{T}\Delta\xi).\end{aligned}$$(3)-(4)

Eq. (3)-(4). Schur complement pose-depth update.pose 증가량을 먼저 풀고 그 결과로 inverse-depth 증가량을 갱신하는 BA 선형 시스템의 업데이트 식이다.

$$\pi_{\mathrm{mos}}^3(\mathcal{I})=(\mathbf{T}_i,\mathbf{D}_i,\mathbf{C}_i,\mathbf{M}_i)_{i=1}^N, \tag{5}$$

(5)

Eq. (5). π³mos prior output tuple.입력 이미지 묶음에서 frame별 pose, dense depth, confidence, motion probability를 함께 예측해 SLAM prior로 넘긴다.

$$\mathcal{L}_{\mathrm{p}}=\sum_{f=1}^F\sum_{k=1}^K\bigg\| d_k^f-s_f\hat{d}_k^f \bigg\|^2, \tag{7}$$

(7)

Eq. (7). Scale-aligned depth-prior loss.feed-forward depth를 frame별 scale factor로 맞춘 뒤 BA patch depth와의 차이를 줄이는 prior 항이다.

$$\Sigma_{\mathbf{d}}=\mathbf{C}^{-1}+\mathbf{C}^{-1}\mathbf{E}^T\Sigma_T\mathbf{E}\mathbf{C}^{-1}, \tag{10}$$

$$\Sigma_T=(\mathbf{B}-\mathbf{E}\mathbf{C}^{-1}\mathbf{E}^T)^{-1}\tag{11}$$

(10)-(11)

Eq. (10)-(11). Pose-depth covariance estimate.Schur complement Hessian에서 pose covariance와 inverse-depth marginal covariance를 구해 depth prior 신뢰도를 판단한다.

σ²_dj = [diag(Σ_d)]_jσ^rel_zj = σ_zjz_j = σ_djd_j

(12)(13)

(12)-(13)

Eq. (12)-(13). Relative depth uncertainty.inverse-depth variance를 depth의 상대 uncertainty로 바꿔 scene scale이 달라도 비교 가능한 신뢰도 지표를 만든다.

$$w_f=1/(1+\exp(-\alpha(\sigma^{\mathrm{rel}}_{z,\mathrm{med}}-\beta))), \tag{14}$$

(14)

Eq. (14). Frame-wise depth-prior weight.frame의 median relative depth uncertainty를 sigmoid weight로 바꿔 depth prior를 얼마나 강하게 쓸지 조절한다.

Evidence: 어떤 dynamic scene에서 검증했나

실험은 moving object segmentation, camera tracking, video depth estimation, ablation으로 나뉜다. 논문의 메시지는 π³_mos의 mask가 동적 영역을 잘 제거하고, scale-aligned depth prior와 uncertainty-aware BA가 tracking/depth를 동시에 개선한다는 것이다.

Evaluation Brief

각 table은 서로 다른 claim을 검증한다. Table 3은 mask 품질, Table 1/2/4는 tracking, Table 5는 depth, Table 6은 component contribution이다.

MOS: DAVIS-16/17

π³_mos가 JM/JR 모두 baseline보다 높은 성능.

Tracking: Bonn / Wild-SLAM

RGB-D와 monocular baseline 대비 dynamic indoor tracking 개선.

Tracking: Sintel

large depth variation, fast motion, blur에서 WildGS-SLAM보다 강함.

Depth: Bonn / Sintel

online 방법 중 Abs Rel이 낮고 offline π³에 근접.

Ablation

Moving mask가 가장 큰 축이고, depth prior + uncertainty-aware BA가 추가 개선.

Runtime limit

multi-frame inference 때문에 RTX5000에서 약 2 fps.

Table 1. Bonn RGB-D Dynamic 카메라 tracking 결과.dynamic indoor RGB-D 장면에서 moving mask와 depth prior가 tracking error를 얼마나 줄이는지 보는 핵심 tracking 표다.

Table 2. Wild-SLAM MoCap 카메라 tracking 결과.motion-capture 기준 outdoor/real-world 장면에서 dynamic robustness가 유지되는지 확인하는 보조 tracking evidence다.

Table 3. DAVIS-16/17 moving object segmentation 결과.MOS 성능은 뒤의 SLAM 성능을 받치는 전제다. DAVIS-16/17에서 baseline 대비 mask 품질과 robustness를 비교한다.

Fig. 4. Easi3R 대비 moving object mask 정성 비교.motion blur, thin structure, 복잡한 dynamic object에서 π³mos mask가 어디까지 안정적으로 잡히는지 보는 정성 사례다.

Table 4. Sintel 카메라 tracking 결과.large depth variation, fast motion, blur가 있는 synthetic dynamic scene에서 tracking robustness를 확인한다.

Fig. 5. Sintel과 Wild-SLAM MoCap에서의 정성 reconstruction 결과.pose와 depth가 함께 좋아질 때 point-cloud reconstruction이 어떻게 정돈되는지 보여주는 qualitative evidence다.

Table 5. Video depth estimation 결과.tracking만이 아니라 online video depth 품질도 함께 확인해, depth prior와 BA의 상호 보완 효과를 검증한다.

Table 6. moving mask, depth prior, uncertainty-aware BA ablation 결과.moving mask, depth prior, uncertainty-aware BA가 각각 어느 정도 기여하는지 분리해 보는 component ablation이다.

Usage / Limits: prior-based dynamic SLAM은 언제 유용한가

결론적으로 이 논문은 dynamic monocular visual SLAM에서 feed-forward 3D prior를 후처리로 쓰는 것이 아니라, moving mask, depth prediction, uncertainty-aware depth prior를 patch-based SLAM optimization 안으로 끌어오는 방법을 제안한다. π³_mos는 motion probability와 depth를 함께 제공하고, scale alignment와 adaptive weighting을 거쳐 online SLAM의 pose/depth estimation을 안정화한다. 다만 multi-frame prior 추론으로 약 2 fps에 머물고, mask/depth prior의 품질과 batch 간 scale alignment에 성능이 좌우된다.