SLAM-Former: Putting SLAM into One Transformer

핵심 요약

SLAM-Former는 하나의 transformer를 streaming frontend와 global backend로 함께 쓰고, backend가 정제한 cache를 다음 frontend update에 다시 주입하는 dense SLAM 구조다.

문제모듈형 dense SLAM 해결one transformer 근거tracking / reconstruction

한 문장 요약

SLAM-Former는 하나의 transformer를 streaming frontend와 global backend로 함께 쓰고, backend가 정제한 cache를 다음 frontend update에 다시 주입한다.

Contribution 01

Unified Transformer

frontend tracking과 backend refinement를 하나의 shared backbone으로 처리.

Contribution 02

Cache Sharing

backend가 정제한 map representation을 frontend KV cache로 다시 전달.

Contribution 03

Training Modes

frontend, backend, cache-sharing 상황을 세 가지 mode로 함께 학습.

Contribution 04

Dense SLAM Evidence

tracking, reconstruction, cooperation ablation, runtime을 함께 검증.

핵심 인사이트

흥미로운 점은 global correction을 후처리로 떼어놓지 않고, shared cache를 통해 다음 streaming update의 일부로 만든다는 점이다.

처리 흐름

01RGB Streammonocular frames

02Frontendcausal KV update

03Map Tokenskeyframe memory

04Backendfull attention refinement

05Shared Cacheglobal context returns

06Outputspose / dense map

접근 방식 비교

Modular SLAM

분리된 모듈

해석성은 높지만 모듈 경계에서 오차가 누적될 수 있음.

3D Foundation Models

feed-forward geometry

reconstruction은 강하지만 긴 stream에서 과거 state를 다시 정제하기 어려움.

SLAM-Former

shared token memory

streaming frontend와 global backend가 같은 cache/map-token 표현 위에서 작동.

논문 상세 정리

이하에서는 배경지식, notation, 보조 유도까지 포함해 논문의 세부 내용을 살펴본다.

Problem: 왜 SLAM을 하나의 transformer로 묶는가

SLAM-Former의 출발점은 dense monocular SLAM이 여전히 여러 모듈의 조합으로 동작한다는 점이다. tracking, global optimization, mapping을 따로 설계하면 각 모듈은 강해질 수 있지만, 앞단의 pose drift나 map inconsistency가 뒤쪽 모듈로 전달되면서 전체 system의 일관성이 흔들릴 수 있다.

Figure 1. SLAM-Former overview. — Figure 1. SLAM-Former is a unified Transformer for SLAM.논문은 frontend와 backend를 별도 network로 분리하지 않고, 하나의 transformer가 incremental update와 global refinement를 모두 수행하는 구성을 강조한다.

Problem Flow

논문은 SLAM을 여러 module의 순차 조립이 아니라 token memory를 갱신하는 sequential inference 문제로 다시 잡는다.

01Modular pipeline

frontend와 backend 사이의 interface가 고정되어 error correction이 제한됨.

02Streaming 3D model

한 번 예측한 과거 state를 긴 sequence에서 다시 정제하기 어려움.

03SLAM-Former

frontend state와 global backend state를 같은 cache 표현으로 순환.

Related work 세부 흐름 보기

논문이 비교하는 흐름

Related Work는 modular dense SLAM, feed-forward 3D foundation model, streaming reconstruction 사이에서 SLAM-Former가 어디에 놓이는지를 설명한다.

ADense RGB SLAM

DROID-SLAM처럼 optical flow와 bundle adjustment를 결합하거나, NeRF/3DGS rendering objective를 쓰는 방식이 발전.

BFeed-forward 3D

DUSt3R, Fast3R, VGGT, Pi3는 image set에서 geometry를 바로 예측하지만 streaming state update는 별도 설계 필요.

CStreaming variants

Spann3R, CUT3R, LONG3R, StreamVGGT, Stream3R는 sequential 처리 능력을 키웠지만 global revisit은 제한적.

DGlobal refinement

전통 SLAM의 global optimization 역할을 backend transformer의 map-token full attention으로 대체.

Mechanism: frontend와 backend는 어떻게 같은 transformer를 공유하나

핵심은 하나의 transformer backbone을 두 가지 mode로 사용하는 것이다. frontend는 새 frame을 순차적으로 처리하며 cache를 쌓고, backend는 누적된 map token 전체를 full attention으로 다시 보면서 global consistency를 복구한다.

Figure 2. SLAM-Former pipeline. — Figure 2. The working pipeline of SLAM-Former.frontend가 keyframe별 feature/cache를 만들고, backend가 map token을 정제한 뒤 cache를 다시 frontend에 전달하는 흐름이 전체 pipeline의 중심이다.

Mechanism Brief

구조는 frontend conditional update → map token memory → backend refinement → cache sharing으로 읽는 것이 가장 자연스럽다.

단계	역할	핵심 표현
Frontend	현재 frame을 keyframe cache 조건으로 처리	$f_{\mathrm{fn}}$
Memory	keyframe feature를 map token set에 누적	$\mathcal{M},\mathcal{S}$
Backend	map token 전체를 full attention으로 정제	$f_{\mathrm{bn}}$
Sharing	정제된 cache를 다음 frontend update에 주입	$C_{\mathcal{M}}$

Frontend incremental update

현재 frame $I_t$는 keyframe cache $\{C_k\}_{k\in\mathcal{S}}$를 조건으로 처리된다. 결과로 현재 frame feature $F_t$와 cache $C_t$가 생성되고, pose head가 camera pose를 예측한다.

$$f_{\mathrm{fn}}\!\left(I_t \mid \{C_k\}_{k\in\mathcal{S}}\right)=F_t, C_t$$

Frontend conditional update.이전 keyframe cache를 memory처럼 사용해 현재 frame의 feature와 cache를 계산한다.

$$g_t=h_{\mathrm{pose}}(F_t)$$

Pose prediction.pose head는 현재 frame feature에서 camera pose를 직접 예측한다.

Backend global refinement

새 keyframe은 map token set $\mathcal{M}$과 keyframe index set $\mathcal{S}$에 추가된다. backend는 누적된 map token을 한꺼번에 attention하여 refined map token을 만들고, 이 결과가 다시 frontend cache로 들어간다.

$$\mathcal{M}\leftarrow\mathcal{M}\cup\{F_t\},\quad \mathcal{S}\leftarrow\mathcal{S}\cup\{t\},\quad S\leftarrow S+1$$

Keyframe memory update.map token과 keyframe index를 함께 늘려 backend가 볼 global memory를 구성한다.

$$\overline{\mathcal{M}}=f_{\mathrm{bn}}(\mathcal{M}),\qquad \{C_k\}_{k\in\mathcal{S}}\leftarrow C_{\mathcal{M}}$$

Backend refinement and cache sharing.backend가 정제한 map representation을 frontend cache로 되돌려 다음 frame의 local update가 global context를 반영하도록 만든다.

Training modes

논문은 inference에서 frontend와 backend가 번갈아 작동한다는 점을 반영해 세 가지 training mode를 둔다. frontend-only, backend refinement, cache sharing 상황을 모두 학습하도록 만들어 mode 전환으로 생기는 mismatch를 줄인다.

Loss / training detail 보기

Loss 구성

논문은 depth, point map, camera pose term을 함께 사용하고, 세 training mode의 loss를 합쳐 frontend-backend cooperation을 학습시킨다.

항목	역할	읽을 때 볼 점
$\mathcal{L}_{\mathrm{depth}}$	depth gradient와 scale-normalized depth를 맞춤	dense surface의 local shape 안정화
$\mathcal{L}_{\mathrm{pmap}}$	local point map을 metric geometry에 맞춤	reconstruction 품질과 연결
$\mathcal{L}_{\mathrm{cam}}$	relative camera pose를 비교	trajectory consistency와 연결

$$P^*,\Sigma^*,g^*=h(F)$$

Prediction heads.local point map $P^*$, confidence $\Sigma^*$, camera pose $g^*$를 같은 feature에서 예측한다.

$$\mathcal{L}=\mathcal{L}_{\mathrm{depth}}+\mathcal{L}_{\mathrm{pmap}}+\lambda\mathcal{L}_{\mathrm{cam}}$$

Joint SLAM loss.depth, point map, camera pose를 하나의 objective 안에서 함께 학습한다.

$$\mathcal{L}_{\mathrm{total}}=\mathcal{L}_1+\beta(\mathcal{L}_2+\mathcal{L}_3)$$

Mode-combined training loss.논문은 $\beta=10$으로 backend 관련 mode의 영향을 키운다.

Evidence: 어떤 결과로 검증했나

평가는 tracking accuracy, reconstruction quality, frontend-backend cooperation, runtime으로 나누어 읽는 것이 자연스럽다. 특히 Table 6은 backend가 들어갔을 때 ATE가 크게 줄어드는지를 직접 보여주기 때문에, 이 논문의 핵심 주장과 가장 맞닿아 있다.

Tracking accuracy

TUM RGB-D, 7-Scenes, Replica에서 RMSE of ATE를 비교한다. SLAM-Former는 calibration 없이도 feed-forward reconstruction 계열과 dense SLAM baseline 대비 낮은 ATE를 보이는 방향으로 정리된다.

Table 1. TUM RGB-D ATE. — Table 1. RMSE of ATE on TUM RGB-D.uncalibrated setting에서 평균 $0.039$m로 비교 방법들보다 낮은 ATE를 기록한다.

Table 2. 7-Scenes ATE. — Table 2. RMSE of ATE on 7-Scenes.office, pumpkin, kitchen 등 실내 sequence에서 평균 $0.042$m 수준의 tracking 결과를 보인다.

Table 3. Replica ATE. — Table 3. RMSE of ATE on Replica.Replica에서는 uncalibrated baseline 중 평균 $0.030$m로 강한 결과를 보인다.

Reconstruction quality

tracking이 좋아도 dense map이 중복되거나 찢어지면 SLAM으로서의 활용성이 떨어진다. 논문은 qualitative reconstruction과 Acc./Comp./Chamfer 계열 metric을 함께 제시해 geometry consistency를 확인한다.

Figure 4. Qualitative reconstruction comparison.red box 영역에서 StreamVGGT와 VGGT-SLAM이 보이는 duplicated structure나 mismatch가 줄어드는지를 비교할 수 있다.

Table 4. Replica reconstruction. — Table 4. Reconstruction results on Replica.Replica에서 평균 Acc./Comp. $2.09/1.56$로 SLAM3R, DUSt3R, VGGT-SLAM보다 낮은 error를 보인다.

Table 5. 7-Scenes reconstruction. — Table 5. Reconstruction evaluation on 7-Scenes.7-Scenes에서는 ATE, Acc., Completeness, Chamfer를 함께 제시해 trajectory와 geometry를 동시에 비교한다.

Frontend-backend cooperation

Ablation의 핵심은 frontend만 사용하는 경우와 backend를 추가하는 경우의 차이다. Table 6에서 frontend-only 평균 ATE는 $0.134$m이고, middle backend 또는 end backend를 추가하면 약 $0.039\sim0.042$m로 감소한다.

Figure 5. Backend assistance ablation. — Figure 5. Qualitative reconstruction comparison with and without backend assistance.backend assistance가 있을 때 global reconstruction이 더 정돈되는지를 시각적으로 확인하는 ablation이다.

Table 6. Module cooperation. — Table 6. Evaluation of module cooperation with RMSE of ATE on TUM RGB-D.$F$는 frontend, $MB$는 middle backend, $EB$는 end backend를 의미한다.

Figure 6. ICL-NUIM qualitative comparison. — Figure 6. Qualitative reconstruction comparison on ICL-NUIM ofkt1.논문은 frontend가 제공하는 implicit order가 backend의 global reconstruction을 더 안정화한다고 해석한다.

Runtime

backend full attention은 모든 frame마다 수행하지 않고 keyframe 단위로 간헐적으로 실행된다. 그래서 논문은 TUM RGB-D, 7-Scenes, Replica에서 10Hz 이상 수준의 속도를 보고한다.

Table 7. Time cost. — Table 7. Time cost on Datasets.keyframe detection, frontend, backend time을 분리해 system throughput이 약 10.8-11.3Hz 수준임을 보여준다.

Usage / Limits: 어떤 문제에 잘 맞나

When to Use / Avoid

SLAM-Former는 monocular image stream에서 tracking과 dense reconstruction을 동시에 얻고 싶고, global correction을 다음 frame 처리에 반영하고 싶은 상황에 잘 맞는다.

잘 맞는 상황	주의할 상황	이유
monocular dense SLAM	매우 긴 sequence	backend full attention의 $O(n^2)$ cost 부담
feed-forward 3D prior를 SLAM으로 확장	이전 KV cache 유지가 어려운 환경	local frontend mode 없이 cache 의존
global backend correction이 필요한 mapping	embedded / strict real-time	memory와 compute budget이 작을수록 제약

정리 노트

이 논문은 transformer가 SLAM의 모든 기하 추론을 자동으로 해결한다기보다, frontend의 streaming update와 backend의 global correction을 하나의 representation으로 연결하는 방법을 제안한 쪽에 가깝다.

Problem: why put SLAM into one transformer

SLAM-Former starts from the observation that dense monocular SLAM is still often built as a chain of separate modules. Tracking, global optimization, and mapping can each be strong, but errors can propagate through module boundaries.

Problem Flow

The paper reframes SLAM as a sequential inference problem over token memory.

01Modular pipeline

Correction is limited by fixed interfaces between modules.

02Streaming 3D model

Old states are not naturally revisited in long sequences.

03SLAM-Former

Frontend and backend states circulate through shared cache representations.

Mechanism: how frontend and backend share one transformer

The key design is to run one transformer backbone in two modes. The frontend processes frames sequentially, while the backend periodically refines accumulated map tokens with full attention.

Frontend incremental update

The current frame $I_t$ is processed conditioned on keyframe cache $\{C_k\}_{k\in\mathcal{S}}$, producing feature $F_t$ and cache $C_t$.

$$f_{\mathrm{fn}}\!\left(I_t \mid \{C_k\}_{k\in\mathcal{S}}\right)=F_t, C_t$$

Frontend conditional update.Previous keyframe cache is used as memory for the current frame.

$$g_t=h_{\mathrm{pose}}(F_t)$$

Pose prediction.The pose head predicts the current camera pose from frame features.

Backend global refinement

New keyframes are inserted into map-token memory. The backend applies full attention over this memory and writes the refined representation back into the frontend cache.

$$\mathcal{M}\leftarrow\mathcal{M}\cup\{F_t\},\quad \mathcal{S}\leftarrow\mathcal{S}\cup\{t\},\quad S\leftarrow S+1$$

Keyframe memory update.The map token set and keyframe index set grow together.

$$\overline{\mathcal{M}}=f_{\mathrm{bn}}(\mathcal{M}),\qquad \{C_k\}_{k\in\mathcal{S}}\leftarrow C_{\mathcal{M}}$$

Backend refinement and cache sharing.Refined map representations become the cache used by later frontend updates.

Training modes

Prediction heads and joint training

The shared feature representation feeds local point-map, confidence, and camera-pose heads. Training then combines the geometric objectives with the three operating modes so that frontend prediction, cache sharing, and backend refinement are learned together.

$$P^*,\Sigma^*,g^*=h(F)$$

Prediction heads.The same feature predicts the local point map $P^*$, confidence $\Sigma^*$, and camera pose $g^*$.

$$\mathcal{L}=\mathcal{L}_{\mathrm{depth}}+\mathcal{L}_{\mathrm{pmap}}+\lambda\mathcal{L}_{\mathrm{cam}}$$

Joint SLAM loss.Depth, point-map, and camera-pose objectives are optimized in one loss.

$$\mathcal{L}_{\mathrm{total}}=\mathcal{L}_1+\beta(\mathcal{L}_2+\mathcal{L}_3)$$

Mode-combined training loss.The paper uses $\beta=10$ to strengthen the two backend-related training modes.

Evidence: how it is evaluated

The experiments are easiest to read through four lenses: tracking accuracy, reconstruction quality, frontend-backend cooperation, and runtime.

Tracking accuracy

Reconstruction quality

Frontend-backend cooperation

Runtime

Usage / Limits: where it fits

When to Use / Avoid

SLAM-Former fits monocular dense SLAM settings where global correction should feed back into future streaming updates.

Use when	Be careful with	Reason
Monocular dense SLAM	Very long sequences	Backend full attention has $O(n^2)$ cost
Extending feed-forward 3D priors into SLAM	Unreliable KV-cache persistence	The frontend depends on previous cache states
Mapping with periodic global correction	Embedded or strict real-time settings	Memory and compute can become limiting

Note

The paper is less about making a transformer magically solve all geometry, and more about connecting streaming updates and global correction through one shared representation.

Wooseok Song

SLAM-Former: Putting SLAM into One Transformer

핵심 요약

Unified Transformer

Cache Sharing

Training Modes

Dense SLAM Evidence

분리된 모듈

feed-forward geometry

shared token memory

논문 상세 정리

Problem: 왜 SLAM을 하나의 transformer로 묶는가

Related work 세부 흐름 보기

Mechanism: frontend와 backend는 어떻게 같은 transformer를 공유하나

Loss / training detail 보기

Evidence: 어떤 결과로 검증했나

Usage / Limits: 어떤 문제에 잘 맞나

Problem: why put SLAM into one transformer

Mechanism: how frontend and backend share one transformer

Evidence: how it is evaluated

Usage / Limits: where it fits

Comments

단계	역할	핵심 표현
Frontend	현재 frame을 keyframe cache 조건으로 처리	\(f_{\mathrm{fn}}\)
Memory	keyframe feature를 map token set에 누적	\(\mathcal{M},\mathcal{S}\)
Backend	map token 전체를 full attention으로 정제	\(f_{\mathrm{bn}}\)
Sharing	정제된 cache를 다음 frontend update에 주입	\(C_{\mathcal{M}}\)

항목	역할	읽을 때 볼 점
\(\mathcal{L}_{\mathrm{depth}}\)	depth gradient와 scale-normalized depth를 맞춤	dense surface의 local shape 안정화
\(\mathcal{L}_{\mathrm{pmap}}\)	local point map을 metric geometry에 맞춤	reconstruction 품질과 연결
\(\mathcal{L}_{\mathrm{cam}}\)	relative camera pose를 비교	trajectory consistency와 연결

잘 맞는 상황	주의할 상황	이유
monocular dense SLAM	매우 긴 sequence	backend full attention의 \(O(n^2)\) cost 부담
feed-forward 3D prior를 SLAM으로 확장	이전 KV cache 유지가 어려운 환경	local frontend mode 없이 cache 의존
global backend correction이 필요한 mapping	embedded / strict real-time	memory와 compute budget이 작을수록 제약

Use when	Be careful with	Reason
Monocular dense SLAM	Very long sequences	Backend full attention has \(O(n^2)\) cost
Extending feed-forward 3D priors into SLAM	Unreliable KV-cache persistence	The frontend depends on previous cache states
Mapping with periodic global correction	Embedded or strict real-time settings	Memory and compute can become limiting