[논문 리뷰] Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments

핵심 요약

Khronos는 동적 환경에서 로봇 포즈, 객체, 배경, 시간에 따른 변화를 하나의 spatio-temporal metric-semantic SLAM 문제로 묶어 dense 4D map을 실시간으로 구성하는 시스템이다.

문제dynamic scene의 시간적 map belief

해결fragment factorization + reconciliation

근거4D metric, simulation, real robots

한 문장 요약

핵심은 움직이는 객체를 단순히 제거하는 것이 아니라, 관측을 time-local fragment로 나눈 뒤 factor graph와 reconciliation으로 다시 연결해 어느 시점에 무엇이 있었는지를 추론하는 데 있다.

Contribution 01

SMS Problem

dense metric-semantic map이 시간에 따라 어떻게 변하는지까지 추정하는 Spatio-temporal Metric-semantic SLAM 문제를 정식화.

Contribution 02

Local Consistency

짧은 시간창에서는 pose drift와 scene change가 작다는 가정을 이용해 관측을 object fragment로 묶고 전체 문제를 factorization.

Contribution 03

Khronos System

active window, global optimization, reconciliation의 세 단계로 short-term dynamics와 long-term changes를 함께 처리.

Contribution 04

Robotic Evaluation

시뮬레이션과 실제 Jackal/Spot 실험에서 baseline보다 나은 4D reconstruction, object/change reasoning, runtime을 제시.

내가 얻은 인사이트

이 논문에서 가장 중요한 관점은 dynamic SLAM을 단순히 포즈 추정을 방해하는 outlier 처리 문제가 아니라, 장면의 시간적 상태를 계속 업데이트하는 map inference 문제로 확장했다는 점이다.

처리 흐름

01SensingRGB-D / odometry / semantics

02Active Windowlocal estimation

03Fragmentsobject observations

04Global Optimizationposes + deformation graph

05Reconciliationfragment association

064D Mapbelief over time

시간 축에서 나뉘는 대상

Short-term

움직이는 객체

현재 로봇 주변에서 움직이는 사람이나 물체를 active temporal window 안에서 fragment로 추적.

Long-term

나중에 바뀐 장면

이전에는 있었지만 사라졌거나, 나중에 등장한 객체를 global optimization과 reconciliation에서 추론.

Persistent

정적 배경

배경 mesh와 object fragment를 분리해 배경은 조밀하게 유지하고 객체 변화는 시간 축으로 따로 관리.

논문 상세 정리

아래부터는 기존 논문 내용을 최대한 담은 상세 해석이다. 핵심 흐름에서 벗어나는 배경지식, notation, 부가 자료는 접어두었다.

Problem: long-term scene change를 왜 시간 축으로 봐야 하나

Khronos의 초록은 dynamic SLAM의 초점을 pose estimation에서 dense spatio-temporal environment representation으로 넓힌다. 즉, 로봇이 동적 환경에서 장기간 자율적으로 행동하려면 현재 보이는 객체만 처리하는 것이 아니라, 과거 특정 시점에 존재했던 객체와 배경까지 추론할 수 있어야 한다는 문제의식에서 출발한다.

Abstract 핵심 주장

초록의 주장은 “문제 정의, factorization, 실시간 시스템, 평가”로 나누면 가장 깔끔하게 읽힌다.

축	요약	읽는 포인트
Problem	dynamic SLAM은 pose를 추정하지만 dense spatio-temporal map 표현은 부족	동적 객체를 지우는 것이 아니라 시간적 상태를 map에 남기는 문제
Factorization	short-term active window와 long-term factor graph 추론을 분리	지역적 일관성으로 관측을 fragment로 압축
System	Khronos는 dense spatio-temporal map을 real time으로 구성	active window, global optimization, reconciliation의 결합
Evidence	simulation과 real robot에서 baseline보다 나은 성능 제시	4D reconstruction, object/change detection, runtime을 함께 봐야 함

Context: scene graph는 어떤 시간 변화를 놓치나

Introduction은 동적 환경에서 로봇에게 필요한 map의 성격을 다시 정의한다. 기존 metric-semantic SLAM은 geometry와 semantics를 결합하지만 world가 거의 정적이라는 가정이 강하고, dynamic SLAM은 주로 moving object가 pose estimation을 방해하지 않게 만드는 데 초점이 있었다.

Problem Positioning

Khronos가 겨냥하는 빈칸은 short-term dynamics와 long-term change detection을 하나의 dense map representation 안에서 다루는 것이다.

기존 흐름	강점	남는 한계
Metric-semantic SLAM	3D geometry와 semantic label을 함께 저장	정적 world 가정이 강해 장면 변화에 취약
Dynamic SLAM	moving object를 제거하거나 추적해 pose estimation 개선	현재 관측 주변의 short-term dynamics에 집중
Change Detection	multi-session before/after 비교로 변화 탐지	실시간 dense spatio-temporal map과 직접 연결되기 어려움
Khronos	시간에 따라 변하는 객체와 배경을 같은 SMS 문제 안에서 추론	map 자체가 “현재 상태”가 아니라 “시간별 belief”가 됨

정리 노트

Introduction에서 중요한 문맥은 “동적 객체 제거”에서 “시간을 포함한 장면 이해”로 문제의 축이 이동한다는 점이다. 그래서 Khronos는 SLAM system이면서 동시에 temporal scene memory를 만드는 perception system으로 읽힌다.

Related Works는 Khronos의 위치를 잡아주는 섹션이다. 논문은 기존 연구를 metric-semantic SLAM, dynamic SLAM, change detection, spatio-temporal mapping으로 나누고, 각각이 해결한 부분과 남긴 빈틈을 비교한다.

Related Works 배경 정리 보기

Related-work structure

세부 배경은 각 연구 흐름이 Khronos의 어떤 구성요소를 설명하는지에 맞춰 읽으면 중복이 줄어든다.

AMetric-semantic SLAM

voxel, object landmark, surfel/mesh/submap 기반 dense semantic reconstruction.

BDynamic SLAM

moving object를 outlier로 제거하거나 motion prior로 state estimation에 통합.

CChange Detection

multi-session map comparison으로 appeared/disappeared object를 찾는 흐름.

DSpatio-temporal Mapping

short-term dynamics와 long-term changes를 함께 담는 representation의 부족.

Positioning table

Khronos는 각 흐름의 일부를 가져오되, 최종 목표를 “dense 4D metric-semantic map”으로 재정렬한다.

연구 흐름	기여	Khronos가 보완하는 부분
Voxel / mesh semantic SLAM	real-time 3D semantic map 생성	state-estimation drift와 dynamic scene 변화에 대한 취약성
Object-level SLAM	객체 정보를 landmark로 유지하며 pose refinement 가능	객체가 시간에 따라 나타나고 사라지는 장기 변화 표현 부족
NeRF / 3DGS	높은 rendering quality	실시간 로봇 운용에는 연산량이 큼
Dynablox / dynamic methods	dense background reconstruction과 motion detection	장기 변화와 spatio-temporal object belief까지 이어지지 않음

Mechanism: 어떤 change state를 추정하나

Problem Statement는 Khronos가 풀고 싶은 SMS 문제를 수식으로 정의한다. scene은 background와 object들로 구성되며, 각 object는 시간별 surface, world pose, semantic label을 가진다. 로봇은 odometry와 object observation을 통해 모든 과거 시간의 scene state를 추정해야 한다.

SMS Variable Structure

핵심 변수는 object state, robot trajectory, observation, odometry다. 표로 놓으면 뒤쪽 factorization이 훨씬 덜 복잡해진다.

기호	의미	역할
$O_i^t$	시간 t에서 i번째 object state	surface, pose, semantic label을 포함
X	robot pose trajectory	object observation을 world frame으로 연결
$Z_j^t$	시간 t의 j번째 object observation	local surface, relative pose, label measurement
$\Phi^t$	odometry measurement	연속 robot pose 사이의 constraint

O_i^t=\{ \Omega^t_i,\ T^t_{WO_i},\ L_i \}\qquad(1)

Z^t_j=\{\Omega_j^t, T^t_{RZ_j}, L_j^t\} \qquad(4)\\ Z^t_j\sim O_i^t⊕η_O\ \text{if}\ O_i^t\in V^t. \qquad(5)\\

MAP objective

원래 목표는 모든 object와 robot trajectory를 관측과 odometry에 대해 MAP 추정하는 것이다.

O^{\star},X^{{\star}}=\argmax_{O,X}\mathbb{P}(O,X|Z,\Phi).\qquad(7)

난점	object identity, pose drift, sensor noise, moving objects, long-term changes가 서로 얽힘
해결 방향	local consistency가 성립하는 짧은 구간의 관측을 fragment로 묶어 문제를 분해

SMS notation 보조 수식 보기

Notation 보존

본문에는 핵심식만 남기고, trajectory/object/odometry 정의는 여기서 한 번에 확인한다.

기호	의미	왜 필요한가
X	전체 robot trajectory	robot frame 관측을 world frame으로 연결
$O_i$	object i의 시간별 상태 묶음	한 객체가 여러 시점에 어떻게 존재했는지 표현
$\Phi^t$	연속 pose 사이의 odometry measurement	trajectory prior와 local consistency 판단에 사용

X = \{ X^t\}^{0,...,T},\quad X^t=T^t_{WR}\qquad(2)

O_i=\{O_i^t\}^{t=0,...,T},\quad O=\{O_i^t\}^{t=0,...,T}_{i=0,...,N^t} \qquad(3)

\Phi^t\sim(X^{t-1})^{-1}X^t⊞\eta_{\Phi} \qquad(6)

Mechanism: factorization으로 무엇을 분리하나

논문의 핵심 수식은 observation을 곧바로 object에 연결하지 않고, 중간 latent variable인 fragment Y를 둔다는 점이다. Fragment는 짧은 시간 구간에서 local consistency가 유지되는 관측 묶음이며, 나중에 global optimization과 reconciliation에서 실제 object로 합쳐진다.

Local Consistency

짧은 시간창에서는 odometry drift와 scene change가 작다고 보고, raw observation을 먼저 fragment로 압축한다.

\left|\left| \left( \prod_{t'=t-\tau}^t \Phi^{t'} \right) ⊟(T^{t-\tau}_{WR})^{-1}T_{WR}^t \right|\right|<\epsilon_s\forall t,\ \forall\tau<\delta \qquad(8)

Factorization Reading

식 (13)과 (16)은 Khronos 시스템 구조를 거의 그대로 예고한다.

수식 흐름	역할	시스템 대응
$P(Y_k \mid \bar{Z}_k, \bar{\Phi}_k)$	짧은 시간창에서 관측을 fragment로 통합	Active Window / Local Estimation
$P(X, A \mid Y, \Phi)$	robot poses와 fragment association을 함께 최적화	Global Optimization
$P(O_i \mid \bar{Y}_i, X)$	fragment들을 실제 object belief로 재구성	Reconciliation

\mathbb{P}(O,X,Y|Z,\Phi)=\underbrace{\mathbb{P}(O,X|Y,\Phi)}_{\text{Global estimation}}\prod_k\underbrace{\mathbb{P}(Y|\bar{Z}_k,\bar{\Phi}_k)}_{\text{Local estimation}} \qquad(13)

\mathbb{P}(O,X,Y,A|Z,\Phi)= \underbrace{ \prod_i\mathbb{P}(O_i|\bar{Y}_i,X) }_{\text{Fragment reconciliation}} \underbrace{ \mathbb{P}(X,A|Y,\Phi) }_{\text{SLAM}} \underbrace{ \prod_k\mathbb{P}(Y_k|\bar{Z}_k,\bar{\Phi}_k) }_{\text{Local estimation}} \qquad(16)

정리 노트

이 factorization을 이해하면 Khronos의 설계가 자연스럽다. 빠르게 변하는 부분은 local window에 맡기고, 오래 누적된 변화와 loop closure 영향은 global graph에서 다시 정렬한 뒤, 최종적으로 object-level history로 reconcile한다.

Factorization 전개 수식 보기

Fragment factorization

이 토글은 관측 Z를 fragment Y로 묶고, 다시 object O와 trajectory X로 연결하는 전개식을 보존한다.

단계	수식	역할
Local consistency	(8), (9)	robot/object motion이 짧은 window 안에서 일관적인지 검사
Fragment state	(10)	local observation 묶음을 robot frame의 fragment로 압축
Probabilistic split	(11)-(15)	local estimation, global estimation, reconciliation으로 역할 분리

||O_i^t⊖O_i^{t-\tau}||<\epsilon_t\forall t,\ \forall\tau<\delta \qquad(9)

Y_k=\{\Omega_k,\ T_{RY_k},\ L_k\} \qquad(10)

\mathbb{P}(O,X,Y|Z,\Phi)=\mathbb{P}(O,X|Y,\Phi)\mathbb{P}(Y|Z,\Phi) \qquad(11)

\mathbb{P}(O,X,Y|Z,\Phi)=\mathbb{P}(O,X|Y,\Phi)\prod_k\mathbb{P}(Y|Z,\Phi) \qquad(12)

\mathbb{P}(O,X|Y,\Phi)=\mathbb{P}(O|X,Y) \mathbb{P}(X|Y,\Phi) \qquad(14)

\mathbb{P}(O,X,A|Y,\Phi)=\prod_i\mathbb{P}(O_i|\bar{Y}_i,X) \mathbb{P}(X,A|Y,\Phi) \qquad(15)

\mathbb{P}(O,X,Y,A|Z,\Phi)= \prod_i\mathbb{P}(O_i|\bar{Y}_i,X) \mathbb{P}(X,A|Y,\Phi) \underbrace{ \prod_k\mathbb{P}(Y_k|\bar{Z}_k,\bar{\Phi}_k) }_{\text{Local estimation}} \qquad(16)

\mathbb{P}(O,X,Y,A|Z,\Phi)= \prod_i\mathbb{P}(O_i|\bar{Y}_i,X) \underbrace{ \mathbb{P}(X,A|Y,\Phi) }_{\text{SLAM}} \prod_k\mathbb{P}(Y_k|\bar{Z}_k,\bar{\Phi}_k) \qquad(16)

Mechanism: Khronos는 SMS를 어떻게 최적화하나

Khronos는 위 factorization을 active window, global optimization, reconciliation으로 구현한다. 세 모듈은 각각 local fragment 생성, global pose/fragment 정렬, 시간별 scene belief 복원을 맡는다.

System Components

Figure 3는 Khronos를 읽을 때 가장 먼저 봐야 하는 그림이다. 관측이 active window에서 fragment가 되고, fragment가 global graph를 거쳐 object history로 정리되는 흐름을 보여준다.

모듈	담당	핵심 디테일
Active Window	short-term local estimation	semantic masks, geometric motion detection, volumetric IoU, hypothesis tracking
Global Optimization	trajectory와 fragment를 factor graph에서 정렬	pose graph, deformation graph, mesh control points, fragment association edges
Reconciliation	optimized fragments를 시간별 object belief로 변환	appeared, disappeared, persistent, dynamic object 추론

Khronos system overview — Fig. 3. Khronos 시스템 구성: active window, global graph, fragment reconciliation, long-term 4D map.active window가 local fragments를 만들고, global optimization이 poses/fragments/association을 조정한 뒤 reconciliation이 시간별 scene state를 복원한다.

Khronos 모듈 세부 보기

Active Window

Active window는 현재 주변에서 일어나는 변화를 빠르게 fragment로 만드는 front-end다.

01Background

projective TSDF 기반 volumetric map으로 static background reconstruction.

02Candidate observations

semantic masks와 geometric motion detection으로 object 후보 추출.

03Hypothesis tracking

volumetric IoU, label, dynamic detection, cross-association으로 fragment track 유지.

04Filtering

관측 수가 적거나 이동량이 작은 hypothesis는 false positive로 제거.

Global Optimization

Global part는 loop closure나 long-term drift가 생긴 뒤에도 fragment와 background를 함께 정렬할 수 있도록 graph를 구성한다.

Factor	의미	왜 필요한가
Odometry	robot pose graph constraint	trajectory backbone 유지
Deformation	mesh control point regularity	dense background가 pose correction을 따라 부드럽게 변형
Observation	fragment와 robot pose 연결	각 fragment가 언제 어디서 관측되었는지 보존
Association	유사 label과 overlapping bbox fragment 연결	여러 fragment를 같은 object history 후보로 묶음

Global optimization / change evidence 수식 보기

Optimization / evidence

Khronos 구현에서 실제로 무거운 수식은 robust pose graph optimization과 ray 기반 presence/absence evidence다.

기호	의미	역할
$\mathcal{E}_{obs}$	observed edges	odometry, mesh, pose-fragment 관측 constraint
$\mathcal{E}_{can}$	candidate edges	fragment association과 loop closure 후보
$w_{ij}$	binary inlier/outlier weight	TLS/GNC로 잘못된 association을 끊는 장치
$d_r, d_d$	ray distance, depth distance	query point가 ray 위/앞/뒤 어디에 있는지 판정

\mathcal{T}^* = \operatorname*{arg\,min}_{\substack{ T_1, \dots, T_n \in \mathcal{T} \\ w_{ij} \in \{0,1\} }} \left[ \begin{aligned} & \sum_{(i,j)\in\mathcal{E}_{obs}} \| T_i^{-1} T_j \; ⊟ \; \bar{T}_{ij} \|^2_{\Lambda_{ij}} \\ & + \sum_{(i,j)\in\mathcal{E}_{can}} \Big( w_{ij} \| T_i^{-1} T_j \; ⊟ \; \bar{T}_{ij} \|^2_{\Lambda_{ij}} + (1-w_{ij}) \bar{c}^2 \Big) \end{aligned} \right]\qquad(17)

\|M\|^2_\Lambda=\operatorname{tr}(M\Lambda M^T)

$$\begin{aligned}d_r &= \frac{\| (\mathbf{p}_q-\mathbf{p}_r)\times(\mathbf{p}_r-\mathbf{p}_v) \|}{\|\mathbf{p}_q-\mathbf{p}_r\|},\\d_d &= \frac{(\mathbf{p}_q-\mathbf{p}_r)\cdot(\mathbf{p}_v-\mathbf{p}_r)}{\|\mathbf{p}_q-\mathbf{p}_r\|}.\end{aligned}$$(18)-(19)Eq. (18)-(19). Ray evidence distances.query point가 과거 free-space ray와 어떤 관계인지 계산해 presence와 absence evidence를 만든다.

Evidence: localization/change evidence를 어떻게 검증했나

Experiments는 Khronos가 단순히 새로운 representation을 제안하는 데서 끝나지 않고, 실제로 4D reconstruction, object detection, dynamic tracking, change detection을 baseline보다 잘 수행하는지 확인한다. 비교 대상은 Hydra, Dynablox, Panoptic Mapping이며, simulation과 실제 mobile robot 실험을 모두 사용한다.

Evaluation Brief

평가는 “정확도” 하나가 아니라, 시간 축을 포함한 map belief가 얼마나 잘 유지되는지를 본다.

Simulation setup

해상도 $\nu = 8\,\mathrm{cm}$ , sensing range $r=5\,\mathrm{m}$ , ground-truth semantics를 기준으로 baseline과 비교.

4D background

robot time과 belief time을 나눠 과거 시점의 map belief까지 평가.

Objects

static object detection, dynamic object detection/tracking, appeared/disappeared change detection을 함께 측정.

Semantic input

open-set segmentation도 높은 성능을 유지하지만 objectness 정의가 약해 recall 손실 발생.

Real robots

Jackal과 Boston Dynamics Spot에서 실제 동적 실내 환경을 검증.

Runtime

active window는 약 $45.5 \pm 9.2\,\mathrm{ms/frame}$ , 즉 $22.2\,\mathrm{FPS}$ 수준으로 동작.

Result Detail

논문의 Table I-III은 숫자 자체보다 “Khronos가 한 시스템에서 background, object, dynamics, changes를 동시에 다룬다”는 점을 보여준다.

자료	무엇을 확인하나	읽는 포인트
Table I	Apartment / Office simulation, GT / Kimera pose 조건	Khronos는 background, static object, dynamic object, long-term changes를 모두 평가한 유일한 축을 채우며, Office Kimera 조건에서도 changes F1 62.0을 유지.
Table II	ground-truth segmentation과 open-set segmentation 비교	open-set은 objectness가 덜 명확해 recall 손실이 있지만, GT pose 조건에서는 change F1이 64.4로 ground-truth semantics 64.6과 거의 비슷.
Table III	수동 annotation이 있는 real-robot scene	실제 Jackal/Spot 실험에서도 object detection과 long-term change reasoning이 동작함을 보임.
Fig. 7-9	belief update와 runtime	loop closure 이후 과거 belief가 갱신되고, active window는 45.5 ± 9.2 ms/frame 수준으로 동작.

Metric formula

4D metric은 robot time과 belief time을 함께 적분해, 시간에 따른 map belief의 성능을 하나의 값으로 요약한다.

$$\mathcal{L}_{4D}=\frac{1}{2\mathcal{T}^2}\int_0^{\mathcal{T}}\int_0^{T}\mathcal{L}(M_T(t))\,dt\,dT\tag{20}$$Eq. (20). Four-dimensional map metric.robot time과 belief time을 함께 적분해, 나중에 얻은 정보가 과거 scene belief를 얼마나 잘 복원하는지 요약한다.

평가 지표 보조 수식 보기

Metric notation

4D metric 자체는 본문에 펼쳐두고, metric set 정의는 보조 수식으로 둔다.

\mathcal{L} = {\{\text{precision, recall, F1-score}}\}

결과 읽기

Khronos의 실험은 현재 상태만 맞추는지보다, 시간이 지난 뒤에도 “그때 무엇이 있었는지”를 복원할 수 있는지를 보여주는 쪽에 가깝다.

평가 축	보고 싶은 능력	해석
4D metric	robot time과 belief time에 걸친 surface/object accuracy	temporal map belief의 area-under-surface 성격
Change detection	appeared/disappeared object 탐지	long-term scene changes를 map에 남기는 능력
Computation	front-end 실시간성, back-end async optimization	모든 작업이 한 frame 안에 끝나지는 않지만 system-level real-time을 유지

Usage / Limits: 어떤 조건에서 약해지는가

Limitations는 Khronos의 약점을 꽤 명확히 말한다. 특히 fragment association이 아직 geometric overlap과 centroid에 많이 의존하기 때문에 partial observation, occlusion, moving object history를 완전히 안정적으로 다루기 어렵다.

Limitation Checklist

한계는 association, change detection, memory growth 세 축으로 정리할 수 있다.

한계	원인	후속 방향
Fragment association	bounding-box centroid와 overlap에 민감	6D registration 또는 richer descriptors 필요
Moved fragments	geometric association 중심이라 이동한 object history 연결이 약함	appearance/semantic descriptor 통합 가능
Change detection surface	ray tracing이 reference surface에 의존	sparse/open space에서 더 강한 evidence model 필요
Memory	모든 object fragment를 계속 저장	오래되었거나 확실히 reconcile된 fragment marginalization 필요

느낀점

(진행중...)

Problem: why read long-term scene change over time?

Khronos shifts dynamic SLAM from pose estimation in the presence of moving objects toward dense spatio-temporal environment representation. The paper argues that long-term autonomy requires a robot to reason about what existed at different times, not only about what is visible now.

Abstract Core Claims

The abstract is easiest to read as a sequence of problem definition, factorization, real-time system, and evaluation evidence.

Axis	Summary	Reading Point
Problem	Dynamic SLAM estimates poses but often lacks dense spatio-temporal map representation.	The dynamic scene itself becomes part of the inference target.
Factorization	Short-term active-window processing is separated from long-term factor-graph reasoning.	Local consistency lets the system compress observations into fragments.
System	Khronos builds dense spatio-temporal maps in real time.	The system combines active mapping, global optimization, and reconciliation.
Evidence	Simulation and real-robot results outperform baselines.	Read accuracy and runtime together.

Context: which temporal changes do scene graphs miss?

The introduction reframes what a useful map should contain in a dynamic environment. Metric-semantic SLAM combines geometry and semantics, but it commonly assumes a mostly static world. Dynamic SLAM focuses on making pose estimation robust to moving objects, but it rarely preserves a dense representation of how the scene changes over time.

Problem Positioning

Khronos targets the gap between short-term dynamics and long-term change detection inside one dense scene representation.

Prior thread	Strength	Remaining gap
Metric-semantic SLAM	Stores 3D geometry with semantic labels.	Usually assumes a static world.
Dynamic SLAM	Removes or tracks moving objects to improve pose estimation.	Mostly focuses on short-term dynamics near the robot.
Change Detection	Detects changes by comparing maps across sessions.	Hard to integrate with real-time dense spatio-temporal mapping.
Khronos	Reasons about changing objects and background within one SMS problem.	The map becomes a belief over time, not just the current state.

The related-work section positions Khronos among metric-semantic SLAM, dynamic SLAM, change detection, and spatio-temporal mapping. Each line solves part of the problem, but none provides a real-time dense metric-semantic map that jointly accounts for short-term and long-term dynamics.

View related-work background

Related-work structure

Read each line of work by which part of Khronos it explains: semantic mapping, object persistence, dynamic scenes, or long-term temporal change.

AMetric-semantic SLAM

Builds dense semantic maps with voxels, meshes, surfels, submaps, or object landmarks.

BDynamic SLAM

Removes moving objects as outliers or integrates motion priors into state estimation.

CChange detection

Compares maps across sessions to identify appeared and disappeared objects.

DSpatio-temporal mapping

Motivates a representation that can store short-term dynamics and long-term changes together.

Positioning Table

Khronos borrows ideas from several lines of work but reorganizes them around dense 4D metric-semantic mapping.

Line of work	What it contributes	What Khronos adds
Voxel / mesh semantic SLAM	Real-time 3D semantic reconstruction.	Handles state-estimation drift and scene changes over time.
Object-level SLAM	Maintains object information as landmarks.	Reasons about objects appearing and disappearing.
NeRF / 3DGS	High rendering quality.	Keeps computation practical for robotics.
Dynamic methods	Motion detection and moving-object handling.	Connects dynamics to temporal object beliefs.

Mechanism: which change states are estimated?

The SMS problem estimates the robot trajectory and the state of all objects over previous times. An object state contains its surface, world-frame pose, and semantic label. The challenge is that object identity, pose drift, sensor noise, moving objects, and long-term changes are all coupled.

SMS Variables

The notation becomes clearer once the variables are separated by role.

Symbol	Meaning	Role
$O_i^t$	Object i at time t.	Surface, pose, and semantic label.
X	Robot trajectory.	Connects local observations to the world frame.
$Z_j^t$	Object observation.	Local surface, relative pose, and label measurement.
$\Phi^t$	Odometry measurement.	Constraint between consecutive robot poses.

O_i^t=\{ \Omega^t_i,\ T^t_{WO_i},\ L_i \}\qquad(1)

O^{\star},X^{{\star}}=\argmax_{O,X}\mathbb{P}(O,X|Z,\Phi).\qquad(7)

View SMS notation equations

Notation Ledger

The main text keeps the core equations; trajectory, object-history, and odometry definitions are collected here.

Symbol	Meaning	Why it matters
X	Full robot trajectory	Connects robot-frame observations to the world frame.
$O_i$	Time-indexed state history of object i	Represents how one object exists across time.
$\Phi^t$	Odometry measurement between consecutive poses	Provides the trajectory prior and supports local-consistency checks.

X = \{ X^t\}^{0,...,T},\quad X^t=T^t_{WR}\qquad(2)

O_i=\{O_i^t\}^{t=0,...,T},\quad O=\{O_i^t\}^{t=0,...,T}_{i=0,...,N^t} \qquad(3)

\Phi^t\sim(X^{t-1})^{-1}X^t⊞\eta_{\Phi} \qquad(6)

Mechanism: what factorization separates

The central move is to introduce fragments Y between raw observations and final objects. A fragment is a locally consistent group of observations over a short temporal window. Later, global optimization and reconciliation connect these fragments into object histories.

Factorization Reading

Equations (13) and (16) almost directly map to the system architecture.

Factor	Role	System part
$P(Y_k \mid \bar{Z}_k, \bar{\Phi}_k)$	Integrate observations into fragments within a short window.	Active Window / Local Estimation
$P(X, A \mid Y, \Phi)$	Optimize robot poses and fragment associations.	Global Optimization
$P(O_i \mid \bar{Y}_i, X)$	Recover object beliefs from optimized fragments.	Reconciliation

\mathbb{P}(O,X,Y|Z,\Phi)=\underbrace{\mathbb{P}(O,X|Y,\Phi)}_{\text{Global estimation}}\prod_k\underbrace{\mathbb{P}(Y|\bar{Z}_k,\bar{\Phi}_k)}_{\text{Local estimation}} \qquad(13)

\mathbb{P}(O,X,Y,A|Z,\Phi)= \underbrace{ \prod_i\mathbb{P}(O_i|\bar{Y}_i,X) }_{\text{Fragment reconciliation}} \underbrace{ \mathbb{P}(X,A|Y,\Phi) }_{\text{SLAM}} \underbrace{ \prod_k\mathbb{P}(Y_k|\bar{Z}_k,\bar{\Phi}_k) }_{\text{Local estimation}} \qquad(16)

View factorization derivation equations

Fragment Factorization

This supplement preserves the derivation that groups observations Z into fragments Y, then connects fragments back to objects O and trajectory X.

Step	Equation	Role
Local consistency	(8), (9)	Checks whether robot/object motion remains consistent inside a short window.
Fragment state	(10)	Compresses local observations into a robot-frame fragment.
Probabilistic split	(11)-(15)	Separates local estimation, global estimation, and reconciliation.

||O_i^t⊖O_i^{t-\tau}||<\epsilon_t\forall t,\ \forall\tau<\delta \qquad(9)

Y_k=\{\Omega_k,\ T_{RY_k},\ L_k\} \qquad(10)

\mathbb{P}(O,X,Y|Z,\Phi)=\mathbb{P}(O,X|Y,\Phi)\mathbb{P}(Y|Z,\Phi) \qquad(11)

\mathbb{P}(O,X,Y|Z,\Phi)=\mathbb{P}(O,X|Y,\Phi)\prod_k\mathbb{P}(Y|Z,\Phi) \qquad(12)

\mathbb{P}(O,X|Y,\Phi)=\mathbb{P}(O|X,Y) \mathbb{P}(X|Y,\Phi) \qquad(14)

\mathbb{P}(O,X,A|Y,\Phi)=\prod_i\mathbb{P}(O_i|\bar{Y}_i,X) \mathbb{P}(X,A|Y,\Phi) \qquad(15)

\mathbb{P}(O,X,Y,A|Z,\Phi)= \prod_i\mathbb{P}(O_i|\bar{Y}_i,X) \mathbb{P}(X,A|Y,\Phi) \underbrace{ \prod_k\mathbb{P}(Y_k|\bar{Z}_k,\bar{\Phi}_k) }_{\text{Local estimation}} \qquad(16)

\mathbb{P}(O,X,Y,A|Z,\Phi)= \prod_i\mathbb{P}(O_i|\bar{Y}_i,X) \underbrace{ \mathbb{P}(X,A|Y,\Phi) }_{\text{SLAM}} \prod_k\mathbb{P}(Y_k|\bar{Z}_k,\bar{\Phi}_k) \qquad(16)

Mechanism: how Khronos optimizes SMS

Khronos implements the factorization with three modules: an active window for local estimation, global optimization for trajectory and fragment alignment, and reconciliation for building temporal object beliefs.

System Components

Figure 3 is the main structural figure: observations become fragments, fragments enter a global graph, and optimized fragments are reconciled into object histories.

Module	Responsibility	Core detail
Active Window	Short-term local estimation.	Semantic masks, geometric motion detection, volumetric IoU, hypothesis tracking.
Global Optimization	Align trajectories and fragments in a factor graph.	Pose graph, deformation graph, mesh control points, fragment association edges.
Reconciliation	Convert optimized fragments into object beliefs over time.	Appeared, disappeared, persistent, and dynamic objects.

View global optimization and change-evidence equations

Optimization / Evidence

The heavy equations in Khronos are the robust pose graph optimization and the ray-based evidence test for presence or absence.

Symbol	Meaning	Role
$\mathcal{E}_{obs}$	Observed edges	Odometry, mesh, and pose-fragment constraints.
$\mathcal{E}_{can}$	Candidate edges	Fragment association and loop-closure candidates.
$w_{ij}$	Binary inlier/outlier weight	Lets TLS/GNC reject incorrect associations.
$d_r, d_d$	Ray distance and depth distance	Decides whether a query point lies on, in front of, or behind a ray.

\mathcal{T}^* = \operatorname*{arg\,min}_{\substack{ T_1, \dots, T_n \in \mathcal{T} \\ w_{ij} \in \{0,1\} }} \left[ \begin{aligned} & \sum_{(i,j)\in\mathcal{E}_{obs}} \| T_i^{-1} T_j \; ⊟ \; \bar{T}_{ij} \|^2_{\Lambda_{ij}} \\ & + \sum_{(i,j)\in\mathcal{E}_{can}} \Big( w_{ij} \| T_i^{-1} T_j \; ⊟ \; \bar{T}_{ij} \|^2_{\Lambda_{ij}} + (1-w_{ij}) \bar{c}^2 \Big) \end{aligned} \right]\qquad(17)

\|M\|^2_\Lambda=\operatorname{tr}(M\Lambda M^T)

$$\begin{aligned}d_r &= \frac{\| (\mathbf{p}_q-\mathbf{p}_r)\times(\mathbf{p}_r-\mathbf{p}_v) \|}{\|\mathbf{p}_q-\mathbf{p}_r\|},\\d_d &= \frac{(\mathbf{p}_q-\mathbf{p}_r)\cdot(\mathbf{p}_v-\mathbf{p}_r)}{\|\mathbf{p}_q-\mathbf{p}_r\|}.\end{aligned}$$(18)-(19)Eq. (18)-(19). Ray evidence distances.These distances relate a query point to a past free-space ray to produce presence or absence evidence.

Evidence: how localization and change evidence are tested

The experiments test whether Khronos can improve 4D reconstruction, object detection, dynamic tracking, and change detection while remaining fast enough for robotic use. The main baselines are Hydra, Dynablox, and Panoptic Mapping.

Evaluation Brief

The evaluation checks map belief over time, not just the current state.

Simulation

Uses $\nu = 8\,\mathrm{cm}$ resolution, $r=5\,\mathrm{m}$ sensing range, and ground-truth semantics for controlled comparison.

4D background

Evaluates map belief across robot time and belief time.

Objects

Measures static object detection, dynamic tracking, and appeared/disappeared change detection.

Semantic input

Open-set segmentation remains strong but loses recall because objectness is less sharply defined.

Real robots

Validated on Jackal and Boston Dynamics Spot platforms.

Runtime

The active window runs at about $45.5 \pm 9.2\,\mathrm{ms/frame}$ , or $22.2\,\mathrm{FPS}$ .

Result Detail

Tables I-III matter less as isolated numbers and more as evidence that Khronos handles background, objects, dynamics, and changes within one system.

Source	What it checks	Reading point
Table I	Apartment / Office simulation under GT / Kimera poses.	Khronos fills all four evaluation axes: background, static objects, dynamic objects, and long-term changes. It still keeps change F1 at 62.0 in the Office Kimera setting.
Table II	Ground-truth versus open-set segmentation.	Open-set input loses recall because objectness is less well defined, but with GT poses its change F1 remains 64.4 versus 64.6 for ground-truth semantics.
Table III	Manually annotated real-robot scene.	The real Jackal/Spot experiments show that object detection and long-term change reasoning work outside simulation.
Fig. 7-9	Belief update and runtime.	Loop closures update past beliefs, while the active window runs at about 45.5 ± 9.2 ms/frame.

Metric formula

The 4D metric integrates performance over robot time and belief time, summarizing how well the map can represent the scene at different moments.

$$\mathcal{L}_{4D}=\frac{1}{2\mathcal{T}^2}\int_0^{\mathcal{T}}\int_0^{T}\mathcal{L}(M_T(t))\,dt\,dT\tag{20}$$Eq. (20). Four-dimensional map metric.The metric integrates over robot time and belief time, measuring how well later information recovers earlier map belief.

View metric notation equations

Metric Notation

The 4D metric remains in the main text; the metric-set definition is kept here as a supporting equation.

\mathcal{L} = {\{\text{precision, recall, F1-score}}\}

Usage / Limits: under which conditions does it weaken?

The limitations mostly come from fragment association and scalability. Geometric overlap and bounding-box centroids are brittle under partial observations and occlusions, and storing every object fragment indefinitely limits long-term scalability.

Limitation Checklist

The paper's limitations can be grouped into association, change-detection evidence, and memory growth.

Limitation	Cause	Possible direction
Fragment association	Sensitive to bounding-box centroid and overlap.	Use 6D registration or richer descriptors.
Moved fragments	Mostly geometric association.	Add appearance or semantic descriptors.
Change detection	Ray tracing depends on a reference surface.	Improve evidence modeling in sparse or open spaces.
Memory	All object fragments are stored.	Marginalize old or confidently reconciled fragments.

Takeaway

(In progress...)

핵심 요약

SMS Problem

Local Consistency

Khronos System

Robotic Evaluation

움직이는 객체

나중에 바뀐 장면

정적 배경

논문 상세 정리

Problem: long-term scene change를 왜 시간 축으로 봐야 하나

Context: scene graph는 어떤 시간 변화를 놓치나

Gap: mapping/change detection/temporal graph 사이에 무엇이 비어 있나

Mechanism: 어떤 change state를 추정하나

Mechanism: factorization으로 무엇을 분리하나

Mechanism: Khronos는 SMS를 어떻게 최적화하나

Evidence: localization/change evidence를 어떻게 검증했나

Usage / Limits: 어떤 조건에서 약해지는가

느낀점

Problem: why read long-term scene change over time?

Context: which temporal changes do scene graphs miss?

Gap: what is missing between mapping, change detection, and temporal graphs?

Mechanism: which change states are estimated?

Mechanism: what factorization separates

Mechanism: how Khronos optimizes SMS

Evidence: how localization and change evidence are tested

Usage / Limits: under which conditions does it weaken?

Takeaway

Comments