ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras

Paper Summary

IEEE Transactions on Robotics, 2017

Raul Mur-Artal et al.

Universidad de Zaragoza / I3A; Oculus Research

Accepted / arXiv v2: 19 Jun 2017

Topics

#Visual SLAM#ORB-SLAM2#Classical SLAM#Bundle Adjustment

핵심 요약

ORB-SLAM2는 monocular, stereo, RGB-D 입력을 공통 ORB/keyframe 표현으로 정리한 뒤, local BA, loop closing, map reuse를 조합해 CPU 실시간 SLAM을 만드는 시스템이다.

문제monocular scale drift / 초기화 부담해결stereo/RGB-D depth + BA back-end근거29개 공개 sequence + CPU 실시간

한 문장 요약

이 논문의 핵심은 feature, keyframe, BA의 범위를 정교하게 나누면 여러 센서 입력에서도 정확도, map reuse, 실시간성을 동시에 확보할 수 있다는 주장이다.

Contribution 01

Multi-sensor SLAM

monocular, stereo, RGB-D를 모두 다루는 open-source SLAM. loop closing, relocalization, map reuse 포함.

Contribution 02

BA-based Back-end

RGB-D에서도 ICP/photometric-depth objective보다 BA 기반 pose-map 최적화를 강조.

Contribution 03

Close / Far Points

close stereo, far stereo, monocular point를 나눠 scale/translation/rotation 정보 기여도를 다르게 사용.

Contribution 04

Lightweight Localization

필요하면 mapping을 끄고 VO matches와 기존 map point matches로 zero-drift localization 수행.

핵심 인사이트

핵심은 새로운 feature보다, 세 가지 sensor mode가 공유하는 ORB/keyframe 표현과 범위별 bundle adjustment를 정교하게 설계한 점이다.

처리 흐름

센서 입력을 먼저 공통 표현으로 맞춘 뒤, optimization 범위를 local/global로 나누는 흐름으로 읽으면 이해가 쉽다.

01Sensor Inputmonocular / stereo / RGB-D

02PreprocessORB keypoints, stereo/depth keypoints

03Trackingmotion-only BA

04Local Mappinglocal BA

05Loop Closingpose-graph optimization

06Full BAglobal consistency

입력 방식 비교

센서 비교는 단순 장비 비교가 아니라 scale 관측, 초기화, map point 생성 방식의 차이를 보여준다.

Monocular

가장 저렴하고 작지만, depth와 scale을 직접 관측하지 못해 scale drift와 초기화 문제가 생김.

Stereo

disparity 기반 metric depth 제공. close/far point 구분이 translation과 scale 안정성을 좌우.

RGB-D

sensor depth를 virtual right coordinate로 바꿔 이후 SLAM pipeline을 stereo와 동일하게 처리.

논문 상세 정리

이하에서는 배경지식, notation, 보조 유도까지 포함해 논문의 세부 내용을 살펴본다.

Problem: real-time Visual SLAM에서 무엇이 병목인가

ORB-SLAM2의 문제의식은 monocular SLAM의 약점에서 출발한다. monocular camera는 싸고 작지만 depth를 직접 관측하지 못하므로 map scale이 모호하고 scale drift가 누적될 수 있다. 또한 첫 frame만으로는 triangulation이 불가능해 initialization도 까다롭다.

Problem Flow

논문은 “센서가 depth를 제공하면 무엇이 바뀌는가”를 기준으로 ORB-SLAM의 monocular 구조를 확장한다.

01Monocular 한계

scale 미관측, pure rotation 취약, initialization 부담.

02Stereo / RGB-D 기회

single frame에서 metric depth와 map point 생성 가능.

03실시간성 제약

전체 map을 매번 BA하면 CPU 실시간 운용 불가.

04ORB-SLAM2의 재정의

feature/keyframe graph로 최적화 범위를 나누고 필요할 때 전역 보정.

문제 제기 / 제안

Introduction과 Related Work은 모두 metric scale을 얻으면서도 local optimization으로 실시간성을 유지해야 한다는 주장으로 이어진다.

축	기존 병목	ORB-SLAM2의 관점
Scale	monocular는 depth/scale을 직접 관측하지 못함	stereo/RGB-D depth로 metric scale 확보
Back-end	ICP/direct RGB-D 계열은 localization accuracy에서 한계	monocular/stereo constraints를 BA에 통합
Scalability	global consistency와 real-time을 동시에 유지하기 어려움	local BA + covisibility graph + loop/full BA로 범위 분리

입력 예시

Fig. 1a. Stereo 입력: trajectory와 sparse reconstruction.Stereo 입력에서 camera trajectory와 sparse point cloud를 실시간으로 추정하는 예시.

Fig. 1b. RGB-D 입력: keyframe과 sensor-depth point cloud.추정된 keyframe pose와 sensor depth backprojection으로 dense point cloud를 구성하는 예시.

Related Work 세부 흐름 보기

Stereo SLAM 계열

관련 연구는 local BA로 scalability를 확보했지만, global consistency를 어떻게 회복할지가 남아 있었다.

연구 흐름	핵심 아이디어	ORB-SLAM2와의 연결
Paz et al.	close/far point를 나누고 far point에 inverse depth 사용	ORB-SLAM2도 close/far stereo point를 다르게 처리
Strasdat / RSLAM / S-PTAM	keyframe 기반 local BA로 대규모 환경 처리	local BA는 유지하되 loop closing과 full BA로 global consistency 회복
Stereo LSD-SLAM	semi-dense direct 방식, texture/motion blur에 강점	direct method의 비모델링 효과 취약성과 비교되는 feature-based 선택

RGB-D SLAM 계열

RGB-D SLAM은 dense reconstruction이 강했지만, ORB-SLAM2는 dense model보다 정확한 long-term localization에 초점을 둔다.

연구 흐름	얻는 점	ORB-SLAM2가 바꾸는 점
KinectFusion / Kintinuous	depth map을 dense model로 합성	sparse feature/keyframe map으로 CPU real-time과 long-term consistency 강조
RGB-D SLAM / DVO-SLAM	feature/photometric/depth error와 pose graph 사용	RGB-D에서도 BA 기반 camera localization 성능을 강조
ElasticFusion	surfel map과 deformation 기반 loop closing	더 detailed한 reconstruction보다 lightweight global localization을 선택

Mechanism: keyframe/BA/loop closing으로 어떻게 푸나

ORB-SLAM2의 방법론은 “모든 것을 한 번에 최적화하는 SLAM”이 아니라, Tracking, Local Mapping, Loop Closing이 서로 다른 시간 규모에서 map과 pose를 다루는 구조다. 그래서 실시간 frame processing과 전역 일관성 복구를 동시에 노린다.

Fig. 2. ORB-SLAM2 시스템 thread와 입력 전처리.Tracking, Local Mapping, Loop Closing이 병렬 thread로 분리되고, loop closure 뒤 Full BA가 별도 thread로 실행된다.

System Thread Summary

세 thread의 역할 분담을 먼저 잡으면 이후 BA, graph, localization mode가 자연스럽게 연결된다.

구간	무엇을 해결하나	핵심 장치
Tracking	매 frame에서 camera pose를 빠르게 추정	local map matching + motion-only BA
Local Mapping	새 keyframe과 map point를 local window 안에서 정리	local BA, keyframe insertion/culling
Loop Closing	큰 loop를 검출하고 누적 drift를 보정	DBoW2 place recognition + pose-graph optimization
Full BA	loop closure 후 전체 structure/motion을 다시 정합	separate thread에서 global BA 수행

Design Choice

핵심 선택은 feature-based sparse map을 유지하면서, depth가 있는 입력을 feature/keypoint representation 안으로 흡수하는 것이다.

공통 표현

ORB feature를 tracking, mapping, place recognition에 모두 사용.

범위 제한

local window와 covisibility graph로 BA 비용 제한.

전역 보정

loop closing 후 pose graph와 Full BA로 누적 drift 보정.

Input preprocessing과 keypoint 정의

ORB-SLAM2는 입력이 stereo인지 RGB-D인지에 따라 초반 처리만 다르게 하고, 이후 단계에서는 동일한 keypoint/map 구조를 사용한다. RGB-D depth는 virtual right coordinate로 바꿔 stereo keypoint처럼 다룬다.

Fig. 2의 입력 전처리.

$$u_R = u_L-\frac{f_xb}{d}$$

(1)

Eq. (1). RGB-D virtual stereo coordinate.RGB-D depth $d$를 virtual right coordinate $u_R$로 바꾸는 식.

keypoint	정의	SLAM에서의 역할
Monocular	$x_m=(u_L, v_L)$	multiple views가 있어야 triangulation. scale 정보는 직접 제공하지 않음.
Close stereo	depth < 40 × baseline	single frame에서 안전하게 triangulation. scale, translation, rotation에 강하게 기여.
Far stereo	depth ≥ 40 × baseline	rotation 정보는 좋지만 translation/scale은 약해 multiple views가 필요.

Bundle Adjustment를 어디에 쓰는가

논문에서 BA는 한 번 등장하는 수식이 아니라 시스템 전체의 반복적인 최적화 원리다. Tracking에서는 현재 pose만, Local Mapping에서는 주변 keyframe과 point를, Loop Closing 이후에는 전체 map을 최적화한다.

$$\{\mathbf{R}, \mathbf{t}\}=\underset{\mathbf{R},\,\mathbf{t}}{\operatorname*{arg\,min}}\sum_{i \in \mathcal{X}}\rho\left(\left\|\mathbf{x}^i_{(\cdot)}-\pi_{(\cdot)}(\mathbf{R}\mathbf{X}^i+\mathbf{t})\right\|^2_{\Sigma}\right)$$

(2)

Eq. (2). Motion-only BA objective.현재 frame의 camera 회전 $R \in SO(3)$와 위치 $t \in \mathbb{R}^3$를 최적화한다.

$$\pi_m\left( \left[ \begin{matrix} X \\ Y \\ Z \end{matrix} \right] \right) = \left[ \begin{matrix} f_x \frac{X}{Z} + c_x \\ f_y \frac{Y}{Z} + c_y \end{matrix} \right]$$

$$\pi_s\left( \left[ \begin{matrix} X \\ Y \\ Z \end{matrix} \right] \right) = \left[ \begin{matrix} f_x \frac{X}{Z} + c_x \\ f_y \frac{Y}{Z} + c_y \\ f_x \frac{X-b}{Z} + c_x \end{matrix} \right]$$

(3)

Eq. (3). Monocular and stereo projection models.Monocular / rectified stereo 투영 함수.

$$\left\{ X^i,\, R_l,\, t_l \;\middle|\; i \in P_L,\, l \in K_L \right\} = \underset{X^i,\,R_l,\,t_l}{\operatorname*{arg\,min}} \sum_{k \in K_L \cup K_F} \sum_{j \in X_k} \rho(E_{kj})$$

$$\left\{ X^i,\, R_l,\, t_l \;\middle|\; i \in P_L,\, l \in K_L \right\} = \underset{X^i,\,R_l,\,t_l}{\operatorname*{arg\,min}} \sum_{k \in K_L \cup K_F} \sum_{j \in X_k} \rho(E_{kj})$$

(4)

Eq. (4). Local BA objective.Local keyframes와 그들이 관측하는 map points를 최적화하고, 바깥 keyframes는 fixed constraint로만 사용한다.

BA 종류	시점	최적화 대상
Motion-only BA	Tracking	현재 frame의 camera pose
Local BA	Local Mapping	local keyframes + local map points
Full BA	Loop closure 이후	origin keyframe을 제외한 전체 keyframes + map points

Graph structure와 localization mode

ORB-SLAM2는 keyframe 관계를 covisibility graph와 minimum spanning tree로 관리한다. Covisibility graph는 local window를 빠르게 찾고, MST는 loop correction과 Full BA 결과를 map 전체에 전파하는 뼈대로 쓰인다.

구조	정의	왜 필요한가
Covisibility Graph	두 keyframe이 공유하는 map point 수를 edge weight로 둠	Tracking/Local Mapping에서 가까운 keyframe window를 찾음
Minimum Spanning Tree	모든 keyframe을 연결하는 최소 골격	loop correction과 spanning-tree propagation에 사용
Place Recognition	DBoW2 기반으로 이전 장소를 인식	relocalization, reinitialization, loop detection 지원

Localization Mode

well-mapped area에서는 Local Mapping과 Loop Closing을 끄고 Tracking만으로 동작할 수 있다.

VO matches

이전 frame의 stereo/depth 정보로 만든 3D points와 현재 ORB를 match. unmapped region에서도 robust하지만 drift 가능.

Map point matches

기존 map point와 match해 drift-free localization을 유지.

적용 조건

환경 변화가 크지 않은 known environment에서 lightweight long-term localization에 적합.

Local BA와 tracking 보조 자료

Bundle Adjustment 직관.(출처: https://www.cv-learn.com/20210313-ba/)

Local BA를 PPT로 정리해 보았다

Local keyframe과 keypoint 예시.

Local map point 선택 예시.

Local keypoint matching 예시.

Projection / reprojection error 개념도.

Fig. 3. KITTI 01에서 tracking된 close point와 far point.초록색은 close stereo point, 파란색은 far point를 의미한다.

Evidence: 어떤 sensor와 dataset에서 검증했나

평가의 핵심은 데이터셋 이름을 외우는 것이 아니라, 각 결과가 어떤 claim을 지지하는지 보는 것이다. KITTI는 stereo metric scale과 loop reuse, EuRoC는 MAV stereo robustness, TUM RGB-D는 BA 기반 localization의 장점을 확인한다.

Evaluation Evidence

논문은 29개 공개 sequence에서 5회 실행 median 결과를 보고하고, 표준 CPU(Intel Core i7-4790, 16GB RAM) 환경에서 실시간성을 확인한다.

핵심 평가

평가 축	근거	확인할 것
Stereo metric scale	KITTI Table I / Fig. 5	monocular scale drift가 stereo에서는 사라짐sequence 01처럼 close point가 적은 상황은 translation이 약해질 수 있음.
MAV stereo robustness	EuRoC Table II / trajectories	대부분 cm-level RMSEV2_03_difficult는 severe motion blur로 tracking failure.
RGB-D localization	TUM Table III / Fig. 7	BA 기반 방법이 ICP/direct 계열보다 대체로 정확dense fusion 없이도 keyframe pose 정확도가 pointcloud 윤곽으로 드러남.

보조 근거

근거 축	근거	확인할 것
Timing	Table IV	EuRoC tracking average 41.66ms20Hz frame budget 약 50ms 안에 들어와 real-time 조건 충족.
Open-source usability	repository calibration / instruction	out-of-the-box solution 의도각 dataset calibration과 run instruction을 함께 제공.

KITTI Evidence

Table I. KITTI dataset 정확도 비교.Stereo LSD-SLAM 대비 대부분 sequence에서 낮은 relative/absolute translation error를 보인다.

Fig. 4. KITTI 00, 01, 05, 07에서 추정한 trajectory.검은색은 추정 trajectory, 빨간색은 ground truth를 의미한다.

Fig. 5. KITTI 08에서 추정한 trajectory.Monocular ORB-SLAM은 scale drift가 크게 나타나고, ORB-SLAM2 stereo는 true scale을 유지한다.

EuRoC / TUM / Timing Evidence

Table II. EuRoC dataset translation RMSE 비교 (m).

Fig. 6. EuRoC V1_02, V2_02, MH_03, MH_05에서 추정한 trajectory.검은색은 추정 trajectory, 빨간색은 ground truth를 의미한다.

Table III. TUM RGB-D dataset translation RMSE 비교 (m).

Fig. 7. TUM RGB-D sequence에서 재구성한 dense point cloud.Dense point cloud는 추정된 keyframe pose와 sensor depth map으로 재구성된다.

Table IV. 각 thread의 수행 시간 (ms).평균 tracking time은 camera frame-rate의 역수보다 작게 유지된다.

Dataset instruction / scale-bias 참고 보기

Repository support

논문은 단순 코드 공개를 넘어, dataset별 calibration과 실행 instruction을 포함해 재현성을 높이는 것을 강조한다.

공식 repository의 dataset 실행 안내.

공식 repository의 dataset calibration 파일.

TUM RGB-D scale bias

freiburg2 depth map의 4% scale bias는 RGB-D 결과 해석에서 주의해야 할 보정 포인트다.

ORB-SLAM 논문에서 언급된 RGB-D SLAM scale bias 참고 자료.

Usage / Limits: 어떤 Visual SLAM 기준선으로 읽어야 하나

ORB-SLAM2는 feature가 충분하고 장기적으로 map을 재사용해야 하는 Visual SLAM 문제에 잘 맞는다. 반면 severe motion blur, texture 부족, 큰 환경 변화처럼 feature tracking이 흔들리는 조건에서는 한계가 드러날 수 있다.

When to Use / Avoid

평가 결과와 적용 조건을 다시 정리하면 다음과 같다.

구분	정리	이유
잘 맞는 상황	stereo/RGB-D 기반 real-time localization과 map reuse	metric depth, local BA, loop closing이 안정적으로 작동
강한 조건	well-mapped known environment의 lightweight localization	VO matches + map point matches로 drift-free localization 가능
주의 조건	severe motion blur, close point 부족, 큰 환경 변화	feature tracking과 local map matching의 품질에 의존

느낀점

Visual SLAM의 전체 구조를 처음 익히기에 좋은 논문이었다.

주요 SLAM 계열과 당시 문제 설정, ORB-SLAM2의 pipeline과 optimization, evaluation dataset까지 한 흐름으로 이해할 수 있었다.

Covisibility graph와 minimum spanning tree, local BA는 처음에는 생소했지만, 이 개념들을 따라가며 local mapping과 loop closing의 연결을 이해할 수 있었다.

특히 covisibility graph가 optimization 범위를 제한해 real-time operation에 기여하는 과정을 수치로 확인한 점이 인상적이었다.