Problem: learned SLAM은 무엇을 다시 묻는가

DROID-SLAM은 딥러닝 기반의 SLAM 시스템이며, Dense Bundle Adjustment Layer를 통해 camera pose와 pixelwise depth를 반복적으로 업데이트한다. DROID-SLAM은 정확도가 높아 기존 연구들에 비해 큰 성능향상을 달성했으며, 강건하여 치명적인 실패(catastrophic failure)가 적게 발생한다. 또한 monocular video를 통해 학습한 모델에 대해, 테스트시에 stereo나 RGB-D video를 입력으로 넣어주었을 때 성능이 향상되었다고 한다.

Context: classical SLAM은 어디서 실패하나

SLAM은 long-term trajectory tracking에 초점을 맞춘 SFM(Structure-From-Motion)의 특별한 형태(special form)이며, 로보틱스(특히 자율주행)에서 중요한 역할을 한다. DROID-SLAM에서는 visual SLAM을 다루며, 보통 monocular, stereo, RGB-D와 같은 카메라 센서를 다룬다.

SLAM 문제는 여러 관점에서 접근되어 왔으며, 초기에는 확률적(probabilistic), 필터링 기반(filtering based) 접근법을 사용했고, 지도(map)와 카메라 포즈(camera pose)를 번갈아가며 최적화 하였다.

최근 현대(modern) SLAM 방식은 least-squares optimization이 가능한데, 정확도를 높이는 핵심 요소로 full BA(Bundle Adjustment)가 단일 최적화 문제에서 카메라 포즈와 3차원 지도를 동시에(jointly) 최적화 할 수 있다는 것이다. 또한 최적화 기반 SLAM의 장점은 서로 다른 센서를 쉽게 활용할 수 있도록 수정이 가능하다는 점이다. 예를 들어 ORB-SLAM3은 monocular, stereo, RGB-D, IMU 센서를 지원하며, 이외에도 다른 현대 SLAM 시스템들은 다양한 카메라 모델을 지원한다. 하지만 이렇게 많은 발전(progress)이 있었음에도 불구하고, 현대 SLAM 시스템들은 많은 실세계 응용(real-world application)에서 요구하는 강건성(robustness)이 부족하며, 실패 요인으로는 특징 추적이 끊어지거나, 최적화 알고리즘에서 발산하거나, drift가 축적되는 것이 있다.

딥러닝은 이러한 실패 요인들에 대한 해결책을 제시했는데, 이전 연구에서는 수작업(hand-crafted)으로 추출한 특징을 신경망 기반 3차원 표현(neural 3D representation)으로 학습한 특징으로 대체하거나, 학습된 에너지 항(energy term)을 고전 최적화 벡엔드와 결합하였다. 이러한 시스템들은 때때로 더 강건하였지만, 일반적인 벤치마크(benchmark)에서는 고전적인 방법들에 비해 정확도가 떨어졌다.

본 연구에서는 딥러닝 기반의 DROID-SLAM을 소개하며, 이는 매우 어려운 벤치마크에서 기존의 고전 및 학습 기반 SLAM 시스템들과 매우 큰 격차를 보이며, SOTA(State-Of-The-Art)급 성능을 보여준다.

특히 아래와 같은 이점을 가진다.

DROID-SLAM의 강력한 성능과 일반화는 DROID(Differentiable Recurrent Optimization-Inspired Design)라는 구조 때문이며, 이는 고전적인 접근법과 깊은 신경망(deep networks)의 이점이 결합된 미분가능한 end-to-end 구조를 의미한다. 특히 순환적 반복 업데이트(recurrent iterative updates) 구조로 이루어져 있으며, optical flow를 위한 RAFT 구조 기반이되 2가지의 핵심적인 새로운 아이디어를 소개한다.

첫 번째로, 반복적으로 optical flow를 업데이트하는 RAFT와 다르게, DROID는 카메라 포즈(camera pose)와 깊이(depth)를 업데이트 한다. 또한 RAFT의 업데이트는 2개의 프레임을 기반으로 동작하는 반면에, DROID의 업데이트는 임의의 개수의 프레임에 적용되어, 모든 카메라 pose와 depth map을 한 번에 조정하여 개선(joint global refinement)할 수 있게하는데, 이는 장기 궤적(long trajectories)및 루프 폐쇄(loop closure)를 위한 drift 최소화에 필수적이다.

두 번째로, DROID-SLAM에서 카메라 pose와 depth map의 각 업데이트는 미분가능한 DBA(Dense Bundle Adjustment) layer에서 수행되며, 이는 카메라 pose와 픽셀별(per-pixel) depth에 대해 optical flow의 현재 추정값과 최대한 일치하게끔 Gauss-Newton 업데이트를 진행한다. 해당 DBA layer는 기하학적 제약을 준수하며, 정확도와 강건성을 향상시키며, monocular 시스템이 재학습없이 stereo나 RGB-D 입력을 다룰 수 있게 한다.

본 논문에서는 4개의 다른 데이터셋과 3개의 다른 센서 모달리티를 통해 확장 평가(extensive evaluation)를 수행했으며, 모든 경우에서 SOTA급 성능을 보여주었다. 또한 중요한 설계 선택 및 하이퍼파라미터를 설명하는 ablation study를 포함한다.

Gap: learned VO와 Bundle Adjustment 사이에 무엇이 비어 있나

Mechanism: recurrent update와 DBA로 어떻게 푸나

DROID-SLAM에서는 video를 입력으로 받아 카메라의 궤적 추정과 주변 환경의 3차원 지도를 만드는 것을 목표로 한다. 첫 번째로, monocular setting에 대해 설명하고, 후에 섹션 3.4에서 이를 stereo와 RGB-D 시스템에 어떻게 일반화시키는 지를 설명한다.

Representation

DROID-SLAM은 순차적인 이미지 집합 $\{I_t\}^N_{t=0}$을 입력으로 받으며, 각 이미지 t는 camera pose

$G_t\in SE(3)$와 inverse depth(역깊이) $d_t\in\mathbb{R}^{H\times W}_{+}$라는 2개의 상태 변수(state variables)를 보유한다.

camera pose의 집합 $\{G_t\}^N_{t=0}$와 inverse depth의 집합 $\{d_t\}^N_{t=0}$은 알려지지 않은(unknown) 상태 변수들이며, 이는 추론 단계에서 새로운 프레임들을 처리하면서 반복적으로 업데이트 된다.

(또한 앞으로 해당 논문에서 언급되는 depth는 inverse depth를 의미한다고 한다)

또한 프레임들간의 co-visibility를 표현하기 위해 frame graph (𝜈, 𝜀)를 도입하였으며, edge인 $(i,j)\in\mathcal{E}$은 이미지 $I_i$와 $I_j$가 특징점을 공유하는 서로 겹치는 영역을 가진다는 것을 의미한다. Frame graph는 훈련과 추론시에 동적으로 구축되며, 각 pose나 inverse depth가 업데이트되면 frame graph를 업데이트 하기 위해 visibility를 다시 계산할 수 있다. 또한 만약 카메라가 이전에 매핑한 지역으로 돌아오면, frame graph에 long range connection을 추가하여 loop closure를 수행한다.

3.1 Feature Extraction and Correlation

특징들은 각 새로운 이미지로부터 추출되어 시스템에 추가된다. 해당 단계에서 핵심 요소들은 RAFT에서 가져온 것이다.

각 입력 이미지들은 특징 추출 신경망에 의해 처리되며, 해당 신경망은 6개의 residual block과 3개의 downsampling layer로 구성되어 있으며, 입력 이미지 해상도의 1/8에 해당하는 dense feature map을 생성한다. 또한 RAFT처럼 2개의 분리된 신경망(feature network, context network)을 이용하며, feature network는 correlation volume을 형성하는데에 사용되며, context feature는 업데이트 연산중에 신경망에 주입된다.

Frame graph에서 각 edge $(i,j)\in\mathcal{E}$ 에 대해, $g_\theta(I_i)$와 $g_\theta(I_j)$의 모든 쌍의 feature vector들 간에 dot product를 취하여 4D correlation volume을 계산한다.

(위 수식은 4D correlation volume을 의미한다)

그리고 4-level correlation pyramid를 형성하기 위해 해당 4D correlation volume의 마지막 두 차원에 대해 average pooling을 적용한다.

위 수식은 반지름 r의 격자(grid)를 이용하여 correlation volume을 인덱싱(indexing)하는 lookup 연산자를 정의한 것이다.

lookup operator는 H×W 크기의 격자 좌표(grid of coordinate)를 입력으로 받아, bilinear interpolation(쌍선형 보간법)을 이용하여 correlation volume에서 값을 조회(retrieve)한다. 또한 operator는 pyramid의 각 correlation volume에 적용되어, 각 level별 결과를 이어붙임으로써 마지막 feature vector가 계산된다.

3.2 Update Operator

위 그림은 DROID-SLAM의 핵심 요소인 learned update operator를 보여준다. 해당 update operator는 hidden state(은닉 상태) h를 가지는 3x3 크기의 convolutional GRU이며, operator가 적용될때마다 hidden state를 업데이트하고 추가적으로 pose update($\Deltaξ^{(k)}$) 및 depth update($\Delta d^{(k)}$)를 수행한다.

이러한 pose 및 depth update는 SE3 manifold(다양체)에서의 retraction과 vector addition을 통해 현재 depth와 pose 추정에 사용된다.

update operator는 pose와 depth를 직접 완성하는 black box가 아니라, correlation과 flow/residual을 바탕으로 correspondence revision과 confidence를 반복 예측하고, DBA가 이를 pose-depth update로 바꾸도록 연결하는 모듈이다.

위 수식에서 $\Pi_c$는 3D point를 이미지로 mapping하는 camera model이며, $\Pi_c^{-1}$은 inverse depth map $d$와 coordinate grid $p_i$를 3D pointcloud로 mapping하는 inverse projection function이다.

따라서 $p_{ij}$는 추정된 pose와 depth를 이용하여 frame i의 픽셀 좌표 $p_i$를 frame j로 mapping한 것을 나타낸다.

correlation volume에 인덱싱(index)하기 위해 correspondence field($p_{ij}$)를 사용하는데, 각 edge $(i,j)\in\mathcal{E}$ 에 대해 correlation volume $C_{ij}$에서 correlation feature를 조회하기 위해 $p_{ij}$를 사용한다.

correspondence field를 사용하여 카메라 움직임(motion)에 의해 생기는 optical flow를 계산하는데, 이는 $p_{ij}-p_{j}$로 정의된다. 또한 이전 BA solution의 residual을 해당 flow field와 결합하여 신경망이 이전 iteration에서의 정보를 feedback을 사용할 수 있도록 한다.

correlation feature는 $p_{ij}$의 주변의 visual similarity(시각적 유사성)를 제공하여, 신경망이 시각적으로 유사한(visually similar) 이미지 영역을 정렬(align)하도록 학습할 수 있게 한다. 하지만 correspondence는 때때로 모호할 수 있는데, 이때 flow는 보완적인 정보를 제공하며, motion fields에서 연속성(smoothness)을 활용하여 신경망이 강건한 예측을 할 수 있게 돕는다.

correlation feature와 flow feature는 GRU에 입력되기 전에 2개의 convolution layer를 통과한다. 또한 context network에서 추출된 context feature를 element-wise addition 연산을 통해 GRU로 같이 입력한다.

ConvGRU는 작은 receptive field를 가지는 local operation이다. 이미지의 공간적 차원(spatial dimension)에 대한 정보를 가지는 hidden state의 평균을 구함으로써 global context를 추출하고, 해당 feature vector를 GRU의 추가적인 입력으로 사용한다. Global context는 SLAM에서 중요한데, 예를 들어 큰 규모의 움직이는 물체는 불완전한 correspondence로 인해 시스템에 성능 저하를 가져오며, network에서는 이를 인지하고 제거하는 것이 중요하다.

GRU는 업데이트된 hidden state ($h^{k+1}$)를 내놓는데, 이때 depth나 pose의 업데이트를 직접 예측하는 것 대신, dense flow fields 공간에서의 업데이트를 예측한다. 또한 hidden state를 2개의 추가적인 convolution layer에 통과시켜 2개의 출력값을 만드는데, 하나는 revision flow field ($r_{ij}\in\mathbb{R}^{H\times W\times2}$)이고, 다른 하나는 associated confidence map ($w_{ij}\in\mathbb{R}_{+}^{H\times W\times2}$)이다.

revision $r_{ij}$는 dense correspondence field($p_{ij}$)의 오차를 교정(correct)하기 위한 항(term)으로 신경망에 의해서 예측되며, 교정된 correspondence를 $p^*_{ij}=r_{ij}+p_{ij}$ 로 나타낼 수 있다.

이후에, hidden state에서 동일한 source view $i$를 공유하는 모든 features를 pooling하고, 각 픽셀별 damping factor $\lambda$를 예측한다. 또한 damping factor $\lambda$가 양수(positive)임을 보장하기 위해 softplus 연산자를 사용한다. 추가적으로 pooling된 features를 이용해 8x8 마스크를 예측하며, 이는 inverse depth 추정에 대한 결과를 upsampling하는 데 사용된다.

DBA는 flow revision의 집합을 pose와 픽셀별 depth update의 집합으로 매핑한다.

전체 frame graph에 대한 cost function을 정의하면 아래와 같다.

$\|\cdot\|_{\Sigma}$ 는 Mahalanobis distance를 의미하며, confidence weight $w_{ij}$에 기반한 오차 항(error term)을 정의한다. 따라서 위 수식은 reprojected points( $\Pi_c(G^{\prime}_{ij}\circ\Pi_c^{-1}(p_i,d_i^{\prime}))$ )가 update operator에 의해 예측되는 revised correspondence $p_{ij}^*$에 가까워지도록(match) pose $G'$과 depth $d'$을 업데이트해야 한다는 것을 의미한다.

위 수식을 선형화(linearize)하기 위해 local parameterization을 사용하고 업데이트($\Deltaξ,\Delta d$)를 위해 Gauss-Newton 알고리즘을 사용한다. 또한 수식에서 각 항은 단일(single) depth variable만 포함하고 있기 때문에 Hessian matrix가 diagonal structure(대각 행렬)이다. pose와 depth variable들을 분리하여 Schur complement(슈어 보상행렬)을 적용할 수 있고, 픽셀별 damping factor $\lambda$가 대각행렬인 depth block $C$에 더해져 손쉽게 역행렬을 구할 수 있다는 점에서 효율적인 시스템을 제공한다.

DBA layer는 computation graph의 일부로 구현되어 있으며, 훈련중에 backpropagation이 수행된다.

3.3 Training

DROID-SLAM의 시스템은 Pytorch로 구현되어 있으며, 모든 group elements의 tangent space에서 backpropagation을 수행하기 위해 LieTorch 확장자를 사용한다.

monocular setting에서 신경망은 오직 similarity transform만을 통해 카메라의 궤적을 보정(recover)할 수 있고, 이를 통한 하나의 방법이 similarity transform에 불변한(invariant) loss를 정의하는 것이다.

하지만 gauge-freedom은 훈련중에 여전히 존재하고 있으며, 선형(linear) 시스템의 조건형성(conditioning)과 기울기(graident)의 안정성에 안좋은 영향을 준다. 이는 각 훈련 시퀀스에서 첫 2개의 pose를 ground-truth pose로 고정시킴으로써 해결 가능한데, 첫 번째 pose를 고정하면 6-dof gauge freedom을 제거되고, 두 번째 pose를 고정하면 scale freedom이 제거된다.

각 훈련 예제는 7개의 프레임으로 구성된 비디오 시퀀스이며, 안정적인 훈련과 좋은 downstream performance를 위해 너무 쉽지도 않고 어렵지도 않은 샘플 비디오가 필요하다.

훈련 데이터셋은 비디오의 집합으로 이루어져 있고, $N_i$의 길이를 가지는 각 비디오 $i$에 대해서 $N_i\times N_i$의 distance matrix를 계산하는데, 이는 각 프레임쌍들간에 average optical flow magnitude를 저장한다. 그러나 모든 프레임들이 covisible 한 것은 아니기 때문에, 프레임쌍들간에 겹치는(overlap) 부분이 50% 미만이면, distance를 무한(infinity)로 설정한다. 또한 훈련중에 distance matrix에서 path들을 샘플링함으로써 동적으로 비디오를 생성하며, 인접 비디오 프레임들 사이의 평균 flow는 8px~96px 사이의 값을 가진다.

신경망을 지도할 때 pose loss와 flow loss를 섞어서 사용한다.

flow loss는 인접 프레임쌍들에 적용되는 loss이며, 예측된 depth와 pose로 얻어진 optical flow와, ground truth depth와 pose로 얻어진 flow 간의 average l2 distance를 적용하여 구해진다.

pose loss는 ground truth pose의 집합 $\{ T \}^N_i$와 예측된 pose의 집합 $\{ G \}^N_i$이 주어졌을 때

위와 같이 수식으로 나타낼 수 있다.

두 losses(flow loss + pose loss)는 매 iteration마다 기하급수적(exponentially)으로 증가하는 가중치 ($\gamma=0.9$)를 적용하여 출력값에 적용된다.

3.4 SLAM System

추론 단계에서는 신경망을 full SLAM 시스템으로 구성하는데, 비디오 스트림 입력을 받아 reconstruction과 localization을 실시간으로 수행한다. 또한 제안하는 시스템은 비동기적(asynchronously)으로 동작하는 2개의 스레드(thread)를 포함하며, 하나는 frontend thread로, 새로운 프레임을 입력받아 특징을 추출하고 keyframe을 골라 local BA를 수행한다. 나머지 하나는 backend thread로, 모든 keyframe의 history를 기반으로 동시에 global BA를 수행한다.

DROID-SLAM은 간단한 초기화를 제안한다.

프레임이 12개가 될 때까지 프레임을 계속 축적하고, optical flow가 16px 이상인 이전 프레임에 대해서만 유지한다(여기서 optical flow는 한 번의 update iteration을 통해 추정된다). 12개의 프레임이 축적되면, keyframe(프레임)간의 edge를 형성하여 frame graph를 초기화하고, 이때 특정 keyframe 기준 edge를 형성할 keyframe은 3 timestep 내에 있어야 한다. 초기화가 끝나면 update operator를 10번 iteration 돌린다.

frontend는 비디오 스트림을 직접적으로 처리하며, keyframe 집합과 covisible keyframe간의 edge를 저장하는 frame graph를 가지고 있다. 또한 keyframe의 pose와 depth는 계속해서(actively) 최적화된다.

먼저 받아오는 프레임에서 특징을 추출하고, 해당 keyframe(프레임)을 기준으로 mean optical flow 기반의 3개의 closest neighbor를 찾아 frame graph에 추가해 edge를 연결한다.

pose는 linear motion model을 통해 초기화되며, 그 후에 keyframe의 pose와 depth를 업데이트하기 위해 update operator에 몇 번의 iteration을 적용한다. 여기서 첫 2개의 pose를 고정(fix)하여 guage freedom을 제거하며, depth는 free variable로 처리한다.

새로운 프레임이 추적된 후에 지울 keyframe을 선택하는데, 프레임쌍들간의 average optical flow magnitude를 계산함으로써 거리를 계산하고 중복 프레임을 제거하며, 만약 지울만한 후보가 없으면 가장 오래된 keyframe을 제거한다.

backend는 모든 keyframe의 history를 기반으로 동시에 global BA를 수행한다.

본 시스템은 stereo나 RGB-D 비디오에도 쉽게 적용될 수 있다.

RGB-D의 경우, 센서 depth의 노이즈나 관측 오류 때문에 여전히 depth를 변수로써 다루고, 간단하게 최적화 단계에서 측정된 depth와 예측된 depth 사이의 squared distance로 페널티를 주는 항을 추가한다.

stereo의 경우, monocular 시스템에서 언급했던 것과 동일한 시스템을 사용하며, 프레임이 2배가 되고, DBA layer에서 좌우 프레임간의 상대 pose를 고정한다. 또한 frame graph에서 cross camera edges(좌우 프레임간 edges)를 통해 stereo 정보를 활용할 수 있다.

Evidence: 어떤 sensor와 SLAM 조건에서 검증했나

본 연구에서는 다양한 데이터셋과 모달리티를 이용한 실험을 진행하였고, 딥러닝과 고전 기반의 SLAM 알고리즘에서 둘 다 비교하였으며, cross-dataset generalization에 대한 실험도 중요하게 다뤘다고 한다.

앞서 연구에서 주로 사용한 Average Trajectory Error(ATE)를 통해 카메라 궤적의 정확도를 평가하였으며, 3D reconstruction 결과에 대해서는 GT가 명확한 데이터셋 외에는 평가가 힘들고 Multiview Stereo의 domain으로 여겨지기 때문에 평가에서 제외했다고 한다.

신경망은 전부 synthetic TartanAir 데이터셋의 monocular video로 학습되었으며, 학습 설정은 아래 표처럼 정리할 수 있다.

Usage / Limits: 어떤 SLAM 기준선으로 남았나

본 연구에서는 visual SLAM을 위한 end-to-end 신경망 구조인 DROID-SLAM을 소개하며, 이는 정확하고 강건하고 다재다능하며, monocular, stereo, RGB-D video에 대해 운용될 수 있고, 이전 연구들 대비 어려운 벤치마크에서 큰 차이(margin)를 보여주며 능가하는 성능을 보였다.

느낀점

SLAM의 백엔드 최적화를 DBA라는 미분 가능한 레이어로 통합하여, 반복적으로 pose와 depth를 업데이트하며 frame graph를 재구성하는 방식이 인상적이었다. 또한 monocular 학습만으로도 stereo나 RGB-D 입력에서 성능이 향상되는 일반화 능력이 눈에 띄었고, 처음 두 개의 pose를 고정하여 gauge freedom을 제거하고 학습을 안정화한 점도 이해에 큰 도움이 되었다.