LiDAR Localization 관련해서 서칭하다가, 이 분야 유명하신 학자가 포함된 survey를 발견해서, 이를 토대로 견식을 쌓고자 한다!
이 글은 학부생이 공부를 목적으로 작성한 요약, 정리이므로,
오타 혹은 바로잡을 사항이 있다면, 언제든 코멘트는 환영입니다!
Abstract
Pose estimation은 모든 모바일 로봇 응용에서 핵심이다.
지난 20년동안, LiDAR는 로봇 localization과 mapping의 표준 센서가 되었다.
이 article은 LiDAR-based global localization의 최근 progress와 advancement의 overview를 제공하는 것이 목표이다.
문제를 공식화하고 응용 범위를 탐구하기 시작했고,
maps의 발전, descriptor extraction 그리고 cross-robot localization과 같은 topic을 포함한 방법론(methodology)을 검토한다.
이 article은 3가지 테마에 따라 구성되어 있다.
1. the combination of global place retrieval and local pose estimation (전역 장소 검색과 지역 포즈 추정)
2. upgrading single-shot measurements to sequential ones for sequential global localization(single-shot을 순차적 측정으로 업그레이드)
3. extending single-robot global localization to cross-robot localization in multi-robot systems (단일 로봇에서 멀티로봇 localization으로)
마무리로는 open challenges에 대한 토의와, global LiDAR localization의 방향 제시를 한다.
처음으로 모바일 로봇의 global LiDAR localization에 대한 포괄적인 survey라고 밝혔다.
Contents
1. Introduction
1-1. Problem Formulation and Paper Organization
1-2. Typical Situations
1-3. Relationship to Previous Surveys
2. Maps for Global Localization
2-1. Keyframe-based Submap
2-2. Global Feature Map
2-3. Global Metric Map
3. Single-shot Global Localization: Place Recognition and Pose Estimation
3-1. Place Recognition Only
3-2. Place Recognition Followed by Local Pose Estimation
3-3. Pose Estimation-coupled Place Recognition
4. Sequential Global Localization
4-1. Sequential Place Matching
4-2. Sequential Metric Localization
5. LiDAR-aided Cross-robot Localization
5-1. LiDAR-aided Multi-robot System
5-2. Cross-robot Back-end
6. Open Problems
6-1. Evaluation Difference
6-2. Multiple Modalities
6-3. Less Overlap
6-4. Unbalanced Matching
6-5. Efficiency and Scalability
6-6. Generalization Ability
7. Conclusion
1. Introduction
도로에서의 모바일 로봇, 밭에서의 농업로봇을 포함한 광범위한 모바일 로봇에서 'Autonomous navigation'은 필수적이다.
이를 위해 어떤 navigation system이든, robot localization은 indispensable role을 수행한다.
오늘날은 대규모에서, 계속 변화하는 환경에서 작동하며 robot localization과 mapping에서 잠재된 challenge를 겪는다.
GNSS(Global Navigation Satellite System)
실외 로봇 항법(robot navigation outdoors)에 널리 쓰이며, 2가지 이점을 갖는다.
1. GNSS-fused method는 로봇의 local motion을 제한된 오차 내에서 계속 트래킹할 수 있다.
-> e.g. GNSS-aided simultaneous localization and mapping (SLAM) *Reference (Gvins)
2. global position 정보를 준다.
-> 지구에서 초기 position을 얻는데 도움을 주고, robot localization을 실패했을 때 position을 복구하는 데 도움을 준다.
==> 위는 2가지 localization problem과 연결된다: pose tracking, global localization *Reference book (Probabilistic Robotics)
Pose tracking 문제와 달리, global localization은 처음부터 주어진 지도에서 전역적으로 위치를 파악해야 한다.
따라서, 포즈 공간은 일반적으로 포즈 추적 문제보다 크기 때문에 해결하기 어렵다. (??)
GNSS는 위성으로 받은 데이터 품질에 의존성이 크므로, 실내, 밀집된 도시, 숲 같은 도시 환경에선 실용적이지 X
-> UWB(초광대역, ultra-wideband)와 다른 신호 방출기(signal emitters)를 global localization에 활용되거나,
visual-aided localization을 통한 외부 마커나 태그로 global position과 orientation 정보를 제공받기도 한다.
-> 온보드 센서가 일반적인 해결방법이다.
-> 정보가 풍부한 카메라를 이용해, 초기에 global visual localization에 접근하는 주제도 상당히 관련이 있고, 많은 연구 관심을 불러일으키기도 했다.
LiDAR(Light detection and ranging) 센서
오늘날 로보틱스 커뮤니티에서 표준 장치로,
초기 레이저 센서는 해상도와 범위가 낮은 2D 레이저 포인트만 제공했지만, 3D의 상대적으로 dense point cloud로 발전했다.
LiDAR 센서는 빛을 방출하고 받음으로써 distance 측정한다.
카메라와 비교하면, 넓은 범위의 측정이 illumination과 appearance change에 더 강건하다.
-> 강건한 global LiDAR localzation을 만든다.
1-1. Problem Formulation and Paper Organization
Problem Formulation 정리
prior map M, input data D, 추정된 robot states(poses) X는 베이즈 규칙에 따라,
p(X|D, M)은 주어진 pose에 대한 likelihood,
p(X|M)은 X에 대한 prior 정보,
map M은 robot localization에 중요한 요소이고, LiDAR기반 localization map은 Section 2에 기록.
local pose tracking에서, p(X|M)은 일반적으로 p(X) ∼ N (·)와 같은 unimodal distribution을 따른다.
global localization에선, 로봇이 어딘지에 대한 정보가 부족하고 pose error를 제한할 수 없다.
고전적인 Probabilistic Robotics에선, 확률 p(X | M)이 보통 a uniform distribution without prior on the robot pose를 따른다.
i.e., p(X | M) = 1/|X|
그 추정 결과는 아래 식과 같이, 주어진 지도에 대한 global localization의 일반적인 formulation이다.
실제로 local pose tracking보다 solution space가 크므로, 더 어렵다.
Paper Organization 요약
Section 1 : details the global localization problem and the scope of this survey.
Section 2 : 3 types of map frameworks
Section 3,4 : an overview of existing methods based on the number of measurements: single-shot or sequential.
The former focuses on matching a single LiDAR point cloud on a given map, while the latter takes sequential measurements to approximate the ground truth pose.
Section 5 : we extend the global localization problem to the cross-robot localization problem for multi-robot applications.
Section 6 : discussions about open challenges and emerging issues of global LiDAR localization.
개요에 대한 상세 설명 정리
앞서 Problem Formulation에서 말한 문제를 SISO로 시작하며, 'single-shot global localization' 문제로 지칭해 Section3에서 리뷰한다. 이 문제는 Maximum Likelihood Estimation (MLE) 문제로 공식화될 수 있다.
Section 3에서는, 2가지 접근 방식의 결합 정도(coupling degree)에 따라 single-shot methods를 더 분류한다 : place recognition과 pose estimation
직관적으로, place recognition은 검색 방식(retrieval manner)으로 global localization하며,
pose estimation은 세밀한 metric pose를 제공한다.
섹션 3.1 3.2, ...을 진행하며 결합도가 증가하는 순으로 설명될 것이고, global map M의 형태도 하위 섹션에 따라 달라진다.
z_t는 수집된 LiDAR point clouds로서, signle-shot global localization system의 측정으로 간주될 수 있기 때문에 가치 있다.
sparse LiDAR scan일 때가 dense일 때보다 어렵지만, 두 측정 간의 차이를 두진 않는다.
size of a LiDAR map은 single LiDAR point cloud보다 크므로, single-shot problem으로 해결이 어렵다.
따라서 z_t의 stream인 D로서 접근하는데 이를 sequential global localization이라 하고 Section4에서 다룬다.
p(Xt)는 sequential X_t의 연결을 나타내느 prior 정보를 포함한다.
추정 문제는 SeqSLAM과 같이, 일괄 처리(batch processing) 방식의 결과로 sequnce of single-shot global localization의 fusion으로 해결된다.
이를 해결함으로써, global localization은 지도를 기준으로 로봇 pose의 trajectory를 제공할 수 있다.
그리고 입력 데이터는 D = {Zt, Ut−1}로 나타내며, U는 모바일 로봇의 odometry input이다.
그러나, 많은 실제 응용에서는 loal pose tracking의 초기 추측으로서, 최종 global pose x_t에만 관심이 있을 수 있다.
반면, single-shot global localization 결과는 정확하지 않을 수 있고, 여러 가설을 추적하기 위해 back-end가 필요하다.
이 맥락에서 sequantial global localization은 Markovian process(=recursive filtering for localization, Monte Carlo localization)로 볼 수 있다.
이는 previous recursive inference(추론)에 의해 결정된다.
위의 방정식에서 알 수 있듯, single-shot p(z_t | x_t, M)은 여전히 sequential global localization 문제의 핵심 역할이다.
다른 관점으로는, place recognition과 pose estimation을 기반으로, sequential global localization을 분류해, Section3과 4의 차이를 해소할 수 있다.
1-2. Typical Situations
실제 상황에 따라, 구체적인 global localization 방법은 달라진다.
1.2.1. Loop Closure Dection(LCD, loop closing)
SLAM 프레임워크에서, LCD는 로봇이 이전에 방문한 위치나 장소로 돌아왔는지 확인하는 데 사용하는 방법.
단순히 재방문한 위치를 인식하는 것만으로는 충분하지 X
=> 현재 위치와 이전 위치 간의 상대적인 변환이 필요함. (graph-based consistent mapping)
LCD는 일반적으로 intra-sequence문제로 간주된다.
* intra-sequence
측정과 지도가 동일한 sequence에서 파생되어, robot's journey의 연속성을 유지하는 시나리오를 말함.
* inter-sequence
다양한 시간 프레임에서 발생할 수 있는 고유한 데이터 sequence에서 측정값과 지도가 제공하는 인스턴스를 말함.
1.2.2. Re-localization
로봇이 pose tracking에 실패했거나, 로봇이 납치되었을 때 복구하는 방법
+ navigtion 시작때 로봇을 활성화하는 데 사용할 수 있음.
LCD와 Re-localization의 근본적인 차이는 사용된 데이터의 순서(data sequence):
re-localization은 inter-sequence 문제로 구분되며, 측정과 맵이 다른 data sequence로 부터 획득되었다.
-> 장기 multi-session sequence의 경우, re-localization은 상당히 문제가 된다.
(e.g. 오래된 point cloud map에서 LiDAR scan을 re-localization하려는 경우)
re-localization의 pose space |X|은 LCD보다 크다.
(why? re-localization은 사용할 수 있는 prior 정보가 없는 반면,
LCD는 odometry 정보를 이용해 대략적인 초기 추정치(crude initial estimate로 pose space를 더 작은 크기로 줄일 수 있다.)
1.2.3. Cross-robot Localization
위 Fig.2는 일반적인 시나리오 3개를 보여준 것으로, global localization을 여러 sensor와 fused sensor modalities를 통해 달성할 수 있다.
Multiple online map들은, incremental SLAM 또는 다른 mapping 기술을 이용한 multiple robots으로부터 생성될 수 있다.
이러한 map은 부분적으로 겹칠 수 있지만, 각자의 좌표계 아래에 있다.
Cross-robot localization 혹은 multiple-robot mapping은 다른 로봇의 지도에서 전역적으로 로봇 localize하는 걸 목표로 한다.
D와 M은 다른 로봇으로부터 오고, 모든 로봇들의 pose는 추정돼야 한다.
이론적으로, single-robot re-localization을 multi-robot 시나리오에서 하는 것과 동일하다.
관련 기술은 오프라인 지도 merging 응용에도 기술을 사용할 수 있다.
e.g.) 장기간의 single robot에 의해 수집한 multiple session에 사용할 수 있다. (단, 장기간 환경 하에 perspective change 발생으로 어려울 수 있음.)
1-3. Relationship to Previous Surveys
Lowry et al. | review on visual "place" recognition in 2015.
Peng Yin et al. | General place recognition survey: Towards the real-world autonomy age. in 2022.
> sensor modalities, challenges, datasets을 포함한 여러 측면에서 진행함. localization 컨셉이 아님.
....
