시각적 주행 기록계

Visual odometry
비디오 시퀀스에서 움직이는 물체의 광학적 흐름 벡터.

로봇 공학 및 컴퓨터 시각에서 시각적 주행 기록계는 관련 카메라 이미지를 분석하여 로봇의 위치와 방향을 결정하는 과정입니다.화성 탐사 [1]로봇과 같은 다양한 로봇 애플리케이션에 사용되어 왔습니다.

개요

항법에서 주행 기록계는 휠 회전을 측정하기 위해 로터리 인코더와 같은 장치를 통해 시간 경과에 따른 위치 변화를 추정하기 위해 액추에이터의 움직임으로부터 데이터를 사용하는 것이다.바퀴가 달린 차량이나 트랙 차량에 유용하지만 다리 달린 로봇과 같은 비표준 이동 방법을 사용하는 이동 로봇에는 전통적인 주행 기록 측정 기술을 적용할 수 없다.또한 주행 기록계는 바퀴가 미끄러지고 바닥에서 미끄러지는 경향이 있기 때문에 바퀴 회전에 비해 이동 거리가 균일하지 않기 때문에 일반적으로 정밀도 문제가 있습니다.차량이 평활하지 않은 노면에서 작동할 경우 오차는 더욱 가중됩니다.주행 기록계 판독치는 이러한 오류가 누적되고 시간이 지남에 따라 점점 더 신뢰할 수 없게 됩니다.

시각적 주행 거리 측정은 순차적 카메라 이미지를 사용하여 주행 거리 측정 정보를 결정하는 과정입니다.시각적 주행 거리 측정 기능을 통해 로봇이나 차량에서 모든[citation needed] 유형의 이동을 사용하여 항법 정확도를 높일 수 있습니다.

종류들

VO에는 다양한 종류가 있습니다.

단안경 및 스테레오

VO는 카메라 설정에 따라 단안 VO(단일 카메라), 스테레오 VO(스테레오 설정 내 카메라 2대)로 분류할 수 있다.

VIO는 GPS가 거부된 상황에서 현지화를 제공하는 상용 쿼드콥터에서 널리 사용됩니다.

기능 기반의 직접 방식

종래의 VO의 시각 정보는, 화상 특징점을 추출해, 화상 시퀀스로 추적하는 특징 베이스의 방법에 의해서 취득된다.VO 연구의 최근 발전은 영상 시퀀스의 픽셀 강도를 시각적 입력으로 직접 사용하는 직접적 방법이라고 불리는 대안을 제공했다.하이브리드 방식도 있습니다.

시각적 관성 주행 기록계

VO 시스템 내에서 관성 측정 장치(IMU)를 사용하는 경우 일반적으로 VIO(Visual Inertial Odometry)라고 합니다.

알고리즘.

시각적 주행 거리 측정에 대한 대부분의 기존 접근방식은 다음 단계에 기초한다.

  1. 단일 카메라,[2][3] 스테레오 [3][4]카메라 또는 전방위 [5][6]카메라를 사용하여 입력 이미지를 획득합니다.
  2. 화상 보정 : 렌즈 왜곡 제거 등을 위한 화상 처리 기법 적용
  3. 기능 검출: 대상 연산자를 정의하고 프레임 간에 기능을 대조하여 광학 흐름 필드를 구성합니다.
    1. 기능의 추출과 상관 관계.
      • 장기 피쳐 트래킹이 아닌 상관 관계를 사용하여 두 이미지의 대응 관계를 설정합니다.
    2. 광플로우장을 구축한다(Lucas-Kanade 방식).
  4. 흐름 필드 벡터에 잠재적인 추적 오류가 있는지 확인하고 [7]특이치를 제거합니다.
  5. 광플로우로부터의 [8][9][10][11]카메라 동작의 추정.
    1. 선택 1: 상태 추정 분포 유지 관리를 위한 Kalman 필터.
    2. 선택지 2: 인접한 두 이미지 간의 재투영 오류를 기준으로 비용 함수를 최소화하는 기능의 기하학적 특성과 3D 특성을 찾습니다.이는 수학적 최소화 또는 무작위 샘플링을 통해 수행할 수 있습니다.
  6. 이미지 전체의 커버리지를 유지하기 위해 트랙포인트를 정기적으로 재입력합니다.

특징 기반 방법의 대안은 센서 공간에서 직접 오류를 최소화하고 후속적으로 특징 일치와 [4][12][13]추출을 방지하는 "직접" 또는 외관 기반 시각적 주행 기록계 기법이다.

또 다른 방법인 '시야도측정법'은 특징을 [14][15]추출하는 대신 위상 상관 관계를 사용하여 영상 간의 평면 회전 변환을 추정합니다.

에코모션

코너 검출을 통한 에고모션 추정

에코모션은 환경 [16]내 카메라의 3D 모션으로 정의됩니다.컴퓨터 비전 분야에서 에코모션은 경직된 [17]장면에 대한 카메라의 움직임을 추정하는 것을 말한다.에코모션 추정의 예로는 도로의 선이나 자동차 자체에서 관찰되는 도로 표지판을 기준으로 자동차의 이동 위치를 추정하는 것이 있습니다.자율 로봇 항법 애플리케이션에서 [18]에코모션의 추정은 중요합니다.

개요

카메라의 에코모션을 추정하는 목적은 [19]카메라가 촬영한 일련의 이미지를 사용하여 환경 내에서 카메라의 3D 움직임을 결정하는 것입니다.환경 내 카메라의 움직임을 추정하는 과정에는 움직이는 [20]카메라에 의해 포착된 일련의 이미지에 대한 시각적 주행 기록계 기법의 사용이 포함됩니다.이것은, 통상, 기능 검출을 사용해, 싱글 카메라 [20]또는 스테레오 카메라로부터 생성되는[16] 시퀀스로, 2개의 화상 프레임으로부터 광학 플로우를 구축합니다.각 프레임에 스테레오 이미지 페어를 사용하면 오류를 줄이고 깊이와 스케일 [21][22]정보를 얻을 수 있습니다.

피쳐는 첫 번째 프레임에서 검출되고 두 번째 프레임에서 대조됩니다.다음으로 이 정보를 사용하여 이들 2개의 이미지에서 검출된 기능의 광플로우 필드를 작성합니다.광학 플로우 필드는 확장의 초점인 단일 지점에서 기능이 어떻게 다른지를 보여줍니다.광학 플로우 필드로부터 팽창의 초점을 검출해, 카메라의 움직임의 방향을 나타내, 카메라의 움직임의 추정치를 얻을 수 있습니다.

또, 특징 검출이나 광학 플로우 필드를 회피해,[16] 화상의 강도를 직접 사용하는 방법 등, 화상으로부터 에고모션 정보를 추출하는 방법도 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Maimone, M.; Cheng, Y.; Matthies, L. (2007). "Two years of Visual Odometry on the Mars Exploration Rovers" (PDF). Journal of Field Robotics. 24 (3): 169–186. CiteSeerX 10.1.1.104.3110. doi:10.1002/rob.20184. Retrieved 2008-07-10.
  2. ^ Chhaniyara, Savan; KASPAR ALTHOEFER; LAKMAL D. SENEVIRATNE (2008). "Visual Odometry Technique Using Circular Marker Identification For Motion Parameter Estimation". Advances in Mobile Robotics: Proceedings of the Eleventh International Conference on Climbing and Walking Robots and the Support Technologies for Mobile Machines, Coimbra, Portugal. The Eleventh International Conference on Climbing and Walking Robots and the Support Technologies for Mobile Machines. Vol. 11. World Scientific, 2008.
  3. ^ a b Nister, D; Naroditsky, O.; Bergen, J (Jan 2004). Visual Odometry. Computer Vision and Pattern Recognition, 2004. CVPR 2004. Vol. 1. pp. I–652 – I–659 Vol.1. doi:10.1109/CVPR.2004.1315094.
  4. ^ a b Comport, A.I.; Malis, E.; Rives, P. (2010). F. Chaumette; P. Corke; P. Newman (eds.). "Real-time Quadrifocal Visual Odometry". International Journal of Robotics Research. 29 (2–3): 245–266. CiteSeerX 10.1.1.720.3113. doi:10.1177/0278364909356601. S2CID 15139693.
  5. ^ Scaramuzza, D.; Siegwart, R. (October 2008). "Appearance-Guided Monocular Omnidirectional Visual Odometry for Outdoor Ground Vehicles". IEEE Transactions on Robotics. 24 (5): 1015–1026. doi:10.1109/TRO.2008.2004490. hdl:20.500.11850/14362. S2CID 13894940.
  6. ^ Corke, P.; Strelow, D.; Singh, S. "Omnidirectional visual odometry for a planetary rover". Intelligent Robots and Systems, 2004.(IROS 2004). Proceedings. 2004 IEEE/RSJ International Conference on. Vol. 4. doi:10.1109/IROS.2004.1390041.
  7. ^ Campbell, J.; Sukthankar, R.; Nourbakhsh, I.; Pittsburgh, I.R. "Techniques for evaluating optical flow for visual odometry in extreme terrain". Intelligent Robots and Systems, 2004.(IROS 2004). Proceedings. 2004 IEEE/RSJ International Conference on. Vol. 4. doi:10.1109/IROS.2004.1389991.
  8. ^ Sunderhauf, N.; Konolige, K.; Lacroix, S.; Protzel, P. (2005). "Visual odometry using sparse bundle adjustment on an autonomous outdoor vehicle". In Levi; Schanz; Lafrenz; Avrutin (eds.). Tagungsband Autonome Mobile Systeme 2005 (PDF). Reihe Informatik aktuell. Springer Verlag. pp. 157–163. Archived from the original (PDF) on 2009-02-11. Retrieved 2008-07-10.
  9. ^ Konolige, K.; Agrawal, M.; Bolles, R.C.; Cowan, C.; Fischler, M.; Gerkey, B.P. (2006). "Outdoor mapping and navigation using stereo vision". Proc. Of the Intl. Symp. On Experimental Robotics (ISER). Springer Tracts in Advanced Robotics. 39: 179–190. doi:10.1007/978-3-540-77457-0_17. ISBN 978-3-540-77456-3.
  10. ^ Olson, C.F.; Matthies, L.; Schoppers, M.; Maimone, M.W. (2002). "Rover navigation using stereo ego-motion" (PDF). Robotics and Autonomous Systems. 43 (4): 215–229. doi:10.1016/s0921-8890(03)00004-6. Retrieved 2010-06-06.
  11. ^ Cheng, Y.; Maimone, M.W.; Matthies, L. (2006). "Visual Odometry on the Mars Exploration Rovers". IEEE Robotics and Automation Magazine. 13 (2): 54–62. CiteSeerX 10.1.1.297.4693. doi:10.1109/MRA.2006.1638016. S2CID 15149330.
  12. ^ Engel, Jakob; Schöps, Thomas; Cremers, Daniel (2014). "LSD-SLAM: Large-Scale Direct Monocular SLAM" (PDF). In Fleet D.; Pajdla T.; Schiele B.; Tuytelaars T. (eds.). Computer Vision. European Conference on Computer Vision 2014. Lecture Notes in Computer Science. Vol. 8690. doi:10.1007/978-3-319-10605-2_54.
  13. ^ Engel, Jakob; Sturm, Jürgen; Cremers, Daniel (2013). "Semi-Dense Visual Odometry for a Monocular Camera" (PDF). IEEE International Conference on Computer Vision (ICCV). CiteSeerX 10.1.1.402.6918. doi:10.1109/ICCV.2013.183.
  14. ^ Zaman, M. (2007). "High Precision Relative Localization Using a Single Camera". Robotics and Automation, 2007.(ICRA 2007). Proceedings. 2007 IEEE International Conference on. doi:10.1109/ROBOT.2007.364078.
  15. ^ Zaman, M. (2007). "High resolution relative localisation using two cameras". Journal of Robotics and Autonomous Systems. 55 (9): 685–692. doi:10.1016/j.robot.2007.05.008.
  16. ^ a b c Irani, M.; Rousso, B.; Peleg S. (June 1994). "Recovery of Ego-Motion Using Image Stabilization" (PDF). IEEE Computer Society Conference on Computer Vision and Pattern Recognition: 21–23. Retrieved 7 June 2010.
  17. ^ Burger, W.; Bhanu, B. (Nov 1990). "Estimating 3D egomotion from perspective image sequence". IEEE Transactions on Pattern Analysis and Machine Intelligence. 12 (11): 1040–1058. doi:10.1109/34.61704. S2CID 206418830.
  18. ^ Shakernia, O.; Vidal, R.; Shankar, S. (2003). "Omnidirectional Egomotion Estimation From Back-projection Flow" (PDF). Conference on Computer Vision and Pattern Recognition Workshop. 7: 82. CiteSeerX 10.1.1.5.8127. doi:10.1109/CVPRW.2003.10074. S2CID 5494756. Retrieved 7 June 2010.
  19. ^ Tian, T.; Tomasi, C.; Heeger, D. (1996). "Comparison of Approaches to Egomotion Computation" (PDF). IEEE Computer Society Conference on Computer Vision and Pattern Recognition: 315. Archived from the original (PDF) on August 8, 2008. Retrieved 7 June 2010.
  20. ^ a b Milella, A.; Siegwart, R. (January 2006). "Stereo-Based Ego-Motion Estimation Using Pixel Tracking and Iterative Closest Point" (PDF). IEEE International Conference on Computer Vision Systems: 21. Archived from the original (PDF) on 17 September 2010. Retrieved 7 June 2010.
  21. ^ Olson, C. F.; Matthies, L.; Schoppers, M.; Maimoneb M. W. (June 2003). "Rover navigation using stereo ego-motion" (PDF). Robotics and Autonomous Systems. 43 (9): 215–229. doi:10.1016/s0921-8890(03)00004-6. Retrieved 7 June 2010.
  22. ^ Sudin Dinesh, Koteswara Rao, K.; Unnikrishnan, M.; Brinda, V.; Lalithambika, V.R.; Dhekane, M.V. "행성 탐사선 시각적 주행 기록 알고리즘의 향상"IEEE 통신, 제어, 신호 처리 및 컴퓨팅 애플리케이션(C2SPCA)의 새로운 동향에 관한 국제회의, 2013년