home

기술동향칼럼

무인 항공기의 동적 비행 능력 구현을 위한
시스템 반도체 기반 스테레오 비전 시스템 설계 기술 동향

김 윤 진 교수  | 숙명여자대학교 소프트웨어학부

가. 기존 무인 항공기와 비행 생명체의 비행 방식 비교

기존 무인 항공기의 원격 조종/GPS 기반 정적 비행 방식

  오늘날 무인 항공기의 비행 방식은 원격 조종 방식과 GPS 기반 비행 방식으로 나뉠 수 있다. 원격 조종 방식의 경우 그림 1 (a)와 같이 조종자인 사람의 시각으로 목표 지점을 설정하고 무인 항공기를 직접 제어하여 목표 지점에 도달할 수 있는 비행 방식이라 할 수 있다. 한편 GPS 기반 비행 방식의 경우 그림 1 (b)와 같이 무인 항공기에 GPS 좌표 기반 목표 지점이 미리 입력되고 GPS 위성을 통해 현재 위치를 계산하면서 목표 지점까지 자동 조종/자율 비행을 통해 도달 하는 방식이다.

[그림 1] 기존 무인 항공기의 비행 방식

[그림 1] 기존 무인 항공기의 비행 방식

이러한 현재의 무인 항공기 비행 방식은 아래와 같은 비행 능력의 한계를 보인다.

    ➀ 현재 사용 가능한 에너지 용량으로 임의의 목표 지점까지 도달 가능한 지 여부는 정확한 판단이 불가능하다.

  • - 원격 조종 방식 : 조종자인 사람의 시각을 통해 임의의 목표 지점까지 도달 기능 여부를 대략적으로 판단하기 때문에, 거리가 멀어질수록 현재 갖고 있는 에너지 용량이 목표 지점까지의 비행에 충분한 지 여부를 정확하게 판단하는데 한계가 있다.
  • - GPS 기반 비행 방식 : GPS 위성을 통해 현재 위치에서부터 목표 지점까지의 거리를 계산해서 해당 에너지 사용량을 산출할 수 있지만, 이는 임의의 목표 지점이 아닌 GPS 좌표값이 이미 알려진 목표 지점만 가능하다는 제약이 있다.
  • ➁ 임의의 목표 지점까지 정확히 그 지점에 도달하는 것은 불가능하다.

  • - 원격 조종 방식 : 조종자인 사람이 본인 시각 혹은 항공기에 장착된 카메라를 통해 임의의 목표 지점을 인식하여 비행을 제어하기 때문에, 목표 지점에 대한 조종자의 시야가 확보되지 않거나, 카메라를 통한 영상 수신과 조종 신호의 송수신이 불안정하거나 불가능한 경우 그 지점을 지나치거나 충돌할 가능성이 있다.
  • - GPS 기반 비행 방식 : GPS 좌표값을 알 수 없거나 GPS 신호의 송수신이 불가능한 임의의 목표 지점에는 도달 자체가 불가능하며, GPS 좌표값이 이미 알려지고 GPS 신호의 송수신이 가능한 목표 지점이라 할지라도 GPS 신호의 오차로 인해 수 미터 미만의 정확도를 갖고 목표 지점에 도달하는 것은 불가능하다.

본 기고문에서는 이러한 ➀, ➁의 제약을 갖는 무인 항공기의 비행 방식을 정적 비행 방식이라 정의한다.

비행 생명체의 시각 능력 기반 동적 비행 방식

  비행 생명체의 경우 그림 2와 같이 자신의 시각 능력을 기반으로 비행 목표 지점을 임의로 설정할 수 있으며 그 지점까지의 정밀한 접근이 가능하다. 이는 생명체의 두 눈을 통해 임의의 목표 지점을 양쪽 각각의 눈 위치에서 보고 그 영상의 차이를 이용해 거리감을 인지하고 비행하기 때문이다.

[그림 2] 시각 정보 기반 비행 생명체의 목표 지점 도달 방식

[그림 2] 시각 정보 기반 비행 생명체의 목표 지점 도달 방식

이러한 비행 생명체는 앞서 설명한 무인 항공기 비행 능력의 한계 ➀, ➁를 뛰어넘는 아래와 같은 비행 능력을 가진다.

  • Ⓐ 비행 생명체 스스로 임의의 목표 지점까지 도달 가능 여부를 판단할 수 있다.
    : 비행 생명체는 자신의 시각을 통해 임의의 목표 지점까지 거리 값을 대략적으로 판단하지만, 그동안의 수많은 시각 정보 기반 비행 경험들과 현재의 신체 능력을 토대로 목표 지점까지의 도달 기능 여부를 스스로 판단할 수 있다.
  • Ⓑ 비행 생명체 스스로 임의의 목표 지점을 인식하여 정확히 그 지점에 도달할 수 있다.
    : 비행 생명체는 자신의 시각을 통해 스스로 임의의 목표 지점을 계속 인식하며 비행 할 수 있으며, 양쪽의 눈을 통한 시각 정보의 차이로 그 지점까지의 거리감을 계속 인지하며 비행할 수 있다. 따라서 목표 지점과의 거리가 가까워질수록 해당 거리를 스스로 판단하고 정확히 그 지점에 도달하고자 행동을 취할 수 있다.

본 기고문에서는 이러한 Ⓐ, Ⓑ의 능력을 갖는 생명체의 비행 방식을 동적 비행 방식이라 정의한다.

나. 동적 비행 능력을 갖춘 무인 항공기의 필요성

무인 항공기의 동적 비행 능력 정의

 기존의 정적 비행 방식만 가능한 무인 항공기에 앞서 설명한 비행 생명체의 Ⓐ, Ⓑ 능력을 기술적으로 구현할 수 있다면, 다음과 같은 동적 비행 능력을 갖춘 무인 항공기 개발을 기대할 수 있다.

  • ㉠ 비행 생명체의 Ⓐ 능력 구현
    : 무인 항공기는 비행 전 임의의 목표 지점이 카메라 영상을 통해 주어지면 스스로 목표 지점까지 도달 가능 여부를 판단할 수 있다.
  • ㉡ 비행 생명체의 Ⓑ 능력 구현
    : 무인 항공기는 비행 중에 스스로 카메라 영상을 통해 임의의 목표 지점을 놓치지 않고 추적할 수 있고, 정확히 그 지점에 도달할 수 있다.

동적 비행 능력을 갖춘 무인 항공기가 필요한 분야

 동적 비행이 가능한 무인 항공기가 개발된다면, 현재 무인 항공기가 활용되고 있는 4개 분야에서 그동안 불가능했던 다음과 같은 임무들을 성공적으로 수행할 수 있다.

  • 카메라를 통한 촬영, 검사 분야 : 원격 조종/GPS 기반 거시적 촬영/검사 목적이 아닌, 무인 항공기 스스로 초근접 촬영/검사 가능함
  • 물류 배송 분야 : 원격 조종/GPS 기반 정적 비행 방식으로는 배송할 수 없는 지점에 무인 항공기 스스로 정확히 배송 가능함
  • 재난/응급 상황 대처 분야 : 사람이 접근할 수 없거나 원격 조종/GPS 기반 정적 비행 방식으로는 접근 불가능한 다음과 같은 경우
    • - 응급 환자/조난자에 무인 항공기 스스로 정확히 접근하여, 의료/구호/구조 물품 장비 전달 가능함
    • - 화재 건물의 특정 층/장소에 무인 항공기 스스로 정확히 접근하여 화재 현장 파악하고 진압 가능함
    • - 유해/위험 물질에 무인 항공기 스스로 정확히 접근하여 분석/이동/제거 가능함
  • 군사용 정찰/감시 분야 : 원격 조종/GPS 기반 일정 범위에 대한 정찰/감시 목적이 아닌 무인 항공기 스스로 초근접 정찰/감시 임무 수행이 가능함.

다. 무인 항공기의 동적 비행 능력 구현을 위한 시스템 반도체 설계 기법 연구의 필요성

무인 항공기의 동적 비행 능력 구현을 위해 요구되는 기술

  앞서 설명한 무인 항공기의 동적 비행 능력 ㉠, ㉡ 을 구현하기 위해 반드시 필요한 기술은 다음과 같다.

  • ⓐ 동적 비행 능력 ㉠ 구현을 위해 필요한 기술
    무인 항공기 스스로 비행 전 수십 미터 ~ 수 킬로미터에 걸친 임의의 목표 지점까지 정확한 거리를 측정할 수 있는 기술이 필요하다. 정확한 거리를 측정할 수 있다면 목표 지점까지의 비행에 필요한 에너지 사용량을 산출할 수 있고, 현재 갖고 있는 에너지 용량이 목표 지점까지의 비행에 충분한 지 판단 할 수 있다. 생명체는 수십 미터 내외의 근거리부터 수 킬로미터 떨어져 있는 원거리에 위치한 목표 지점까지 자신의 시각으로 인식할 수 있기 때문에, 무인 항공기 역시 수십 미터 ~ 수 킬로미터에 걸친 거리 측정 능력을 갖춰야 한다.
  • ⓑ 동적 비행 능력 ㉡ 구현을 위해 필요한 기술
    무인 항공기 스스로 비행 중 장착된 카메라를 통해 충분히 짧은 영상 프레임 간격으로 목표 지점을 항상 동일하게 인식할 수 있는 기술이 필요하다. 또한 목표 지점을 매번 인식할 때 마다 스스로 목표 지점까지 변화하는 정확한 거리를 실시간으로 측정할 수 있는 기술이 필요하다. 왜냐하면 실시간 거리 측정을 통해 목표 지점까지의 거리가 비행 중에 늘어나지 않고 계속 줄어들게 비행 방향을 설정하면서, 최종적으로 목표 지점을 지나치거나 충돌할 가능성 없이 정확히 그 지점에 도달 할 수 있는 자동 조종/자율 비행이 가능해지기 때문이다.

기존 거리 측정 기술로 무인 항공기의 동적 비행 능력 구현이 불가능한 이유

  앞서 설명한 무인 항공기의 동적 비행 능력 구현을 위해 필요한 ⓐ, ⓑ 기술의 핵심은 거리 측정 기술이다. 비행 전 수십 미터 ~ 수 킬로미터에 걸친 임의의 목표 지점까지 정확한 거리를 측정할 수 있어야 하며, 비행 중에는 목표 지점을 매번 인식할 때 마다 목표 지점까지 변화하는 정확한 거리를 실시간으로 측정할 수 있어야 한다. 하지만 기존 거리 측정 기술로 이를 구현하기에는 사실상 불가능 하다. 현재 구현 가능한 거리 측정 기술은 레이저와 단안 카메라 조합 방식과 비행 생명체의 눈과 마찬가지로 2대의 카메라를 사용하는 스테레오 비전 방식이 존재 하는데, 불가능한 이유는 다음과 같다.

  • 레이저와 단안 카메라 조합 방식
    레이저의 특성상 목표물의 재질에 따라 거리 측정이 불가능하거나 심한 오차가 발생할 수 있어, 그 어떤 임의의 목표 지점까지라도 정확한 거리를 측정할 수 있는 기술이라고 볼 수 없다.
  • 기존 스테레오 비전 방식
    스테레오 비전 방식의 경우 목표물의 재질에 상관없이 카메라 영상으로 파악되는 그 어떤 목표지점까지라도 정확한 거리를 측정할 수 있다. 하지만 지금까지 개발된 스테레오 비전 기술은 연산 처리량이 많지 않고 복잡도가 높지 않은 스테레오 비전 알고리즘이 적용된 수십 미터 내외의 근거리 혹은 수백 미터 미만의 중거리 측정에 한정된 기술이다. 하지만 수 킬로미터 범위의 원거리 목표 지점까지의 정확한 거리를 측정하고 매번 변화하는 정확한 거리를 실시간으로 측정하려면, 초고해상도의 영상으로부터 추출되는 막대한 양의 병렬 데이터와 연산 복잡도가 높은 스테레오 비전 알고리즘을 고성능으로 처리할 수 있어야 하는데 기존의 근ㆍ중거리 측정에 한정된 방식으로는 구현이 불가능하다.

스테레오 비전 기반 실시간 거리 측정을 위한 시스템 반도체 설계 기법 연구의 필요성

  무인 항공기의 동적 비행 능력을 구현하려면 초고해상도의 영상으로부터 추출되는 막대한 양의 병렬 데이터와 연산 복잡도가 높은 스테레오 비전 알고리즘을 고성능으로 처리할 수 있어야 한다. 또한 한정된 에너지원을 사용하는 무인 항공기의 경우 고성능 처리가 가능하더라도 너무 많은 전력을 소모한다면 비행 가능 시간이 단축되므로 고성능 스테레오 비전 알고리즘의 저전력 설계가 이뤄져야 한다. 따라서 이러한 고성능/저전력 스테레오 비전 시스템을 구현하기 위해 시스템 반도체 기반 하드웨어/소프트웨어 통합 설계 기법이 필요하며, 이러한 설계 기법은 앞으로 무인항공기의 동적 비행 능력을 가능하게 하는 컴퓨터 비전 기술로 자리매김할 것이다.

라. 국내·외 연구동향

무인 항공기의 동적 비행 기술 연구동향

  본 기고문에서 정의하는 동적 비행 능력을 갖춘 무인 항공기는 현재 공식적으로 존재하지 않는다. 동적 비행 능력에 대한 정의조차 무인 항공기 분야에서 찾아볼 수 없으며 구현에 대한 시도조차도 아직 공식적으로 알려진 바가 없다. 현재까지 무인 항공기의 자율 비행 기술은 장애물 충돌 회피 [1] 또는 움직이는 특정 사물을 촬영하기 위한 추적 [2] 등에 국한되어 개발되었다.

스테레오 비전 기반 실시간 거리 측정 기술 연구동향

  무인 항공기의 동적 비행 능력 구현을 위해 필요한 기술의 핵심은 스테레오 비전 기반 실시간 거리 측정 기술이다. 스테레오 비전을 통해 비행 전 수십 미터 ~ 수 킬로미터에 걸친 임의의 목표 지점까지 정확한 거리를 측정할 수 있어야 하며, 비행 중에는 목표 지점을 매번 인식할 때 마다 목표 지점까지 변화하는 정확한 거리를 실시간으로 측정할 수 있어야 한다. 하지만 표 1과 같이 지금까지 개발된 스테레오 비전 기반 거리 측정 기술은 수십 미터 내외의 근거리 혹은 수백 미터 미만의 중거리 측정에 한정되며, 실시간 처리 및 성능/전력에 대한 최적화가 이뤄지지 않았기 때문에 무인 항공기의 동적 비행 능력을 구현 할 수 없다.

<표1> 스테레오 비전 기반 사물의 거리 측정 관련 국내·외 연구동향

구분 연구팀 발표년도 연구범주
컴퓨팅 플랫폼 실시간 처리 측정 정확도 측정 범위 최적화
임베디드 일반 근거리 중거리 원거리 저전력 고성능
국내 [3] 2010
국외 [4] 2011
[5] 2012
[6] 2013
[7] 2015
[8] 2015

마. 맺음말

  현재 무인 항공기의 자율 비행 기술은 장애물 충돌 회피 [1] 및 움직이는 특정 사물 추적 [2] 등에 국한되어 개발되었다. 이는 자율 비행의 시작과 끝을 제외한 과정에만 국한된 연구 결과라고 볼 수 있다. 자율 비행의 시작은 스스로 임의의 목표 지점까지 도달 가능 여부를 판단할 수 있는 것이며, 자율 비행의 끝은 그 목표 지점을 놓치지 않고 추적하여 정확히 그 지점에 도달할 수 있는 것이다. 하지만 현재 자율 비행 기술은 목표 지점에 대한 거리 측정 기능이 없기 때문에 자율 비행의 시작과 끝이 결여될 수밖에 없고, 자율 비행을 통해 수행할 수 있는 임무는 극히 제한적일 수밖에 없다. 본 기고문에서 정의하는 동적 비행 기술이 구현된다면 이러한 자율 비행의 시작과 끝을 수행할 수 있고 다른 비행 기술들과 통합되어 궁극적인 완전 자율 비행을 이룰 수 있다고 생각한다. 따라서 이러한 무인 항공기의 동적 비행 기술을 구현하기 위한 시스템 반도체 기반 저전력/고성능 스테레오 비전 시스템 설계 기법은 자율 비행을 완성하는 데 있어 가장 중요한 기술로 자리 매김 할 것이다.

참고문헌
  • [1]NVIDIA - This Drone Goes Where GPS Can't : https://youtu.be/4_TmPA-qw9U
  • [2]MJI - Phantom 4 Pro - Active Track : https://youtu.be/dyrFOO4eVK8
  • [3]Baek H. S., Choi J. M., Lee B. S., "Improvement of Distance Measurement Algorithm on Stereo Vision System(SVS)," Proc. of the 5th International Conference on Ubiquitous Information Technologies and Applications (CUTE), 2010, pp.1-3, Dec. 2010.
  • [4]A-Lin H., Xue C., Ying G., Wen-Ju Y., Jie H, "Measurement of Safe Driving Distance Based on Stereo Vision," Proc. of the 6th International Conference on Image and Graphics (ICIG), 2011, pp.902-907, Aug. 2011.
  • [5]Y. M. Mustafah, R. Noor, H. Hasbi, and A. W. Azma, "Stereo Vision Images Processing for Real-time Object Distance and Size Measurements," Proc. of the International Conference on Computer and Communication Engineering(ICCCE), pp. 659-663, Jul. 2012.
  • [6]Manaf A. Mahammed1, Amera I. Melhum2, Faris A.Kochery, “Object Distance Measurement by Stereo VISION,” Int. Journal of Science and Applied Information Technology (IJSAIT), Vol. 2, No. 2, pp. 5-8, Mar. 2013.
  • [7]Hsu, T.S., Wang, T.C. "An Improvement Stereo Vision Images Processing for Object Distance Measurement," Int. Journal of Automation and Smart Technology, 2015, Vol. 5, No. 2, pp. 85–90, Jun. 2015.
  • [8]Shibarchi Majumder, Rahul Shankar, Mani Shankar Prasad, "Obstacle size and proximity detection using stereo images for agile aerial robots," Proc. of the International Conference on Signal Processing and Integrated Networks (SPIN), pp. 437-442, Feb. 2015.
상단으로