자율주행과 ADAS의 핵심 센서는 레이다와 카메라 중 어느 것일까요? 이 고민은 생각보다 많은 업체들에게 심각했습니다. 콘티넨탈과 같은 레이다 업체는 레이다야말로 핵심이라고 주장했습니다. 하지만 카메라 업체들은 다른 말을 했죠. 이문제는 자동차 OEM들이 '기본 센서'로 무엇을 골라야 하는가 하는 문제로 이어졌습니다. ADAS의 보급 확대를 위해서는 저가 차량들에도 센서들이 장착되어야 하는데, 카메라와 레이다를 모두 장착하는 것은 부담이 컸기 때문이죠.
레이다가 기본이라 주장하는 쪽은 ADAS의 시작이 ACC (Adaptive Cruise Control)이라는 것을 강조했습니다. ACC를 기본에 두고, 나머지 기능의 확장을 이야기하였죠. 레이다는 물체를 구분하지 못하는 문제를 가지고 있습니다. 때문에 정지 물체에 대응하기 어렵다는 난점이 있죠. (※ 자세한 내용은 지난 글을 참조 부탁 드립니다.) 하지만 레이다 업체들은 반사 패턴, 도플러 효과의 패턴을 활용해서 레이다로 보행자를 인식할 수 있고, 해상도가 높아진 레이다로 정지 물체의 폭을 인식하여서 정지 차에 (정확히는 자동차만큼의 폭을 가지는 커다란 금속체) 대응할 수 있다고 주장하였습니다.
자율주행 인식기술, 레이다에 대하여
자율주행 인식 기술의 첫 번째는 레이다에서부터 시작하도록 하겠습니다. 차에 처음으로 장착된 외부 센서는 초음파로 보는 것이 맞을 것 같습니다. 하지만 우리가 자율주행의 첫걸음을 땐 것
study.tistory.com
반면 카메라는 어떨까요. 카메라의 장점은 범용성이었습니다. 카메라 진영은 '사람은 두 눈만 가지고도 훌륭하게 운전을 해낸다. 문제는 센서의 정확도가 아니라 프로세싱 능력이다.'라고 주장하였습니다. 카메라의 영상정보로는 물체의 위치도 속도도 정확하게 알아내기 어렵지만, 그것은 키가 아니라고 주장한 것이죠. 대신 물체의 종류를 알 수 있고, 차선을 인식할 수 있는 범용성이 카메라의 장점이었습니다.
지금에 와서는 사실 어느 센서가 기본이라고 주장하는 것은 큰 의미가 없습니다. 자율주행에서는 당연히 두 개 센서가 모두 쓰이기 때문이죠. 하지만 Deep Learning 기술의 발전, Tesla의 약진과 함께 '카메라'가 어느 정도는 판정승을 거두었다고 봐도 과연 이 아닐 것 같습니다. 일단 '차선 인식'이 가능한 센서는 카메라뿐이니까요. (사실 라이다의 반사율을 이용하여 차선을 인식하는 기술도 있습니다만, 신뢰성 문제로 라이다로 차선을 인식할 수 있다고 말하기는 어려운 수준입니다.)
카메라의 역사에서 빼놓을 수 없는 기업은 '모빌아이'입니다. 이 기업은 1999년 이스라엘의 히브루 대학의 Amnon Shashua 교수와 Ziv Abiram이 공동으로 창업한 기업입니다. 그 시작단계에서 사람들은 아무도 이 기업을 주목하지 않았습니다. 이스라엘 교수의 벤처기업의 하나였죠. 이 기업이 탄생한 당시 Amnon Shashua 교수는 전 세계의 자동차 기업을 돌면서 자사의 카메라 기술을 홍보했다고 합니다. 하지만 많은 자동차 회사가 관심을 보였던 것은 아닙니다.
하지만 모빌아이의 'EyeQ' 칩이 등장하고, 이는 전 세계의 카메라 시장을 집어 삼켰습니다. 이 칩은 모빌아이의 영상 인식 기술의 정수가 탑재되었습니다. 모빌아이는 계속해서 성장하였고, 2017년 인텔에 17.5조원에 인수되었습니다. 하지만 암논 샤슈아 교수는 여전히 모빌아이의 CEO 역할을 하고 있습니다. 최근 CES 2021에서 모빌아이의 새로운 비전을 밝히기도 하였죠.
모빌아이는 카메라 단품을 팔지 않았습니다. 그들이 정말로 팔았던 것은 EyeQ 칩의 소프트웨어입니다. EyeQ3, EyeQ4, EyeQ5와 같은 식으로 버전을 업데이트하면서 말이죠. 모빌아이가 처음부터 Deep Learning 기반의 영상 인식을 시도했던 것은 아닙니다. 특장점 추출 (예를 들어, 차량의 후면에서 본 타이어 두 개, 그리고 브레이크 등 2개), 지표면 인식 등을 활용해서 물체를 인식하였습니다. 그들은 처음에 차선, 차량의 후면을 인식하였고, 차츰 보행자, 자전거, 차량의 측면, 그리고 지금에 와서는 오토바이 인식까지 진행하고 있습니다. 물론 아직 모든 경우에 완벽한 인식 성능을 보여주고 있지는 않습니다만, 대부분의 ADAS 업체들은 이 모빌아이 칩셋에 의존하고 있습니다. 예를 들면 국내의 대표적인 ADAS 업체인 '만도'는 모빌아이의 칩셋을 활용하여 카메라를 개발하고 있고, 현대 모비스는 발레오의 카메라를 사용하는데, 이 발레오는 모빌아이의 칩셋을 활용하여 카메라를 생산합니다. 미국의 앱티브 역시 모빌아이의 칩셋을 활용하고 있습니다. 거의 전 세계의 모든 자동차용 카메라를 모빌아이가 지배했다고 해도 과언이 아닙니다. 콘티넨탈의 카메라 정도만 자체적인 영상 인식 기술을 바탕으로 생산되고 있는 실정이죠.
국내, 해외 업체들이 영상 인식 기술을 등한시 했거나, 자체 개발의 노력을 하지 않은 것은 아닙니다. 하지만 그들의 기술은 모빌아이를 따라갈 수 없었습니다. 더 많은 카메라가 장착될수록 더 많은 시험 기록, 영상 기록을 취득할 수 있었던 모빌아이는 타사에서 따라갈 수 없는 압도적인 영상 처리 성능을 보여주었습니다.
하지만 여기서 끝이 아닙니다. 자동차 업체들, 그리고 부품업체들은 게임 체인저를 찾아 나섭니다. 이 게임 체인저가 '스테레오 카메라'입니다. 이 스테레오 카메라는 단순히 생각하면 카메라 렌즈를 두 개를 부착한 카메라입니다. 이는 단순히 영상을 하나 더 늘린 카메라가 아닙니다. 기술적으로 모빌아이의 단안 카메라와는 완전히 다르죠. 모빌아이의 단안 카메라가 영상에서 차량을 찾아내는 방식이라면, 스테레오 카메라는 사람의 '양안시'와 동일한 방식으로 눈앞의 화면을 왼쪽에서 본 것과 오른쪽에서 본 것을 조합하여 3차원 영상을 만들어 냅니다. 그래서 눈앞의 물체들이 얼마나 떨어져 있는지를 찾아내는 것이죠. 이 방식은 우선은 물체의 종류와 상관없이 물체를 인식할 수 있습니다. 단안 카메라가 미리 정의되지 않은 물체에 대하여는 영상 처리 과정에서 누락시키게 되고 마는 반면에 스테레오 카메라는 '뭔지 모르겠지만 뭔가 물체가 앞에 있습니다'라는 프로세싱이 가능한 것이죠. 물체까지의 거리 인식에 있어서도 단안에 비하여 압도적인 정확도를 가질 수 있습니다. 단안 카메라가 영상에서 물체의 크기, 영상에서 물체의 위치 등에 따라 위치를 인식하여 경사가 있거나 거리가 먼 경우에 위치를 많이 틀릴 수밖에 없는 것에 비하여 스테레오 카메라는 직접 양안시로 거리를 계산할 수 있는 것이죠.
그렇다고 스테레오 카메라가 만능은 아닙니다. 두개의 렌즈가 함께 확인할 수 있는 영역에서만 인식이 가능하여 렌즈를 두 개 썼음에도 단안 카메라에 대하여 인식 범위가 좁습니다. 또 차선과 같은, 도로에 위치한 구조물이 아닌 물체들 (신호등, 표지판 등도 여기에 속합니다.) 인식 성능에 있어서 스테레오 카메라가 단안 카메라보다 유리한 점은 없습니다. 영상 처리 기술에 있어서 모빌아이가 압도적인 성능을 자랑하는 만큼 오히려 성능이 떨어지는 경우가 대부분이죠.
그래도 게임 체인저가 필요했던 자동차 업체들과 부품업체들은 장기적인 관점에서 고가의 스테레오 카메라를 장착하고 있습니다. 벤츠, BMW, 오토리브, 콘티넨탈, 보쉬같은 업체들이 대표적이죠. 벤츠는 오토리브의 스테레오 카메라를 공급받아서 자체적인 영상 처리 기술을 적용한 것으로 알려져 있습니다. 하지만 이로 인하여 초기의 스테레오 카메라 장착 벤츠의 차로 이탈 경고 기능들은 타사에 비하여 성능이 부족한 경우도 있었습니다. (차로를 제법 오랜 시간 달린 이후에만 작동한다거나 하는 한계점들이 있었던 것이죠.)
그래도 스테레오 카메라 기술이 올라오면 결국 단안 카메라는 사라질까요? 모빌아이는 또 한 번의 반전을 준비합니다. 모빌아이의 '옵티컬 플로우' 기술이 그것입니다. 이 옵티컬 플로우는 다소의 비약을 섞어서 설명드리면, 과거 영상과 현재 영상을 가지고 '양안시'의 효과를 만들어 내는 것입니다. 이전 시간의 영상과 지금 시간의 영상, 그리고 그 시간 동안 내 차가 어떻게 움직였는지를 알고 있다면 이 두 개 영상으로 스테레오 카메라 같은 효과를 만들 수 있다는 것이죠. 물론 세부적으로는 많이 다르지만, 스테레오 카메라에서 주장했던 '단안 카메라는 정해진 물체만 인식할 수 있다.'라고 한 주장을 뒤집은 것이죠.
여기에 교차로에서 옆에서 오는 차 등을 확인하기 위해서 더 넓은 화각의 카메라가 요구되었습니다. 그런데 또 멀리 있는 물체를 확인하는 성능까지 한꺼번에 요구되었죠. 그런데 이는 서로 대치되는 개념이라 동시에 만족할 수 없습니다. 이를 보강하기 위해서 모빌아이와 카메라 업체들은 '트라이포컬 카메라'를 내놓았습니다. 이 3개의 렌즈를 가지는 카메라는 스테레오 카메라와는 완전히 다른 기술입니다. 3개의 카메라는 각각 독립적으로 단안 카메라처럼 영상을 인식합니다. 하나는 근거리를 넓은 화각으로, 또 하나는 중간 거리를 중간 화각으로, 또 나머지 하나는 먼 거리를 좁은 화각으로 인식합니다. 결과적으로 단안 카메라 3개를 장착한 것과 마찬가지죠.
이제는 센서 퓨전의 시대가 오고 있습니다. 레이다가 위성 센서로 발전한다고 이전에 말씀드렸듯이, 카메라도 영상 촬영 장비로 변모할 것입니다. 이제 모든 정보를 모아놓고 통합적으로 처리해야 하는 시대가 오는 것이죠. 테슬라는 3개의 카메라를 장착하고, 영상처리 모듈을 카메라와 분리시켰습니다. 벤츠는 스테레오 카메라의 영상 처리 원천 기술을 가지고 있습니다. 모빌아이는 CES 2021 레이다, 라이다를 통합 처리하겠다는 계획을 밝혔죠.
앞으로 누가 진정한 승자가 될지는 알 수 없습니다만, 카메라가 ADAS와 자율주행의 '키'임은 분명합니다.
'자율주행' 카테고리의 다른 글
| 자율주행의 GPS와 정밀지도 (0) | 2021.02.06 |
|---|---|
| 자율주행에 과연 라이다는 필수일까요? (0) | 2021.01.31 |
| 테슬라 자율주행도 2단계, 다른 자동차 회사 자율주행도 2단계? (0) | 2021.01.17 |
| 자율주행 인식기술, 레이다에 대하여 (0) | 2021.01.10 |
| 자율주행 단계에 대하여 (0) | 2021.01.03 |
