운전자 정보 극대화를 위한 Augmented Driving System(ADS) 개발

운자의 안전을 보장하기 위해 영상 처리 기술을 기반으로 도로 정보를 검출해 운전자에 알려주고, 번튼을 직접 손으로 눌러야하는 물리적 인터페이를 대체할 차세대 인터페이스 기술을 제안한다. 제안된 기술은 카메라 한대에서 입력 받은 영상 정보를 제안된 알고리즘을 통해 앞차와의 거리, 차선, 교통 표지판을 검출하고 차량 내부를 주시하는 카메라와 운전자의 음성을 인식할 마이크를 기반으로 음성인식과 동작 인식이 결합된 인터페이스를 제공한다. 본 프로젝트에서 개발된 기술을 통해 실제 테스트를 실시해 본 결과 표지판인식, 차선검출, 앞차와의 거리 검출 등의 인식률이 약 90% 이상이었으며, 이러한 기술적 요소들은 운전자가 인지하지 못하는 상황 등에서도 적절한 정보를 운전자에게 제공해 줌으로써 교통사고 확률을 크게 낮출 수 있을 것으로 기대된다.

 

서론

 

 최근 차량의 자동주차시스템이나 운전자보조시스템과 같은 지능형 자동차에 관한 연구가 활발하게 진행되고 있다. 따라서, 차량 운전의 안정성을 높이고 사고를 예방하기 위한 운전자 보조 시스템에 대한 연구가 선행되고 있다. 차량의 운전자 보조 시스템에 관한 연구가 활발하게 진행됨에 따라 인간과 시스템 사이에 자연스럽게 정보를 교환할 수 있는 지적 인터페이스에 관한 관심이 날로 커지고 있다. 자연스럽고 지적인 인터페이스를 구축하기 위해 동작과 같은 비언어 적인 통신 수산에 대한 연구가 매우 중요하다. 본 프로젝트는 운전자의 안전을 위한 단일 카메라 기법 전방 차량검출, 차선검출, 표지판 검출 기법 및 다양한 정보 제공을 위한 인터페이스를 제공하여 생활의 질을 향상 시켜주는 통합 시스템을 기발 하였다. 이를 질제 차량에 장착하여 성능 검증을 하였다.

 

Augmented Driving System(ADS)

 

그림은 본 프로젝트에서 개발된 ADS의 전체적인 구조를 나타내고 있다. 운전자 전방의 계기판위에 HUD가 장비되고 센터페시아의 가운데 동작 인식을 위한 캠이 장비된다. HUD에 차량이탈, 앞차와의 안전거리, 표지판 인식 결과등이 표시 된다. 운전자가 자신이 조작하고자 하는 시스템의 명칭을 부르면 시스템은 작동 대기상태로 들어가며 운전자가 선택하고자 하는 메뉴를 전방 HUD 에 보여준다. 운전자가 원하는 메뉴를 다양한 동작 인식을 통해 컨트롤 한다.

 

 

 ADS에서 하드웨어 기반의 흐름도를 나타내고 있다. ADS는 원본 영상을 입력 받아 실시간 차량검출, 차선검출, 표지판 인식을 통하여 운전자 보조 시스템을 구축 하였다. HUD를 통해 계기판의 다양한 정보 중 필요한 정보 일부를 전방 표시창에 투영하여 보여준다.

 

 

Augmented Driving System은 .NetFrameWork4.0을 기반으로 하며, 영상처리 Library를 바탕으로 차선이탈 방지와, 앞차와의 거리 인식을 해주는 안전 정보 제공 엔진(Safety Engine)과 표지판을 검출하는 교통 표지판(Sign Panel) 검출 엔진으로 구성된다. 위 그림은 개발된 시스템의 소프트웨어 구조를 보여주고 있다.

 

 

차량 검출을 통한 거리 측정

 

차량과 배경 사이에서는 색상이나 조명 등이 큰 변화를 가지기 때문에 에지 정보가 두드러지게 나타난다.

차량은 가운데를 중심으로 매우 유사한 패턴을 가지기 때문에 차량에서의 유사도는 차량이 아닌 것에 비해 차량 영역에서도 높게 나타나기 때문에 차량과 비차량을 구분하여 나타낼 수 있다. 안전된 차량을 검출하기 위해 제안되 영상처리 과정은 아래와 같다.

 

수직에지 검출 -  Labeling - 차량인식 - 차간 거리 인식

흑백 영상 변환 

- 카메라로 부터 얻어온 컬러 영상을 흑백 영상으로 변환 

수직성분 검출 

- 다른 환경보다 차량에 많이 검출되는 수직 성분을 검출한다. 

영역 지정 및 Blob Labeling 

- Labeling 기법 후에 가장 큰 크기의 영역을 차량으로 인식한다. 

앞차와의 거리 검출 

- 인식된 차량의 중심점을 찾아 그 점까지의 픽셀수와 단위 거리를 이용하여 거리를 구한다. 

 

 

차선 검출을 통한 이탈 경고 시스템

 

지금까지 개발된 차선검출 기법은 칼라 성분들을 이용하는 방법, 이동 창 기법을 이용하여 입력 영상의 체크 포인트를 결정하고 차선을 검출하는 방법, 직선 성분을 찾는 대표적인 알고리즘인 허프 변환 기법 등이 있다.

안정된 차선을 검출하기 위해 본 프로젝트는 다음 과 같은 과정을 사용하였다.

 

원영상 - Gray - ROI, 이진화 - 허프변환 - 차선인식

 

흑백 영상 변환

 - 카메라로부터 얻어온 컬러 영상을 흑백영상으로 변환

영역지정 및 이진화

 - 흰색과 황색을 검출하여 이진화

Canny 연산을 통한 에지

 - 이진화한 이미지에서 외곽선을 추출하기 위해 Canny연산을 통해 윤곽선 정보를 추출한다.

Hough 변환

 - Hough 변환을 통해 일정길이 이상의 성분들을 검출하여 차선으로 인식

 

 

교통 표지판 검출

 

기계학습을 통한 학습데이터를 통하여 표지판을 검출하였다. 기계학습을 위한 이미지 데이터를 제작하였고 500x342해상도의 데이터를 학습 시켰다.

이미지 비율은 1:2와 1:3 비율을 유지해 주었다.

 

Adaboost

 - 이미지 데이터를 Adaboost 분류기 알고리즘을 통해 샘플링 과정을 통해 벡터 데이트를 만들고 생성된 벡터 데이터 파일을 통해 Haar 특징 기반 학습 과정을 통해 학습된 데이터(xml) 파일을 추출한다.

Supported Vector Machine(SVM)

 - 정규화 시킨 이미지에 SVM  매칭 기법으로 인식하여 표지판 검출을 수행한다.

 

 

동작 인식을 통한 제어기술

 

센서 장비를 착요하게 디면 인식률과 보다 많은 동작을 인식할 수 있지만 운전자에 방해가 되는 요소가 많기 때문에 일반 컬러 영상을 통해 동작 인식할 필요가 있다. 

 

원영상 - 피부색상 영역 추출 - Labeling - 중심검출 - 제스쳐 인식

 

강인한 색상 모델

 - YCbCr 칼라 공간의 히스토그램 피부색 분포 결과 Y 성분을 제외한 Cb,Cr 성분의 값이 밀집도가 크고 조도 변화에 따른 변화가 거의 없다는 결과를 얻었다. H, Cb,Cr 각 성분 값을 정규화된 R,G,B값을 이용하여 구한다.

손 후보 영역 검출

 - 수행된 영상에 가장 큰 영역을 검출하게 되면 손에 가장 정확한 영역이 추출된다.

손 중심점 추출에 의한 동작 인식

 - 손 영역의 무게 중심을 구하여 이에 움직임을 통해 제스쳐를 인식하는 방법을 사용한다. 추출된 손 영역에서 무게 주심은 화소들의 합으로 나타낼 수 있다.