Hoit Studio

참고 : 왜곡 불변 차량 번호판 검출 및 인식 알고리즘 Distortion Invariant Vehicle License Plate Extraction and Recognition Algorithm

김진호 경일대학교 전자공학과 DOI : 10.5392/JKCA.2011.11.3.001

TheDavinciCodeVol2.zip

The Davinci Code

Davinci Code 프로그램 화면

프로그램 구성

원본 이미지에 텍스트 파일을 추가하는 Davinci Code 프로그램 이다. 

프로그램 원리

영상의 한 픽셀을 위의 그림과 같이 구성되어 있다. 프로그램에서 입력받은 문자를 Byte 형태로 변환 후 Btye 배열에 있는 문자를 2진수로 변환한다.

ex) 

(서울=연합뉴스) 김동찬 기자 = 세리나 윌리엄스(3위·미국)가 빅토리아 아자렌카(1위·벨라루스)를 상대로 9연승을 기록했다. 

001010001011110010101101101111111110

위와 같은 문자를 이진수 형태로 변형 한다.

변환된 이진수를 각 픽셀의 R,G,B 부분에 삽입 하는 것이 이프로그램의 키 포인트 이다.

삽입 과정에서 R,G,B 끝자리 숫자를 조작하게되는데 조작 하는 과정에서 문자열의 이진수를 이용하여 디코딩을 할 수 있도록 삽입 하여야 한다.

프로그램에 이미지를 로딩하고 위에같은 텍스트를 입력 하도록 하면

위와 같은 화면을 확인 할 수 있다. 텍스트를 삽입하고 Make Davinci Code 버튼을 통해 인코딩을 완료하게되고, 완료되는 즉시 이미지를 저장할 수 있도록 되어 있다.

위와같이 완료된 화면을 확인 할 수 있다.

인코딩이 완료된 화면이다. 실제로 두 이미지는 눈으로 확인할 수 없을 정도로 비슷 하다. 또한 파일의 용량 또한 같다는 것을 확인 할 수 있다.

복원을 하기 위해서는 Edit 메뉴에 있는 복원 기능을 통해 복원이 가능하다.

복원을 누르게 되면 사진을 선택하는 창이 뜨게되고 코드를 입력했던 이미지를 선택하게 되면 복원이 가능하다.

복원이 완료되면 텍스트 파일을 저장할 수 있다.

위와 같이 복원된 파일을 확인할 수 있다. 확인 결과 문제 없이 복원이 되었다는 것을 알 수 있다.

운자의 안전을 보장하기 위해 영상 처리 기술을 기반으로 도로 정보를 검출해 운전자에 알려주고, 번튼을 직접 손으로 눌러야하는 물리적 인터페이를 대체할 차세대 인터페이스 기술을 제안한다. 제안된 기술은 카메라 한대에서 입력 받은 영상 정보를 제안된 알고리즘을 통해 앞차와의 거리, 차선, 교통 표지판을 검출하고 차량 내부를 주시하는 카메라와 운전자의 음성을 인식할 마이크를 기반으로 음성인식과 동작 인식이 결합된 인터페이스를 제공한다. 본 프로젝트에서 개발된 기술을 통해 실제 테스트를 실시해 본 결과 표지판인식, 차선검출, 앞차와의 거리 검출 등의 인식률이 약 90% 이상이었으며, 이러한 기술적 요소들은 운전자가 인지하지 못하는 상황 등에서도 적절한 정보를 운전자에게 제공해 줌으로써 교통사고 확률을 크게 낮출 수 있을 것으로 기대된다.

서론

 최근 차량의 자동주차시스템이나 운전자보조시스템과 같은 지능형 자동차에 관한 연구가 활발하게 진행되고 있다. 따라서, 차량 운전의 안정성을 높이고 사고를 예방하기 위한 운전자 보조 시스템에 대한 연구가 선행되고 있다. 차량의 운전자 보조 시스템에 관한 연구가 활발하게 진행됨에 따라 인간과 시스템 사이에 자연스럽게 정보를 교환할 수 있는 지적 인터페이스에 관한 관심이 날로 커지고 있다. 자연스럽고 지적인 인터페이스를 구축하기 위해 동작과 같은 비언어 적인 통신 수산에 대한 연구가 매우 중요하다. 본 프로젝트는 운전자의 안전을 위한 단일 카메라 기법 전방 차량검출, 차선검출, 표지판 검출 기법 및 다양한 정보 제공을 위한 인터페이스를 제공하여 생활의 질을 향상 시켜주는 통합 시스템을 기발 하였다. 이를 질제 차량에 장착하여 성능 검증을 하였다.

Augmented Driving System(ADS)

그림은 본 프로젝트에서 개발된 ADS의 전체적인 구조를 나타내고 있다. 운전자 전방의 계기판위에 HUD가 장비되고 센터페시아의 가운데 동작 인식을 위한 캠이 장비된다. HUD에 차량이탈, 앞차와의 안전거리, 표지판 인식 결과등이 표시 된다. 운전자가 자신이 조작하고자 하는 시스템의 명칭을 부르면 시스템은 작동 대기상태로 들어가며 운전자가 선택하고자 하는 메뉴를 전방 HUD 에 보여준다. 운전자가 원하는 메뉴를 다양한 동작 인식을 통해 컨트롤 한다.

 ADS에서 하드웨어 기반의 흐름도를 나타내고 있다. ADS는 원본 영상을 입력 받아 실시간 차량검출, 차선검출, 표지판 인식을 통하여 운전자 보조 시스템을 구축 하였다. HUD를 통해 계기판의 다양한 정보 중 필요한 정보 일부를 전방 표시창에 투영하여 보여준다.

Augmented Driving System은 .NetFrameWork4.0을 기반으로 하며, 영상처리 Library를 바탕으로 차선이탈 방지와, 앞차와의 거리 인식을 해주는 안전 정보 제공 엔진(Safety Engine)과 표지판을 검출하는 교통 표지판(Sign Panel) 검출 엔진으로 구성된다. 위 그림은 개발된 시스템의 소프트웨어 구조를 보여주고 있다.

차량 검출을 통한 거리 측정

차량과 배경 사이에서는 색상이나 조명 등이 큰 변화를 가지기 때문에 에지 정보가 두드러지게 나타난다.

차량은 가운데를 중심으로 매우 유사한 패턴을 가지기 때문에 차량에서의 유사도는 차량이 아닌 것에 비해 차량 영역에서도 높게 나타나기 때문에 차량과 비차량을 구분하여 나타낼 수 있다. 안전된 차량을 검출하기 위해 제안되 영상처리 과정은 아래와 같다.

수직에지 검출 -  Labeling - 차량인식 - 차간 거리 인식

흑백 영상 변환 

- 카메라로 부터 얻어온 컬러 영상을 흑백 영상으로 변환 

수직성분 검출 

- 다른 환경보다 차량에 많이 검출되는 수직 성분을 검출한다. 

영역 지정 및 Blob Labeling 

- Labeling 기법 후에 가장 큰 크기의 영역을 차량으로 인식한다. 

앞차와의 거리 검출 

- 인식된 차량의 중심점을 찾아 그 점까지의 픽셀수와 단위 거리를 이용하여 거리를 구한다. 

차선 검출을 통한 이탈 경고 시스템

지금까지 개발된 차선검출 기법은 칼라 성분들을 이용하는 방법, 이동 창 기법을 이용하여 입력 영상의 체크 포인트를 결정하고 차선을 검출하는 방법, 직선 성분을 찾는 대표적인 알고리즘인 허프 변환 기법 등이 있다.

안정된 차선을 검출하기 위해 본 프로젝트는 다음 과 같은 과정을 사용하였다.

원영상 - Gray - ROI, 이진화 - 허프변환 - 차선인식

흑백 영상 변환

 - 카메라로부터 얻어온 컬러 영상을 흑백영상으로 변환

영역지정 및 이진화

 - 흰색과 황색을 검출하여 이진화

Canny 연산을 통한 에지

 - 이진화한 이미지에서 외곽선을 추출하기 위해 Canny연산을 통해 윤곽선 정보를 추출한다.

Hough 변환

 - Hough 변환을 통해 일정길이 이상의 성분들을 검출하여 차선으로 인식

교통 표지판 검출

기계학습을 통한 학습데이터를 통하여 표지판을 검출하였다. 기계학습을 위한 이미지 데이터를 제작하였고 500x342해상도의 데이터를 학습 시켰다.

이미지 비율은 1:2와 1:3 비율을 유지해 주었다.

Adaboost

 - 이미지 데이터를 Adaboost 분류기 알고리즘을 통해 샘플링 과정을 통해 벡터 데이트를 만들고 생성된 벡터 데이터 파일을 통해 Haar 특징 기반 학습 과정을 통해 학습된 데이터(xml) 파일을 추출한다.

Supported Vector Machine(SVM)

 - 정규화 시킨 이미지에 SVM  매칭 기법으로 인식하여 표지판 검출을 수행한다.

동작 인식을 통한 제어기술

센서 장비를 착요하게 디면 인식률과 보다 많은 동작을 인식할 수 있지만 운전자에 방해가 되는 요소가 많기 때문에 일반 컬러 영상을 통해 동작 인식할 필요가 있다. 

원영상 - 피부색상 영역 추출 - Labeling - 중심검출 - 제스쳐 인식

강인한 색상 모델

 - YCbCr 칼라 공간의 히스토그램 피부색 분포 결과 Y 성분을 제외한 Cb,Cr 성분의 값이 밀집도가 크고 조도 변화에 따른 변화가 거의 없다는 결과를 얻었다. H, Cb,Cr 각 성분 값을 정규화된 R,G,B값을 이용하여 구한다.

손 후보 영역 검출

 - 수행된 영상에 가장 큰 영역을 검출하게 되면 손에 가장 정확한 영역이 추출된다.

손 중심점 추출에 의한 동작 인식

 - 손 영역의 무게 중심을 구하여 이에 움직임을 통해 제스쳐를 인식하는 방법을 사용한다. 추출된 손 영역에서 무게 주심은 화소들의 합으로 나타낼 수 있다.

개요 

현재 보금화된 감시 프로그램의 부족한 점을 보안

 - 무분변한 녹화(대용량 데이터 필요)

  얼굴인식

  움직임 감시

 - 발생 후 대처

  사용자에게 통보(클라이언트, 안드로이드 어플리케이션)

CCTV를 통한 감시 뿐만 아닌 반응 필요

얼굴비교는 인식된 얼굴을 얼굴 DNA정보를 통해 비교하여 등록된 얼굴인지를 검사하여 신고여부를 결정한다.

검사결과 미 등록일 경우 신고 및 관리자에게 알림

본 프로그램은 .Net Framework 4.0 을 기반으로 제작 되었으며 Motion Dectection Engine 과 Face Detection Engine은 OpenCV를 이용하여 제작 되었습니다.

그위에 FaceDNA검출 기법을 통하여 C.R.R클라이언트를 구현 하였습니다.

Android Application은 Android4.0.3 기반에 Ksoap2 Library 를 사용하여 구현하였고

이 둘은 WebService를 통하여 상호간에 통신을 가능하게 구현 하였습니다.

결론 및 기대 효과

- 효율적인 CCTV 관리를 가능하게 할 것이며, 가정이나 가게들의 보안을 강화 할 수 있을 것입니다.

- 인건비 전약을 가능하게 할 것입니다.

향후 개선 방향

- 여러 각도에서의 얼굴 인식

- 실시간 스트리밍 서비스

- 안정화

시연 동영상

클라이언트

C.R.R 움직임 감지와 얼굴 DNA 검출을 통한 CCTV 개선 프로그램  CozyProgram / 프로그래밍  2012.05.31. 22:08  수정  삭제 http://blog.naver.com/smhotkdg/60163653224 통계보기 전용뷰어 보기 개요  현재 보금화된 감시 프로그램의 부족한 점을 보안  - 무분변한 녹화(대용량 데이터 필요)   얼굴인식   움직임 감시  - 발생 후 대처   사용자에게 통보(클라이언트, 안드로이드 어플리케이션)   CCTV를 통한 감시 뿐만 아닌 반응 필요     얼굴비교는 인식된 얼굴을 얼굴 DNA정보를 통해 비교하여 등록된 얼굴인지를 검사하여 신고여부를 결정한다. 검사결과 미 등록일 경우 신고 및 관리자에게 알림       본 프로그램은 .Net Framework 4.0 을 기반으로 제작 되었으며 Motion Dectection Engine 과 Face Detection Engine은 OpenCV를 이용하여 제작 되었습니다.   그위에 FaceDNA검출 기법을 통하여 C.R.R클라이언트를 구현 하였습니다.   Android Application은 Android4.0.3 기반에 Ksoap2 Library 를 사용하여 구현하였고   이 둘은 WebService를 통하여 상호간에 통신을 가능하게 구현 하였습니다.   결론 및 기대 효과 - 효율적인 CCTV 관리를 가능하게 할 것이며, 가정이나 가게들의 보안을 강화 할 수 있을 것입니다. - 인건비 전약을 가능하게 할 것입니다.   향후 개선 방향 - 여러 각도에서의 얼굴 인식 - 실시간 스트리밍 서비스 - 안정화       시연 동영상   클라이언트       안드로이드