본 발명은 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 운전자 얼굴 특징점 검출 방법으로서, (3) 카메라를 통해 입력된 영상으로부터 전처리 과정을 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점(landmarks) 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 상기 설정된 초기 mean shape 모델에서 얼굴 특징점들이 설정되는 단계, (4) 상기 단계 (3)을 통해 설정된 각각의 얼굴 특징점들에 대하여, 미리 학습된 Weighted Random Forest Regressor(이하, Weighted RF Regressor)에 의해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 상기 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측되는 단계, (5) 상기 단계 (4)를 통해 예측된 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출되는 단계, 및 (6) 상기 단계 (4)를 통해 예측된 최종적인 얼굴 특징점들의 위치와 상기 단계 (5)를 통해 검출된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출되는 단계를 포함하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 따르면, Cascade 방법 기반으로 BRF 분류기와 Haar-like 특징 및 OCS-LBP 특징을 이용하여, 입력 영상으로부터 얼굴 영역 및 코의 위치를 검출함으로써, 외부 조명 변화에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 영역 및 코의 위치를 검출할 수 있다. 또한, 본 발명에서는, 단계적 포즈 회귀(Cascade Pose Regression) 방법을 통해 예측된 최종 얼굴 특징점들의 위치와, 예측된 최종 얼굴 특징점들 간의 공간적 관계성을 이용하여 검출한 최적의 얼굴 모델을 결합해서 최종 얼굴 특징점들을 검출함으로써, 안경, 선글라스 및 머리카락 등으로 인한 얼굴 가려짐에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 특징점들을 검출할 수 있다.
FACE LANDMARK DETECTION METHOD AND APPARATUS FOR DRIVE STATE MONITORING
운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치
2017-10-20
Patent
Electronic Resource
Korean
IPC: | G06K Erkennen von Daten , RECOGNITION OF DATA / B60K Anordnung oder Einbau von Antriebseinheiten oder von Kraft- bzw. Drehmomentübertragungen in Fahrzeugen , ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES / G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL |
LANDMARK MONITORING DEVICE, SHIP STEERING SYSTEM, LANDMARK MONITORING METHOD, AND PROGRAM
European Patent Office | 2023
|Near infrared sensing and associated landmark detection for face recognition
British Library Online Contents | 2008
|DRIVE STATE MONITORING METHOD, DRIVE STATE MONITORING APPARATUS, AND VEHICLE WITH THE SAME
European Patent Office | 2017
|Robust facial landmark detection for three-dimensional face segmentation and alignment
British Library Online Contents | 2010
|