본 발명은 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 운전자 얼굴 특징점 검출 방법으로서, (3) 카메라를 통해 입력된 영상으로부터 전처리 과정을 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점(landmarks) 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 상기 설정된 초기 mean shape 모델에서 얼굴 특징점들이 설정되는 단계, (4) 상기 단계 (3)을 통해 설정된 각각의 얼굴 특징점들에 대하여, 미리 학습된 Weighted Random Forest Regressor(이하, Weighted RF Regressor)에 의해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 상기 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측되는 단계, (5) 상기 단계 (4)를 통해 예측된 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출되는 단계, 및 (6) 상기 단계 (4)를 통해 예측된 최종적인 얼굴 특징점들의 위치와 상기 단계 (5)를 통해 검출된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출되는 단계를 포함하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 따르면, Cascade 방법 기반으로 BRF 분류기와 Haar-like 특징 및 OCS-LBP 특징을 이용하여, 입력 영상으로부터 얼굴 영역 및 코의 위치를 검출함으로써, 외부 조명 변화에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 영역 및 코의 위치를 검출할 수 있다. 또한, 본 발명에서는, 단계적 포즈 회귀(Cascade Pose Regression) 방법을 통해 예측된 최종 얼굴 특징점들의 위치와, 예측된 최종 얼굴 특징점들 간의 공간적 관계성을 이용하여 검출한 최적의 얼굴 모델을 결합해서 최종 얼굴 특징점들을 검출함으로써, 안경, 선글라스 및 머리카락 등으로 인한 얼굴 가려짐에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 특징점들을 검출할 수 있다.


    Access

    Download


    Export, share and cite



    Title :

    FACE LANDMARK DETECTION METHOD AND APPARATUS FOR DRIVE STATE MONITORING


    Additional title:

    운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치


    Contributors:
    KO BYOUNG CHUL (author) / NAM JAE YEAL (author) / KWAK JOON YOUNG (author) / JUNG MI RA (author) / SHIN JU SEOK (author)

    Publication date :

    2017-10-20


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Korean


    Classification :

    IPC:    G06K Erkennen von Daten , RECOGNITION OF DATA / B60K Anordnung oder Einbau von Antriebseinheiten oder von Kraft- bzw. Drehmomentübertragungen in Fahrzeugen , ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES / G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL



    LANDMARK MONITORING DEVICE, SHIP STEERING SYSTEM, LANDMARK MONITORING METHOD, AND PROGRAM

    NOSE MASAYA / TRAN TRONG MINH / MURAKAMI HIROKI | European Patent Office | 2023

    Free access

    Near infrared sensing and associated landmark detection for face recognition

    Hizem, W. / Ni, Y. / Dorizzi, B. | British Library Online Contents | 2008



    Robust facial landmark detection for three-dimensional face segmentation and alignment

    Wu, H.S. / Chen, Y.Q. | British Library Online Contents | 2010