The present invention aims to increase the accuracy of detection and safety assessment of obstacles on a railroad crossing, and to provide the size and shape of the obstacles including accurate distance information together with a clear image to secure the reliability of detection information and provide railroad crossing safety. The AI-based lidar and 2D image fusion signal processing detection device comprises: a lidar scanner that acquires data for acquiring a 3D image of an obstacle located on a railroad crossing; a camera that acquires a 2D image of the obstacle; a deep learning accelerator that extracts obstacles by deep learning processing; a detection control unit that receives data on the obstacle and transmits a control signal to a railroad crossing controller; an augmented reality implementation unit that implements AI-based augmented reality; a wireless communication unit that wirelessly provides the augmented reality to an augmented reality terminal; and a distance calculation unit that receives distance measurement data from the lidar scanner, calculates the distance to the obstacle, and provides it to the railroad crossing controller or the augmented reality terminal.

    본 발명은 레이저를 조사하여 스캔함으로써, 철도 건널목 상에 위치하는 장애물에 대한 3차원 영상을 획득하기 위한 데이터를 획득하는 라이다스캐너; 상기 장애물에 대한 2차원 영상을 획득하는 카메라; 상기 라이다스캐너로부터 획득되는 데이터와 상기 카메라로부터 획득되는 2차원 영상에 대한 딥러닝 처리에 의해 장애물을 추출하는 딥러닝가속기; 상기 딥러닝가속기로부터 추출되는 장애물에 대한 데이터를 수신받아 철도 건널목 제어기 측으로 제어신호를 전달하는 검지제어부; 상기 라이다스캐너로부터 획득되는 데이터와 상기 카메라로부터 획득되는 2차원 영상으로부터 AI 기반의 증강 현실을 구현하는 증강현실구현부; 상기 증강현실구현부로부터 구현되는 증강 현실을 증강현실단말기에 무선으로 제공하도록 하는 무선통신부; 상기 라이다스캐너로부터 상기 장애물에 대한 거리 측정용 데이터를 전달받아, 상기 장애물에 대한 거리를 산출하고, 상기 철도 건널목 제어기 또는 상기 무선통신부를 통해서 상기 증강현실단말기에 제공하는 거리산출부;레이저를 조사하여 스캔함으로써, 철도 건널목 상에 위치하는 장애물에 대한 3차원 영상을 획득하기 위한 데이터를 획득하는 라이다스캐너; 상기 장애물에 대한 2차원 영상을 획득하는 카메라; 상기 라이다스캐너로부터 획득되는 데이터와 상기 카메라로부터 획득되는 2차원 영상에 대한 딥러닝 처리에 의해 장애물을 추출하는 딥러닝가속기; 상기 딥러닝가속기로부터 추출되는 장애물에 대한 데이터를 수신받아 철도 건널목 제어기 측으로 제어신호를 전달하는 검지제어부;를 포함하도록 한 인공지능 기반 라이다와 2차원 영상 융합형 신호처리 검지장치에 관한 것이다.


    Access

    Download


    Export, share and cite



    Title :

    2 AI LiDAR and 2D image signal processing image fusion detection apparatus


    Additional title:

    인공지능 기반 라이다와 2차원 영상 융합형 신호처리 검지장치


    Contributors:

    Publication date :

    2024-04-22


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Korean


    Classification :

    IPC:    B61L Leiten des Eisenbahnverkehrs , GUIDING RAILWAY TRAFFIC / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL / G01S RADIO DIRECTION-FINDING , Funkpeilung



    3 2 3D LiDAR and 2D image fusion AI signal processing detection apparatus

    PARK KYUNG NAM | European Patent Office | 2023

    Free access

    Image fusion type AI signal processing detection apparatus using ToF sensor

    JUNG WONHONG | European Patent Office | 2025

    Free access

    LIDAR signal processing apparatus and LIDAR apparatus

    JUNG CHANG UK | European Patent Office | 2020

    Free access

    LIDAR signal processing apparatus and LIDAR apparatus

    European Patent Office | 2020

    Free access

    LIDAR signal processing apparatus method and LIDAR

    JEONG HYEOGN GYUN / JUNG CHANG UK | European Patent Office | 2019

    Free access