The purpose of the present invention is to provide a device and method for monitoring ship and port that efficiently fuses data from a camera and a lidar. The port monitoring method includes: obtaining an image captured by a camera; obtaining lidar data; generating a segmentation image from the image; selecting first lidar points; generating a second lidar point; determining a feature point of the ship among the ship lidar points including the first lidar points and the second lidar points; calculating a distance between the ship and another object using the feature point. According to the present invention, the problem of insufficient lidar data can be solved by estimating lidar data related to the ship using a camera image.

    본 발명은 선박 및 항만 모니터링 장치 및 방법에 관한 것으로, 일 실시예에 따르면 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법으로, 복수의 훈련 이미지 및 상기 복수의 훈련 이미지의 픽셀들에 라벨링되는 객체 정보를 포함하는 학습 세트를 이용하여 학습되는 인공 신경망을 준비하는 단계 - 상기 객체 정보는 객체의 유형이 선박임을 나타내는 제1 인덱스 및 객체의 유형이 바다임을 나타내는 제2 인덱스를 갖고, 상기 제1 인덱스는 상기 복수의 훈련 이미지 내의 상기 선박의 영역에 대응하는 픽셀들에 라벨링되고, 상기 제2 인덱스는 상기 복수의 훈련 이미지 내의 상기 바다의 영역에 대응하는 픽셀들에 라벨링됨-, 카메라에 의해 촬상된 이미지를 획득하는 단계, 상기 카메라의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 라이다 센서에 의해 얻어지는 복수의 라이다 포인트를 포함하는 라이다 데이터를 획득하는 단계, 상기 인공 신경망을 이용하여 상기 획득한 이미지로부터 타겟 선박에 대응하는 타겟 선박 영역을 검출하는 단계, 상기 타겟 선박 영역을 특정 기준 평면으로 투영하여 변환 이미지를 생성하는 단계, 상기 변환 이미지의 투영된 상기 타겟 선박 영역에 포함되는 픽셀의 픽셀 위치를 고려하여 상기 타겟 선박으로부터 반사되는 라이다 빔과 관련된 라이다 포인트들을 선택하는 단계, 상기 선택된 라이다 포인트들을 이용하여 추정 라이다 포인트들을 생성하는 단계, 상기 선택된 라이다 포인트들 및 상기 생성된 추정 라이다 포인트들 중 상기 타겟 선박의 특징 포인트를 결정하는 단계 및 상기 특징 포인트를 이용하여 상기 타겟 선박과 다른 객체와의 거리를 계산하는 단계를 포함하는 항만 모니터링 방법이 제공될 수 있다.


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    DEVICE AND METHOD FOR MONITORING SHIP AND PORT


    Weitere Titelangaben:

    선박 및 항만 모니터링 장치 및 방법


    Beteiligte:
    PARK BYEOLTEO (Autor:in) / KIM HAN KEUN (Autor:in) / KIM DONG HOON (Autor:in) / GOO JUNG MO (Autor:in)

    Erscheinungsdatum :

    20.03.2024


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Koreanisch


    Klassifikation :

    IPC:    G06V / G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL / G01S RADIO DIRECTION-FINDING , Funkpeilung / G08G Anlagen zur Steuerung, Regelung oder Überwachung des Verkehrs , TRAFFIC CONTROL SYSTEMS



    PORT SHIP MONITORING DEVICE AND MONITORING METHOD

    LIU HAOYUAN / ZHENG YIFAN / ZHENG YUJUN et al. | Europäisches Patentamt | 2021

    Freier Zugriff

    Port ship monitoring device and method

    LIU HAOYUAN / ZHENG YIFAN / ZHENG YUJUN et al. | Europäisches Patentamt | 2020

    Freier Zugriff

    DEVICE AND METHOD FOR MONITORING SHIP AND PORT

    BYEOLTEO PARK / HAN KEUN KIM / DONG HOON KIM et al. | Europäisches Patentamt | 2022

    Freier Zugriff

    DEVICE AND METHOD FOR MONITORING SHIP AND PORT

    PARK BYEOLTEO / KIM HAN KEUN / KIM DONG HOON | Europäisches Patentamt | 2020

    Freier Zugriff

    DEVICE AND METHOD FOR MONITORING SHIP AND PORT

    PARK BYEOLTEO / KIM HAN KEUN / KIM DONG HOON | Europäisches Patentamt | 2021

    Freier Zugriff