A method is provided in an Advanced Driver- Assistance System (ADAS). The method extracts (505), from an input video stream including a plurality of images using a multi-task Convolutional Neural Network (CNN), shared features across different perception tasks. The perception tasks include object detection and other perception tasks. The method concurrently solves (510), using the multi-task CNN, the different perception tasks in a single pass by concurrently processing corresponding ones of the shared features by respective different branches of the multi-task CNN to provide a plurality of different perception task outputs. Each respective different branch corresponds to a respective one of the different perception tasks. The method forms (530) a parametric representation of a driving scene as at least one top- view map responsive to the plurality of different perception task outputs. The method controls an operation of the vehicle for collision avoidance responsive to the at least one top- view map indicating an impending collision.

    L'invention concerne un procédé dans un système perfectionné d'aide au conducteur (ADAS). Le procédé extrait (505), à partir d'un flux vidéo d'entrée comprenant une pluralité d'images à l'aide d'un réseau neuronal convolutionnel (CNN) multitâche, des caractéristiques partagées à travers différentes tâches de perception. Les tâches de perception comprennent la détection d'objet et d'autres tâches de perception. Le procédé résout simultanément (510), à l'aide du CNN multitâche, les différentes tâches de perception en un seul passage en traitant simultanément des caractéristiques correspondantes des caractéristiques partagées par différentes branches respectives du CNN multitâche afin de fournir une pluralité de sorties de tâches de perception différentes. Chaque branche différente respective correspond à une tâche respective parmi les différentes tâches de perception. Le procédé forme (530) une représentation paramétrique d'une scène de conduite en tant qu'au moins une carte de vue de dessus en réponse à la pluralité de sorties de tâches de perception différentes. Le procédé commande une opération du véhicule pour éviter une collision en réponse à la ou aux cartes de vue de dessus indiquant une collision imminente.


    Access

    Download


    Export, share and cite



    Title :

    MULTI-TASK PERCEPTION NETWORK WITH APPLICATIONS TO SCENE UNDERSTANDING AND ADVANCED DRIVER-ASSISTANCE SYSTEM


    Additional title:

    RÉSEAU DE PERCEPTION MULTITÂCHE AVEC APPLICATIONS À UNE COMPRÉHENSION DE SCÈNE ET SYSTÈME PERFECTIONNÉ D'AIDE AU CONDUCTEUR


    Contributors:
    TRAN QUOC-HUY (author) / SCHULTER SAMUEL (author) / VERNAZA PAUL (author) / LIU BUYU (author) / JI PAN (author) / TSAI YI-HSUAN (author) / CHANDRAKER MANMOHAN (author)

    Publication date :

    2020-09-10


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    English


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06V



    MULTI-TASK PERCEPTION NETWORK WITH APPLICATIONS TO SCENE UNDERSTANDING AND ADVANCED DRIVER-ASSISTANCE SYSTEM

    TRAN QUOC-HUY / SCHULTER SAMUEL / VERNAZA PAUL et al. | European Patent Office | 2020

    Free access

    Multi-task perception network with applications to scene understanding and advanced driver-assistance system

    TRAN QUOC-HUY / SCHULTER SAMUEL / VERNAZA PAUL et al. | European Patent Office | 2022

    Free access

    Task-dependent scene interpretation in driver assistance

    Michalke, Thomas Paul | Tema Archive | 2010



    Multi sensor network for full surround perception for advanced driver assistance systems in vehicles

    Schuricht,P. / Cassebaum,O. / Wagner,S. et al. | Automotive engineering | 2007