Disclosed in the present invention are an autonomous driving control system and method based on complex network cognition and end-to-end federated reinforcement learning, and a vehicle device. An autonomous driving algorithm framework (FLDPPO) based on complex network cognition and end-to-end federated reinforcement learning under urban dense traffic is provided, and by designing a loss function, a combination of rule-based complex network cognition and end-to-end federated reinforcement learning is achieved. In the FLDPPO, dynamic driving suggestions are used to guide agents to learn rules, so that the agents can cope with a complex urban driving environment and a dense traffic scenario. Moreover, the provided framework uses a multi-agent federated reinforcement learning architecture, and models are trained by means of parameter aggregation, protecting the privacy of a vehicle end while accelerating network convergence, reducing communication consumption, and achieving the balance between sample efficiency and high robustness of the models.

    La présente invention divulgue un système et un procédé de commande de conduite autonome basés sur une cognition de réseau complexe et un apprentissage par renforcement fédéré de bout en bout, et un dispositif de véhicule. Une structure d'algorithme de conduite autonome (FLDPPO) basée sur une cognition de réseau complexe et un apprentissage par renforcement fédéré de bout en bout sous un trafic dense urbain est fournie, et en concevant une fonction de perte, une combinaison de cognition de réseau complexe basée sur des règles et d'apprentissage par renforcement fédéré de bout en bout est obtenue. Dans la FLDPPO, des suggestions de conduite dynamique sont utilisées pour guider des agents pour apprendre des règles, de telle sorte que les agents puissent faire face à un environnement de conduite urbaine complexe et à un scénario de trafic dense. De plus, la structure fournie utilise une architecture d'apprentissage par renforcement fédéré multi-agents, et les modèles sont entraînés au moyen d'une agrégation de paramètres, protégeant la confidentialité d'une extrémité véhicule tout en accélérant la convergence de réseau, réduisant la consommation de communication, et réalisant l'équilibre entre l'efficacité des échantillons et la robustesse élevée des modèles.

    本发明公开了基于复杂网络认知的联邦强化学习端到端自动驾驶控制系统及方法、车用设备,提供一种城市稠密交通下基于复杂网络认知的联邦强化学习端到端自动驾驶算法框架FLDPPO,通过设计损失函数,实现基于规则的复杂网络认知和端到端联邦强化学习的结合。FLDPPO使用动态的驾驶建议,引导智能体学习规则,使得智能体应对复杂的城市驾驶环境和密集的交通场景。并且,所提出框架使用多智能联邦强化学习架构,通过参数聚合的方式训练模型,在保护车端隐私的基础上,加速网络收敛,降低通信消耗,实现样本效率模型高鲁棒性的平衡。


    Access

    Download


    Export, share and cite



    Title :

    AUTONOMOUS DRIVING CONTROL SYSTEM AND METHOD BASED ON COMPLEX NETWORK COGNITION AND END-TO-END FEDERATED REINFORCEMENT LEARNING, AND VEHICLE DEVICE


    Additional title:

    SYSTÈME ET PROCÉDÉ DE COMMANDE DE CONDUITE AUTONOME BASÉS SUR UNE COGNITION DE RÉSEAU COMPLEXE ET UN APPRENTISSAGE PAR RENFORCEMENT FÉDÉRÉ DE BOUT EN BOUT, ET DISPOSITIF DE VÉHICULE
    基于复杂网络认知的联邦强化学习端到端自动驾驶控制系统及方法、车用设备


    Contributors:
    CAI YINGFENG (author) / LU SIKAI (author) / WANG HAI (author) / LIAN YUBO (author) / CHEN LONG (author) / LIU QINGCHAO (author)

    Publication date :

    2025-01-30


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Chinese


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / G06V





    A Selective Federated Reinforcement Learning Strategy for Autonomous Driving

    Fu, Yuchuan / Li, Changle / Yu, F. Richard et al. | IEEE | 2023


    COMPLEX NETWORK-BASED COMPLEX ENVIRONMENT MODEL, COGNITION SYSTEM, AND COGNITION METHOD OF AUTONOMOUS VEHICLE

    CAI YINGFENG / TENG CHENGLONG / XIONG XIAOXIA et al. | European Patent Office | 2024

    Free access

    AVDDPG: Federated reinforcement learning applied to autonomous platoon control

    Boin, Christian / Lei, Lei / Yang, Simon X. | ArXiv | 2022

    Free access