Disclosed in the present invention are an autonomous driving control system and method based on complex network cognition and end-to-end federated reinforcement learning, and a vehicle device. An autonomous driving algorithm framework (FLDPPO) based on complex network cognition and end-to-end federated reinforcement learning under urban dense traffic is provided, and by designing a loss function, a combination of rule-based complex network cognition and end-to-end federated reinforcement learning is achieved. In the FLDPPO, dynamic driving suggestions are used to guide agents to learn rules, so that the agents can cope with a complex urban driving environment and a dense traffic scenario. Moreover, the provided framework uses a multi-agent federated reinforcement learning architecture, and models are trained by means of parameter aggregation, protecting the privacy of a vehicle end while accelerating network convergence, reducing communication consumption, and achieving the balance between sample efficiency and high robustness of the models.
La présente invention divulgue un système et un procédé de commande de conduite autonome basés sur une cognition de réseau complexe et un apprentissage par renforcement fédéré de bout en bout, et un dispositif de véhicule. Une structure d'algorithme de conduite autonome (FLDPPO) basée sur une cognition de réseau complexe et un apprentissage par renforcement fédéré de bout en bout sous un trafic dense urbain est fournie, et en concevant une fonction de perte, une combinaison de cognition de réseau complexe basée sur des règles et d'apprentissage par renforcement fédéré de bout en bout est obtenue. Dans la FLDPPO, des suggestions de conduite dynamique sont utilisées pour guider des agents pour apprendre des règles, de telle sorte que les agents puissent faire face à un environnement de conduite urbaine complexe et à un scénario de trafic dense. De plus, la structure fournie utilise une architecture d'apprentissage par renforcement fédéré multi-agents, et les modèles sont entraînés au moyen d'une agrégation de paramètres, protégeant la confidentialité d'une extrémité véhicule tout en accélérant la convergence de réseau, réduisant la consommation de communication, et réalisant l'équilibre entre l'efficacité des échantillons et la robustesse élevée des modèles.
本发明公开了基于复杂网络认知的联邦强化学习端到端自动驾驶控制系统及方法、车用设备,提供一种城市稠密交通下基于复杂网络认知的联邦强化学习端到端自动驾驶算法框架FLDPPO,通过设计损失函数,实现基于规则的复杂网络认知和端到端联邦强化学习的结合。FLDPPO使用动态的驾驶建议,引导智能体学习规则,使得智能体应对复杂的城市驾驶环境和密集的交通场景。并且,所提出框架使用多智能联邦强化学习架构,通过参数聚合的方式训练模型,在保护车端隐私的基础上,加速网络收敛,降低通信消耗,实现样本效率模型高鲁棒性的平衡。
AUTONOMOUS DRIVING CONTROL SYSTEM AND METHOD BASED ON COMPLEX NETWORK COGNITION AND END-TO-END FEDERATED REINFORCEMENT LEARNING, AND VEHICLE DEVICE
SYSTÈME ET PROCÉDÉ DE COMMANDE DE CONDUITE AUTONOME BASÉS SUR UNE COGNITION DE RÉSEAU COMPLEXE ET UN APPRENTISSAGE PAR RENFORCEMENT FÉDÉRÉ DE BOUT EN BOUT, ET DISPOSITIF DE VÉHICULE
基于复杂网络认知的联邦强化学习端到端自动驾驶控制系统及方法、车用设备
2025-01-30
Patent
Electronic Resource
Chinese
IPC: | B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / G06V |
European Patent Office | 2025
|European Patent Office | 2024
|AVDDPG: Federated reinforcement learning applied to autonomous platoon control
ArXiv | 2022
|