Ende-zu-Ende-System zur automatischen Fahrsteuerung mit föderalem bestärkendem Lernen basierend auf komplexer Netzkognition, dadurch gekennzeichnet, dass es einen Zustandsgrößenencoder, einen Bildencoder, ein kognitives Modul für komplexe Netze, ein Modul für bestärkendes Lernen und ein Modul für föderales Lernen umfasst;wobei der Zustandsgrößenencoder dazu verwendet wird, Zustandsgrößen zu ermitteln, die von dem kognitiven Modul für komplexe Netze und dem Modul für bestärkendes Lernen benötigt sind, wobei die von dem kognitiven Modul für komplexe Netze benötigten Zustandsgrößen eine x-Koordinate, eine y-Koordinate, eine Kurswinkeländerungsmenge und eine Geschwindigkeit eines Fahrsubjekts umfassen und als Eingabe des kognitiven Moduls für komplexe Netze dienen; wobei die von dem Modul für bestärkendes Lernen benötigten Zustandsgrößen einen Lenkradwinkel, ein Gaspedal, eine Bremse, einen Gang,eine Quergeschwindigkeit und eine Längsgeschwindigkeit umfassen, ihre Merkmale über ein zweischichtiges vollständig verbundenes Netz extrahiert werden und dann als ein Teil von Eingaben für das Modul für bestärkendes Lernen dienen;wobei der Bildencoder dazu verwendet wird, eine implizite Zustandsgröße eines vom Modul für bestärkendes Lernen benötigten Bilds zu ermitteln, wobei das Bild eine semantische Vogelperspektive mit 15 Kanälen ist, mit iRL∈ [0,1]192∗192∗15, wobei die Einheit von 192 Pixel ist, wobei die verwendete Vogelperspektive 5 Pixel/m beträgt, wobei die 15 Kanäle eine befahrbare Domäne, einen Sollpfad, eine Straßenrandlinie, 4 Frames von weiteren Fahrzeugen, 4 Frames von Fußgängern und 4 Frames von Verkehrszeichen enthalten, wobei der Sollpfad durch einen A*-Algorithmus berechnet wird, wobei die semantische Vogelperspektive über mehrere Faltungsschichten implizite Merkmale extrahiert, die dann als der andere Teil der Eingaben des Moduls für bestärkendes Lernen dienen;wobei das kognitive Modul für komplexe Netze dazu verwendet wird, ein Fahrszenario, in dem sich das Fahrsubjekt befindet, zu modellieren und abhängig von der vom Zustandsgrößenencoder bereitgestellten Zustandsgröße einen maximalen Risikowert des Fahrsubjekts in einem aktuellen Fahrszenario zu ermitteln und schließlich anhand eines Risikowerts eine dynamische Fahrempfehlung durch eine Aktivierungsfunktion auszugeben;wobei das Modul für bestärkendes Lernen dazu verwendet wird, die von dem Zustandsgrößenencoder und dem Bildencoder ausgegebenen Zustandsgrößen zu integrieren, eine entsprechende Strategie abhängig von der integrierten Netzeingabe auszugeben, mit der Umgebung zum Generieren von Erfahrungen zu interagieren unddiese Erfahrungen in einem lokalen Erfahrungspool im Modul für föderales Lernen zu speichern, wobei im Fall, in dem die Anzahl der Stichproben einen bestimmten Schwellenwert erreicht, Stichproben aus dem lokalen Erfahrungspool für das Training entnommen werden und schließlich trainierte neuronale Netzparameter in das Modul für föderales Lernen hochgeladen werden;wobei das Modul für föderales Lernen dazu verwendet wird, die von dem Modul für bestärkendes Lernen einzelner Agenten hochgeladenen neuronalen Netzparameter zu empfangen, globale Parameter abhängig von mehreren neuronalen Netzparametern zu aggregieren und schließlich die globalen Parameter an die einzelnen Agenten zu senden,bis das Netz konvergiert; wobei die Aggregation globaler Parameter durch die folgende Gleichung erfolgt:ϕm*=1N∑nϕmnwobeifür globale Parameter zu einem Zeitpunkt m steht, wobei N für die Anzahl von Agenten steht, und wobeiϕmnfür neuronale Netzparameter des n-ten Agenten zum Zeitpunkt m steht.
The provided are a federated reinforcement learning (FRL) end-to-end autonomous driving control system and method, as well as vehicular equipment, based on complex network cognition. An FRL algorithm framework is provided, designated as FLDPPO, for dense urban traffic. This framework combines rule-based complex network cognition with end-to-end FRL through the design of a loss function. FLDPPO employs a dynamic driving guidance system to assist agents in learning rules, thereby enabling them to navigate complex urban driving environments and dense traffic scenarios. Moreover, the provided framework utilizes a multi-agent FRL architecture, whereby models are trained through parameter aggregation to safeguard vehicle-side privacy, accelerate network convergence, reduce communication consumption, and achieve a balance between sampling efficiency and high robustness of the model.
ENDE-ZU-ENDE-SYSTEM UND -VERFAHREN ZUR AUTOMATISCHEN FAHRSTEUERUNG MIT FÖDERALEM BESTÄRKENDEM LERNEN BASIEREND AUF KOMPLEXER NETZKOGNITION SOWIE FAHRZEUGVORRICHTUNG
2025-06-26
Patent
Electronic Resource
German
IPC: | B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion |
Fahrzeugvorrichtung und Verfahren mit einer Fahrzeugvorrichtung
European Patent Office | 2017
|Fahrzeugkamera mit Vergrößerungsadapter, Fahrzeugvorrichtung sowie Verfahren
European Patent Office | 2025
|VERFAHREN ZUM BETRIEB EINER FAHRZEUGVORRICHTUNG UND FAHRZEUGVORRICHTUNG
European Patent Office | 2024
|Fahrzeugvorrichtung und Verfahren zum Betrieb der Fahrzeugvorrichtung
European Patent Office | 2021
|