Ende-zu-Ende-System zur automatischen Fahrsteuerung mit föderalem bestärkendem Lernen basierend auf komplexer Netzkognition, dadurch gekennzeichnet, dass es einen Zustandsgrößenencoder, einen Bildencoder, ein kognitives Modul für komplexe Netze, ein Modul für bestärkendes Lernen und ein Modul für föderales Lernen umfasst;wobei der Zustandsgrößenencoder dazu verwendet wird, Zustandsgrößen zu ermitteln, die von dem kognitiven Modul für komplexe Netze und dem Modul für bestärkendes Lernen benötigt sind, wobei die von dem kognitiven Modul für komplexe Netze benötigten Zustandsgrößen eine x-Koordinate, eine y-Koordinate, eine Kurswinkeländerungsmenge und eine Geschwindigkeit eines Fahrsubjekts umfassen und als Eingabe des kognitiven Moduls für komplexe Netze dienen; wobei die von dem Modul für bestärkendes Lernen benötigten Zustandsgrößen einen Lenkradwinkel, ein Gaspedal, eine Bremse, einen Gang,eine Quergeschwindigkeit und eine Längsgeschwindigkeit umfassen, ihre Merkmale über ein zweischichtiges vollständig verbundenes Netz extrahiert werden und dann als ein Teil von Eingaben für das Modul für bestärkendes Lernen dienen;wobei der Bildencoder dazu verwendet wird, eine implizite Zustandsgröße eines vom Modul für bestärkendes Lernen benötigten Bilds zu ermitteln, wobei das Bild eine semantische Vogelperspektive mit 15 Kanälen ist, mit iRL∈ [0,1]192∗192∗15, wobei die Einheit von 192 Pixel ist, wobei die verwendete Vogelperspektive 5 Pixel/m beträgt, wobei die 15 Kanäle eine befahrbare Domäne, einen Sollpfad, eine Straßenrandlinie, 4 Frames von weiteren Fahrzeugen, 4 Frames von Fußgängern und 4 Frames von Verkehrszeichen enthalten, wobei der Sollpfad durch einen A*-Algorithmus berechnet wird, wobei die semantische Vogelperspektive über mehrere Faltungsschichten implizite Merkmale extrahiert, die dann als der andere Teil der Eingaben des Moduls für bestärkendes Lernen dienen;wobei das kognitive Modul für komplexe Netze dazu verwendet wird, ein Fahrszenario, in dem sich das Fahrsubjekt befindet, zu modellieren und abhängig von der vom Zustandsgrößenencoder bereitgestellten Zustandsgröße einen maximalen Risikowert des Fahrsubjekts in einem aktuellen Fahrszenario zu ermitteln und schließlich anhand eines Risikowerts eine dynamische Fahrempfehlung durch eine Aktivierungsfunktion auszugeben;wobei das Modul für bestärkendes Lernen dazu verwendet wird, die von dem Zustandsgrößenencoder und dem Bildencoder ausgegebenen Zustandsgrößen zu integrieren, eine entsprechende Strategie abhängig von der integrierten Netzeingabe auszugeben, mit der Umgebung zum Generieren von Erfahrungen zu interagieren unddiese Erfahrungen in einem lokalen Erfahrungspool im Modul für föderales Lernen zu speichern, wobei im Fall, in dem die Anzahl der Stichproben einen bestimmten Schwellenwert erreicht, Stichproben aus dem lokalen Erfahrungspool für das Training entnommen werden und schließlich trainierte neuronale Netzparameter in das Modul für föderales Lernen hochgeladen werden;wobei das Modul für föderales Lernen dazu verwendet wird, die von dem Modul für bestärkendes Lernen einzelner Agenten hochgeladenen neuronalen Netzparameter zu empfangen, globale Parameter abhängig von mehreren neuronalen Netzparametern zu aggregieren und schließlich die globalen Parameter an die einzelnen Agenten zu senden,bis das Netz konvergiert; wobei die Aggregation globaler Parameter durch die folgende Gleichung erfolgt:ϕm*=1N∑nϕmnwobeifür globale Parameter zu einem Zeitpunkt m steht, wobei N für die Anzahl von Agenten steht, und wobeiϕmnfür neuronale Netzparameter des n-ten Agenten zum Zeitpunkt m steht.

    The provided are a federated reinforcement learning (FRL) end-to-end autonomous driving control system and method, as well as vehicular equipment, based on complex network cognition. An FRL algorithm framework is provided, designated as FLDPPO, for dense urban traffic. This framework combines rule-based complex network cognition with end-to-end FRL through the design of a loss function. FLDPPO employs a dynamic driving guidance system to assist agents in learning rules, thereby enabling them to navigate complex urban driving environments and dense traffic scenarios. Moreover, the provided framework utilizes a multi-agent FRL architecture, whereby models are trained through parameter aggregation to safeguard vehicle-side privacy, accelerate network convergence, reduce communication consumption, and achieve a balance between sampling efficiency and high robustness of the model.


    Access

    Download


    Export, share and cite



    Title :

    ENDE-ZU-ENDE-SYSTEM UND -VERFAHREN ZUR AUTOMATISCHEN FAHRSTEUERUNG MIT FÖDERALEM BESTÄRKENDEM LERNEN BASIEREND AUF KOMPLEXER NETZKOGNITION SOWIE FAHRZEUGVORRICHTUNG


    Contributors:
    CAI YINGFENG (author) / LU SIKAI (author) / WANG HAI (author) / LIAN YUBO (author) / CHEN LONG (author) / LIU QINGCHAO (author)

    Publication date :

    2025-06-26


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    German


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion



    Fahrzeugvorrichtung und Verfahren mit einer Fahrzeugvorrichtung

    HUPPERICH GEROLD KARL / ACHILLES SVEN / STURM THOMAS | European Patent Office | 2017

    Free access

    Fahrzeugkamera mit Vergrößerungsadapter, Fahrzeugvorrichtung sowie Verfahren

    LOPES FILIPE | European Patent Office | 2025

    Free access

    FAHRZEUGVORRICHTUNG UND VERFAHREN

    OSBORN RUSSELL / VALERO THOMAS / ROQUES OLIVIER | European Patent Office | 2019

    Free access

    VERFAHREN ZUM BETRIEB EINER FAHRZEUGVORRICHTUNG UND FAHRZEUGVORRICHTUNG

    ADRIAN MARCEL / GÖPPERT GEORG | European Patent Office | 2024

    Free access

    Fahrzeugvorrichtung und Verfahren zum Betrieb der Fahrzeugvorrichtung

    FEINSTEIN LUTZ / KRUSE MICHAEL | European Patent Office | 2021

    Free access