Techniques are disclosed for performing knowledge distillation in the context of machine learning model training. A fixed pool of "teacher" models are provided, which meet predefined conditions. A machine learning model is then trained to provide a "student," by applying a random selection of the teachers to unlabeled sample data, which accelerates the training process. The algorithm implemented for this purpose ensures that the trained student provides low error.

    Des techniques sont divulguées, pour effectuer une distillation de connaissances dans le contexte d'un entraînement de modèle d'apprentissage automatique. Un groupe fixe de modèles "enseignants" satisfaisant des conditions prédéfinies est fourni. Un modèle d'apprentissage automatique est ensuite entraîné pour fournir un "étudiant" en appliquant une sélection aléatoire des enseignants à des données d'échantillon non étiquetées, ce qui accélère le processus d'entraînement. L'algorithme mis en œuvre à cet effet garantit que l'étudiant entraîné fournit un faible taux d'erreur.


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    KNOWLEDGE DISTILLATION TECHNIQUES


    Weitere Titelangaben:

    TECHNIQUES DE DISTILLATION DE CONNAISSANCES


    Beteiligte:
    MALACH ERAN (Autor:in) / KAPLUN GAL (Autor:in) / SHALEV-SHWARTZ SHAI (Autor:in)

    Erscheinungsdatum :

    17.08.2023


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Englisch


    Klassifikation :

    IPC:    G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion



    Decoupled Knowledge Distillation

    Zhao, Borui / Cui, Quan / Song, Renjie et al. | ArXiv | 2022

    Freier Zugriff

    Generative Dataset Distillation Based on Self-knowledge Distillation

    Li, Longzhen / Li, Guang / Togo, Ren et al. | ArXiv | 2025

    Freier Zugriff

    Knowledge Distillation with Refined Logits

    Sun, Wujie / Chen, Defang / Lyu, Siwei et al. | ArXiv | 2024

    Freier Zugriff

    Logit Standardization in Knowledge Distillation

    Sun, Shangquan / Ren, Wenqi / Li, Jingzhi et al. | ArXiv | 2024

    Freier Zugriff

    KNOWLEDGE DISTILLATION FOR AUTONOMOUS VEHICLES

    WANG MINFA / DING KAI / CHEN HAOYU et al. | Europäisches Patentamt | 2022

    Freier Zugriff