Nous lançons un appel à candidature pour une Offre de Thèse portant sur l’étude du biais et les méthodes permettant de débiaiser les modèles de Deep Learning, voire rendre le processus de compression non biaisé.
Cette thèse s’inscrit dans le cadre du projet ANR DIKé qui s’intéresse à l’étude du biais dans les modèles compressés de Deep Learning avec une application au Traitement du Langage Naturel.
Résumé
L’objectif de ce projet est d’être capable d’identifier si un modèle compressé est biaisé à travers la création de mesures permettant d’évaluer ce biais. Il s’agira ensuite d’identifier les origines de ce biais dans la compression et d’établir de nouvelles méthodes permettant de compresser des modèles deep complexes sans que ces derniers ne favorisent une classe d’objets/individus plutôt qu’une autre par exemple.
Objectif (en bref)
Le/la futur(e) thésard(e) devra dans un premier temps réaliser un travail bibliographique pour approfondir (si besoin) ses connaissances dans le domaine du NLP et notamment maîtriser l’architecture des réseaux couramment utilisés dans un tel domaine. Il devra ensuite étudier les différentes techniques de compression des modèles de Deep Learning, comme le pruning ou encore la distillation.
Après ce travail préliminaire, le ou la candidat(e) recruté(e) pourra tout d’abord fournir un travail bibliographique concernant l’évaluation des biais dans les modèles de Machine Learning. Il conviendra également de déterminer les origines du biais dans les dits modèles. Pour cela, il/elle pourra étudier les différentes métriques ainsi que les méthodes de compression de modèle de Deep Learning utilisé en NLP sur des benchmarks trouvés lors du travail bibliographique.
Plusieurs pistes sont proposées afin de traiter le problème en fonction des études préliminaires conduites sur les données mais aussi sur les modèles : génération de données et pour remédier au biais présent dans les modèles on pourra s’intéresser à cette tâche après compression par des approches basées l’apprentissage dans un contexte déséquilibré ou encore sur la fairness.
L’objectif final étant de pouvoir débiaiser le processus de compression en lui même.
Vous pourrez trouver de plus amples informations à l’adresse suivante ainsi que les modalités de candidatures :
https://guillaumemetzler.github.io/documents/offers/phd_position_dike.pdf
Français 
English (UK)