Stage Ingénieur en Computer Vision - Nlp - Robotique H/F

L'offre

Les avancées récentes en vision par ordinateur et en intelligence artificielle multimodale ont permis l'émergence de modèles capables de comprendre des scènes visuelles à partir de descriptions en langage naturel. En particulier, les approches de segmentation à vocabulaire ouvert (Open-Vocabulary Segmentation), s'appuyant notamment sur les modèles Vision-Language (ex. CLIP, Grounding DINO, SAM), permettent d'identifier et de segmenter des objets ou des régions sans se limiter à un ensemble prédéfini de catégories. Ces modèles offrent ainsi des capacités prometteuses de généralisation à de nouveaux objets et environnements.

Parallèlement, les méthodes d'estimation de profondeur monoculaire (Monocular Depth Estimation) ont connu des progrès significatifs grâce aux architectures fondées sur les Transformers et aux modèles préentraînés à grande échelle (ex. Depth Anything, DPT). Ces approches permettent d'estimer la structure géométrique 3D d'une scène à partir d'une seule image RGB, sans nécessiter de capteurs de profondeur supplémentaires.

Cependant, ces deux tâches sont généralement traitées par des modèles distincts, alors qu'elles exploitent des informations visuelles complémentaires. La segmentation fournit une compréhension sémantique de la scène, tandis que l'estimation de profondeur apporte des informations sur sa structure spatiale et géométrique. Leur apprentissage conjoint au sein d'une architecture unifiée, reposant sur un encodeur visuel partagé, constitue une piste prometteuse pour améliorer la cohérence entre les prédictions, réduire les coûts de calcul et favoriser la généralisation à des environnements variés.

L'objectif du stage est d'explorer et de développer une architecture de perception unifiée capable de réaliser conjointement la segmentation à vocabulaire ouvert et l'estimation de profondeur monoculaire à partir d'une seule image.
Plus précisément, le stage visera à :

1. Concevoir une architecture multitâche unifiée, reposant sur un backbone visuel partagé, permettant de prédire simultané-ment une carte de segmentation conditionnée par des descrip-tions textuelles et une carte de profondeur dense.

2. Exploiter les complémentarités entre informations séman-tiques et géométriques, afin d'étudier comment l'apprentissage conjoint peut améliorer la précision des fron-tières des objets, la cohérence spatiale des prédictions et la qua-lité de l'estimation de profondeur.

3. Préserver les capacités de généralisation à vocabulaire ou-vert, en s'appuyant sur des représentations Vision-Language préentraînées pour segmenter des catégories d'objets non ren-contrées pendant l'entraînement.

4. Évaluer les performances et l'efficacité du modèle unifié, en comparant l'approche proposée à des modèles spécialisés en termes de qualité de segmentation, de précision de profondeur, de robustesse et de coût de calcul, notamment dans des scènes de conduite autonome.

Profil recherché

Vous êtes étudiant(e) en dernière année de Master ou d'école d'ingénieur, spécialisé en intelligence artificielle (vision par ordinateur).
Vous savez faire preuve de curiosité intellectuelle et de goût pour la recherche.

Vous maîtrisez les réseaux de neurones profonds (DNN), avoir de l'expérience avec des frameworks de deep learning comme PyTorch ou TensorFlow et du langage Python et framework PyTorch ou TensorFlow.
Vous avez d'excellentes bases en Mathématiques appliquées, Machine Learning, IA
Forte motivation pour le ML appliquée à la vision