Intern World Foundational Models Task-Agnostic Latent Representations H/F

L'offre

Summary

World Foundational Models (WFMs) are self-supervised AI models trained on vast datasets of sensors sequences (visual, sound, Lidar...) to learn the underlying physics, temporal dynamics, and spatial structures of physical environments.

Rather than predicting full-resolution, high-dimensional pixels for future states-which is computationally expensive and spends capacity on irrelevant noise like background texture changes-modern WFMs learn task-agnostic latent representations.

The goal of this internship is to explore, benchmark, and evaluate how task-agnostic latent spaces learned by existing World Foundational Models (like NVIDIA Cosmos, Meta's V-JEPA or LeWorldMode) can infer information and interpret that information to take decisions. One expected outcome is to demonstrate that the WFMs are generic enough to infer different information for different applications.

Target use cases may include autonomous navigation, elderly people surveillance, and anomaly detection. The work may lead to prototype software, internal demonstrators, and potentially publication and/or patent contributions.

Responsibilities

The intern will join the haptics research team within the New Media Codec group at InterDigital (Rennes). The work will consist in:

Studying the state of the art on neural representations of world models

Evaluate and compare different models

Designing and implementing applications using those models and identify the type of inferences that can be expected

Exploring agents able to use those inferences for some applications (autonomous robots, alert detection, elderly care...)

Evaluating the proposed methods and developing demonstrators with potential contributions to publications and patents

Résumé

Les modèles de fondation du monde physique (World Foundational Models, WFM) sont des modèles d'IA autosupervisés, entraînés sur de vastes jeux de données de séquences issues de capteurs (image, son, Lidar...) afin d'apprendre la physique sous-jacente, la dynamique temporelle et les structures spatiales des environnements physiques.

Plutôt que de prédire les états futurs sous forme de pixels en pleine résolution et de grande dimension (ce qui est coûteux en calcul et consacre des capacités à un bruit sans intérêt, comme les variations de texture de l'arrière-plan), les WFM modernes apprennent des représentations latentes indépendantes de la tâche.

L'objectif de ce stage est d'explorer, de comparer et d'évaluer la manière dont les espaces latents indépendants de la tâche appris par des WFM existants (tels que NVIDIA Cosmos, V-JEPA de Meta ou LeWorldMode) permettent d'inférer des informations et de les interpréter pour prendre des décisions. L'un des résultats attendus est de démontrer que les WFM sont suffisamment génériques pour inférer des informations différentes selon les applications.

Les cas d'usage visés pourront inclure la navigation autonome, la surveillance des personnes âgées et la détection d'anomalies. Les travaux pourront donner lieu à des prototypes logiciels, à des démonstrateurs internes et, le cas échéant, à des publications et/ou à des contributions à des brevets.

Missions

La personne recrutée rejoindra l'équipe de recherche en haptique du groupe New Media Codec d'InterDigital (Rennes). Les travaux consisteront à :

Étudier l'état de l'art des représentations neuronales des modèles du monde (world models)

Évaluer et comparer différents modèles

Concevoir et implémenter des applications utilisant ces modèles et identifier les types d'inférences envisageables

Explorer des agents capables d'exploiter ces inférences pour certaines applications (robots autonomes, détection d'alertes, accompagnement des personnes âgées...)

Évaluer les méthodes proposées et développer des démonstrateurs, avec de possibles contributions à des publications et à des brevets

Profil recherché

Qualifications

Master's student (or 4th year engineering school) in Computer Science, Machine Learning, Signal Processing, Robotics, or related field

Strong Python programming skills and experience with PyTorch or TensorFlow

Good knowledge of neural networks, representation learning, and signal processing

Nice to have:

Experience with autoencoders, GANs, INRs, or generative models for temporal data

Knowledge of video, audio, time-series processing, or interactive systems

Experience with C++, real-time systems, or game engines

Profil recherché

Étudiant ou étudiante en master (ou en 4e année d'école d'ingénieurs) en informatique, apprentissage automatique, traitement du signal, robotique ou dans un domaine connexe

Solides compétences en programmation Python et expérience de PyTorch ou TensorFlow

Bonne connaissance des réseaux de neurones, de l'apprentissage de représentations et du traitement du signal

Atouts appréciés :

Expérience des autoencodeurs, des GAN, des INR ou des modèles génératifs pour les données temporelles

Connaissances en vidéo, audio, traitement de séries temporelles ou systèmes interactifs

Expérience en C++, en systèmes temps réel ou en moteurs de jeu

Bon à savoir

Please apply on https://www.interdigital.com/company/career

REQ26-1166