Intern Multi-Camera Video Capture For Real-Time 3Dgs Avatars H/F

L'offre

Summary

The InterDigital Immersive Video Lab is dedicated to advancing avatar-based communication. In this context, this internship aims to transform an existing photography setup comprising 14 DSLR cameras into a multi-view video capture rig. The primary objective is to develop a complete acquisition pipeline for synchronized recordings of facial expressions and head movements. The work will begin by assessing the cameras' video capabilities, synchronization options, and data transfer constraints. It will include camera calibration, lighting configuration, and the development of tools to control and monitor recording sessions. Particular attention will be given to temporal alignment, consistent exposure, and image quality across viewpoints. A facial capture protocol will define the expressions, speech sequences, and head movements required for avatar reconstruction and animation. The second objective is to produce a structured multi-view video dataset for real-time avatar calls using 3D Gaussian Splatting. The dataset will include recordings from multiple participants, calibration data, capture metadata, and predefined training and evaluation sequences. The expected outcomes are an operational video capture rig, a documented acquisition workflow, and a quality-checked dataset collected with participant consent.

Responsibilities

State-of-art on avatar representation formats (ARF, DNA, USD, VRM, FBX etc.)

Development of a prototype of interop platform

Demonstrator to assess the ARF interoperability

Résumé

L'Immersive Video Lab d'InterDigital se consacre au développement de la communication basée sur les avatars. Dans ce contexte, ce stage vise à transformer un dispositif photographique existant, composé de 14 appareils photo reflex numériques, en un système de capture vidéo multivue. L'objectif principal est de développer une chaîne d'acquisition complète permettant des enregistrements synchronisés des expressions faciales et des mouvements de la tête. Les travaux débuteront par l'évaluation des capacités vidéo des appareils, des options de synchronisation et des contraintes de transfert des données. Ils comprendront l'étalonnage des caméras, la configuration de l'éclairage et le développement d'outils de pilotage et de suivi des sessions d'enregistrement. Une attention particulière sera portée à l'alignement temporel, à la cohérence de l'exposition et à la qualité d'image d'un point de vue à l'autre. Un protocole de capture faciale définira les expressions, séquences de parole et mouvements de tête nécessaires à la reconstruction et à l'animation des avatars. Le second objectif est de constituer un jeu de données vidéo multivue structuré pour des appels avec avatars en temps réel reposant sur le 3D Gaussian Splatting. Ce jeu de données comprendra des enregistrements de plusieurs participants, des données d'étalonnage, des métadonnées de capture ainsi que des séquences prédéfinies d'entraînement et d'évaluation. Les résultats attendus sont un système de capture vidéo opérationnel, une procédure d'acquisition documentée et un jeu de données dont la qualité a été contrôlée, recueilli avec le consentement des participants.

Missions

État de l'art des formats de représentation d'avatars (ARF, DNA, USD, VRM, FBX, etc.)

Développement d'un prototype de plateforme d'interopérabilité

Démonstrateur permettant d'évaluer l'interopérabilité d'ARF

Profil recherché

Qualifications

Master - High level in programming, code architecture and format interoperability. Some knowledge in 3D computer vision, computer graphics, 3D modeling, rendering or Maya/Houdini/Blender would be appreciated

undefined

Profil recherché

Master. Très bon niveau en programmation, en architecture logicielle et en interopérabilité des formats. Des connaissances en vision par ordinateur 3D, informatique graphique, modélisation 3D, rendu ou Maya/Houdini/Blender seraient appréciées

Bon à savoir

Please apply on https://www.interdigital.com/company/career

REQ26-1167