Intern Efficient Attribute Packing For Video-Based Compression Of Hierarchically Organized 3D Gaussian Splats H/F

L'offre

Summary

3D Gaussian Splatting (3DGS) is a recent 3D scene representation in which a scene is modeled as a collection of Gaussian primitives characterized by attributes such as position, scale, orientation, opacity, and appearance. It has emerged as a promising representation for high-quality, real-time rendering of immersive visual content.

Recent Gaussian Splat compression frameworks organize Gaussian primitives into a hierarchical cluster structure, enabling scalable representation and efficient access to scene content. A critical challenge is the efficient compression of Gaussian attributes such as color, opacity, scale, rotation, and other learned features.

The objective of this internship is to investigate novel methods for packing Gaussian attributes into 2D atlases that can be compressed using standard video codecs. Unlike conventional packing approaches, the work will exploit the existing hierarchical cluster organization to improve spatial coherence, reduce unused pixels, and maximize coding efficiency. Several strategies will be explored, including cluster-aware atlas construction, attribute-aware packing, temporal atlas stabilization, and predictive ordering of Gaussian primitives.

The proposed solutions will be integrated into a video-based Gaussian compression pipeline and benchmarked against state-of-the-art Gaussian Splat coding approaches. Evaluation will focus on packing efficiency, video coding performance, rate-distortion behavior, and computational complexity on dynamic Gaussian Splat datasets.

You will be working in the 3D Native Codec team, in the New Media Codecs Group of the Video Lab.

Responsibilities

In collaboration with the InterDigital research team, the candidate will be expected to:

Analyze existing technologies and identify core challenges related to 3D Gaussian Splat compression.

Contribute to the design and development of software solutions addressing these challenges Perform rigorous testing and validation, including simulation-based evaluations, to ensure functional correctness and performance in line with established protocols.

Implement, test, and validate the proposed components and algorithms.

Communicate technical outcomes effectively, contributing to documentation, internal reports, and potentially to publications or intellectual property filings.

Résumé

Le 3D Gaussian Splatting (3DGS) est une représentation récente de scènes 3D, dans laquelle une scène est modélisée comme un ensemble de primitives gaussiennes caractérisées par des attributs tels que la position, l'échelle, l'orientation, l'opacité et l'apparence. Il s'impose comme une représentation prometteuse pour le rendu en temps réel et de haute qualité de contenus visuels immersifs.

Les frameworks récents de compression de splats gaussiens organisent les primitives gaussiennes selon une structure hiérarchique de clusters, ce qui permet une représentation évolutive (scalable) et un accès efficace au contenu de la scène. L'un des enjeux majeurs réside dans la compression efficace des attributs gaussiens tels que la couleur, l'opacité, l'échelle, la rotation et d'autres caractéristiques apprises.

L'objectif de ce stage est d'étudier de nouvelles méthodes d'empaquetage des attributs gaussiens dans des atlas 2D pouvant être compressés à l'aide de codecs vidéo standard. Contrairement aux approches d'empaquetage classiques, les travaux exploiteront l'organisation hiérarchique en clusters existante pour améliorer la cohérence spatiale, réduire le nombre de pixels inutilisés et maximiser l'efficacité de codage. Plusieurs stratégies seront explorées, notamment la construction d'atlas tenant compte des clusters, l'empaquetage tenant compte des attributs, la stabilisation temporelle des atlas et l'ordonnancement prédictif des primitives gaussiennes.

Les solutions proposées seront intégrées à une chaîne de compression gaussienne basée sur la vidéo et comparées aux approches de codage de splats gaussiens à l'état de l'art. L'évaluation portera sur l'efficacité de l'empaquetage, les performances de codage vidéo, le comportement débit-distorsion et la complexité de calcul, sur des jeux de données de splats gaussiens dynamiques.

Vous intégrerez l'équipe 3D Native Codec, au sein du groupe New Media Codecs du Video Lab.

Missions

En collaboration avec l'équipe de recherche d'InterDigital, la personne recrutée aura pour missions de :

Analyser les technologies existantes et identifier les principaux défis liés à la compression des splats gaussiens 3D (3D Gaussian Splats).

Contribuer à la conception et au développement de solutions logicielles répondant à ces défis. Mener des tests et des validations rigoureux, y compris des évaluations par simulation, afin de garantir le bon fonctionnement et les performances conformément aux protocoles établis.

Implémenter, tester et valider les composants et algorithmes proposés.

Communiquer efficacement les résultats techniques, en contribuant à la documentation, aux rapports internes et, le cas échéant, à des publications ou à des dépôts de propriété intellectuelle.

Profil recherché

Qualifications

Master's student in Computer Engineering, Computer Science, Software Engineering, or a closely related discipline.

Strong proficiency in C/C++ and Python is required. Familiarity with one or more of the following areas is a plus: 3D geometry, compression, computer vision, or computer graphics.

Fluent in English, with excellent written and verbal communication skills. Demonstrates strong collaboration abilities and a team-oriented mindset.

Profil recherché

Étudiant ou étudiante en master d'ingénierie informatique, d'informatique, de génie logiciel ou d'une discipline proche.

Excellente maîtrise du C/C++ et de Python exigée. Une connaissance d'un ou plusieurs des domaines suivants est un atout : géométrie 3D, compression, vision par ordinateur ou informatique graphique.

Anglais courant, avec d'excellentes compétences de communication écrite et orale. Réelles aptitudes à la collaboration et sens du travail en équipe.

undefined

Bon à savoir

Please apply on https://www.interdigital.com/company/career

REQ26-1152