Intern Compression-Aware Fine-Tuning Of 3D Gaussian Splatting Models H/F

L'offre

Summary

3D Gaussian Splatting (3DGS) is a recent 3D scene representation in which a scene is modeled as a collection of Gaussian primitives characterized by attributes such as position, scale, orientation, opacity, and appearance. It has emerged as a promising representation for high-quality, real-time rendering of immersive visual content.

Compression of 3DGS models typically introduces distortions due to the quantization and coding of geometry and Gaussian attributes. Recent studies suggest that a limited amount of retraining after compression can partially recover rendering quality while preserving the compressed bitstream.

The objective of this internship is to investigate lightweight fine-tuning techniques integrated into the compression workflow. Starting from a compressed 3DGS representation, the intern will explore how a small subset of parameters can be adapted to compensate for compression artifacts while maintaining low computational complexity. Candidate approaches include selective optimization of attributes, as well as cluster-level or hierarchical fine-tuning strategies.

The proposed methods will be evaluated in terms of rate-distortion performance, rendering quality, retraining complexity, and encoding time. The goal is to determine whether compression-aware fine-tuning can provide significant coding gains compared to conventional compression pipelines without requiring costly model retraining.

You will be working in the 3D Native Codec team, in the New Media Codecs Group of the Video Lab.

Responsibilities

In collaboration with the InterDigital research team, the candidate will be expected to:

Analyze existing technologies and identify core challenges related to 3D Gaussian Splat compression.

Contribute to the design and development of software solutions addressing these challenges Perform rigorous testing and validation, including simulation-based evaluations, to ensure functional correctness and performance in line with established protocols.

Implement, test, and validate the proposed components and algorithms.

Communicate technical outcomes effectively, contributing to documentation, internal reports, and potentially to publications or intellectual property filings.

Résumé

Le 3D Gaussian Splatting (3DGS) est une représentation récente de scènes 3D, dans laquelle une scène est modélisée comme un ensemble de primitives gaussiennes caractérisées par des attributs tels que la position, l'échelle, l'orientation, l'opacité et l'apparence. Il s'impose comme une représentation prometteuse pour le rendu en temps réel et de haute qualité de contenus visuels immersifs.

La compression des modèles 3DGS introduit généralement des distorsions dues à la quantification et au codage de la géométrie et des attributs gaussiens. Des études récentes suggèrent qu'un réentraînement limité après compression permet de récupérer en partie la qualité de rendu tout en préservant le flux binaire compressé.

L'objectif de ce stage est d'étudier des techniques légères d'ajustement fin, intégrées au processus de compression. À partir d'une représentation 3DGS compressée, la personne recrutée étudiera comment adapter un petit sous-ensemble de paramètres pour compenser les artefacts de compression, tout en maintenant une faible complexité de calcul. Les approches envisagées comprennent l'optimisation sélective des attributs, ainsi que des stratégies d'ajustement fin hiérarchiques ou au niveau des clusters.

Les méthodes proposées seront évaluées en termes de performances débit-distorsion, de qualité de rendu, de complexité du réentraînement et de temps d'encodage. L'objectif est de déterminer si un ajustement fin tenant compte de la compression peut apporter des gains de codage significatifs par rapport aux chaînes de compression classiques, sans nécessiter un réentraînement coûteux du modèle.

Vous intégrerez l'équipe 3D Native Codec, au sein du groupe New Media Codecs du Video Lab.

Missions

En collaboration avec l'équipe de recherche d'InterDigital, la personne recrutée aura pour missions de :

Analyser les technologies existantes et identifier les principaux défis liés à la compression des splats gaussiens 3D (3D Gaussian Splats).

Contribuer à la conception et au développement de solutions logicielles répondant à ces défis. Mener des tests et des validations rigoureux, y compris des évaluations par simulation, afin de garantir le bon fonctionnement et les performances conformément aux protocoles établis.

Implémenter, tester et valider les composants et algorithmes proposés.

Communiquer efficacement les résultats techniques, en contribuant à la documentation, aux rapports internes et, le cas échéant, à des publications ou à des dépôts de propriété intellectuelle.

Profil recherché

Qualifications

Master's student in Computer Engineering, Computer Science, Software Engineering, or a closely related discipline.

Strong proficiency in C/C++ and Python is required. Familiarity with one or more of the following areas is a plus: 3D geometry, compression, computer vision, or computer graphics.

Fluent in English, with excellent written and verbal communication skills. Demonstrates strong collaboration abilities and a team-oriented mindset.

Profil recherché

Étudiant ou étudiante en master d'ingénierie informatique, d'informatique, de génie logiciel ou d'une discipline proche.

Excellente maîtrise du C/C++ et de Python exigée. Une connaissance d'un ou plusieurs des domaines suivants est un atout : géométrie 3D, compression, vision par ordinateur ou informatique graphique.

Anglais courant, avec d'excellentes compétences de communication écrite et orale. Réelles aptitudes à la collaboration et sens du travail en équipe.

undefined

Bon à savoir

Please apply on https://www.interdigital.com/company/career

REQ26-1158