Intern Real-Time Deep Learning Inference For Display Power Reduction H/F

L'offre

Summary

DeepPVR is InterDigital's in-house deep-learning algorithm that reduces the energy consumed by images shown on OLED displays and on LCD displays with local dimming, while preserving perceived picture quality. The current implementation delivers the expected power savings but does not run in real time, mainly because of implementation inefficiencies rather than fundamental algorithmic limits. The intern will join the Video research team to make DeepPVR run in real time on modern GPUs and on mobile devices equipped with neural accelerators (TPU/NPU). The work spans inference-pipeline optimization, network-architecture modifications such as pruning and quantization, and an experimental study of the battery-life impact of running the algorithm live on a mobile device.

Responsibilities

Profile the existing DeepPVR implementation to identify compute, memory and data-transfer bottlenecks.

Re-implement and optimize the inference pipeline for real-time execution on modern GPUs (e.g., CUDA, TensorRT, ONNX Runtime).

Port the model to mobile devices with TPU/NPU accelerators using on-device inference frameworks (e.g., LiteRT/TensorFlow Lite, Core ML, Qualcomm AI Engine) and optimize it for real-time throughput.

Explore network-architecture modifications such as pruning, quantization, knowledge distillation and lightweight backbones, and quantify their impact on runtime, power savings and visual quality.

Design and run experiments measuring the battery-life impact of running DeepPVR in real time on mobile devices, separating display power savings from the added compute cost.

Document the work, present results to the team, and contribute to publications or invention disclosures where relevant.

Résumé

DeepPVR est un algorithme d'apprentissage profond développé en interne par InterDigital, qui réduit l'énergie consommée par l'affichage des images sur les écrans OLED et sur les écrans LCD à gradation locale (local dimming), tout en préservant la qualité d'image perçue. L'implémentation actuelle permet les économies d'énergie attendues mais ne fonctionne pas en temps réel, principalement en raison d'inefficacités d'implémentation plutôt que de limites algorithmiques fondamentales. La personne recrutée rejoindra l'équipe de recherche Video afin de faire fonctionner DeepPVR en temps réel sur des GPU récents et sur des appareils mobiles équipés d'accélérateurs neuronaux (TPU/NPU). Les travaux couvriront l'optimisation de la chaîne d'inférence, des modifications de l'architecture du réseau telles que l'élagage (pruning) et la quantification, ainsi qu'une étude expérimentale de l'impact sur l'autonomie de la batterie de l'exécution de l'algorithme en direct sur un appareil mobile.

Missions

Profiler l'implémentation existante de DeepPVR afin d'identifier les goulets d'étranglement en matière de calcul, de mémoire et de transfert de données.

Réimplémenter et optimiser la chaîne d'inférence pour une exécution en temps réel sur des GPU récents (par exemple CUDA, TensorRT, ONNX Runtime).

Porter le modèle sur des appareils mobiles dotés d'accélérateurs TPU/NPU à l'aide de frameworks d'inférence embarquée (par exemple LiteRT/TensorFlow Lite, Core ML, Qualcomm AI Engine) et l'optimiser pour un débit de traitement en temps réel.

Explorer des modifications de l'architecture du réseau telles que l'élagage, la quantification, la distillation des connaissances et des backbones allégés, et quantifier leur impact sur le temps d'exécution, les économies d'énergie et la qualité visuelle.

Concevoir et mener des expérimentations mesurant l'impact sur l'autonomie de la batterie de l'exécution de DeepPVR en temps réel sur des appareils mobiles, en distinguant les économies d'énergie de l'écran du surcoût de calcul.

Documenter les travaux, présenter les résultats à l'équipe et contribuer, le cas échéant, à des publications ou à des déclarations d'invention.

Profil recherché

Qualifications

Currently enrolled in a Master's degree in Computer Science, Electrical Engineering, Applied Mathematics or a related field.

Strong programming skills in Python and C/C++.

Experience with a deep-learning framework (PyTorch or TensorFlow) and with training and evaluating convolutional networks.

Experience with GPU programming or inference optimization (CUDA, TensorRT, ONNX, LiteRT/TensorFlow Lite, Core ML) is a strong plus.

Familiarity with model-compression techniques (pruning, quantization, distillation) is a plus.

Knowledge of image processing, display technologies (OLED, LCD local dimming) or perceptual image quality is a plus.

Experience with mobile development (Android/iOS), on-device benchmarking or power measurement is a plus.

Good communication skills in English. Autonomous, curious and rigorous in experimental work. French communication skills is a plus.

Profil recherché

Étudiant ou étudiante en master d'informatique, de génie électrique, de mathématiques appliquées ou dans un domaine connexe.

Solides compétences en programmation Python et C/C++.

Expérience d'un framework d'apprentissage profond (PyTorch ou TensorFlow) ainsi que de l'entraînement et de l'évaluation de réseaux convolutifs.

Une expérience de la programmation GPU ou de l'optimisation de l'inférence (CUDA, TensorRT, ONNX, LiteRT/TensorFlow Lite, Core ML) constitue un réel atout.

Une connaissance des techniques de compression de modèles (élagage, quantification, distillation) est un plus.

Des connaissances en traitement d'image, en technologies d'affichage (OLED, LCD à gradation locale) ou en qualité perceptuelle des images sont un plus.

Une expérience du développement mobile (Android/iOS), de l'évaluation des performances embarquées ou de la mesure de consommation est un plus.

Bonnes compétences de communication en anglais. Autonomie, curiosité et rigueur dans le travail expérimental. La maîtrise du français est un plus.

Bon à savoir

Please apply on https://www.interdigital.com/company/career

REQ26-1163