PFE - Développement d’une intelligence artificielle multimodale dans le domaine médical

Société : SurgiQual Institute

SQI est une société Grenobloise organisée en SCOP depuis 2008 et structurée autour de deux pôles : le développement de technologies médicales logicielles et les aspects qualité et affaires réglementaires. SQI intervient dans tous les domaines nécessitant la conception de dispositif médical logiciel, avec une forte expertise dans le développement de logiciels de planning, de navigation et de robotique chirurgicales en conformité avec l’IEC 62304. En parallèle de ses activités de développement logiciel, SQI collabore à différents projets de recherche et d’innovation avec des partenaires académiques, cliniques et industriels.

Description du poste

Nous proposons un stage de fin d'études axé sur la création d'un Proof of Concept (POC) Multimodal. Le but du projet est de conjuguer imagerie médicales, vidéos du patient et rapports médicaux pour améliorer la prise en charge du patient dans le cadre de la chirurgie de différentes articulations (épaules, rachis…). Le projet s’intéresse non seulement à des problématiques de fusions de données multimodales, mais aussi à l’IA générative (textes, images..etc). Il cible donc les modèles de pointe en deep learning multimodal et LLM (Large Language Models).
Missions :
En collaboration avec notre équipe de recherche, vous serez amené(e) à :
1. Benchmarking : Comparer et analyser les performances des modèles existants en termes de prédiction multimodale.
2. Implémentation d'un Modèle Multimodal : Développer et adapter un ou plusieurs modèles (par exemple Mamba, Idefics, T5…)
3. Évaluation des Résultats : Mettre en place des méthodes d'évaluation robustes pour mesurer la performance des modèles implémentés.
4. Génération de Données : Créer des jeux de données nécessaires à l'entraînement et à l'évaluation des modèles, en utilisant des outils de génération automatique de données.

Profil recherché

Nous recherchons un(e) étudiant(e) en dernière année de Master ou d'École d'Ingénieur, spécialisé(e) en Informatique, ou dans un domaine connexe. Le(la) candidat(e) doit déjà avoir utilisé le langage Python. Une connaissance de PyTorch et/ou TensorFlow serait un plus, tout comme une familiarité avec les principaux modèles de multimodalité. Sur le plan personnel, nous valorisons l'autonomie, la rigueur, un esprit analytique, ainsi qu'une capacité à travailler efficacement en équipe.

Voir le fichier joint