Written by L’OFQJ et l’IPI – Ecole d’informatique vous proposent de revivre conférences et les visites qui ont marqué la délégation OFQJ à la Semaine Numérique 2018. Vous avez raté une conférence ou une visite qui vous intéressait ? Les élèves de l’IPI membre de la délégation OFQJ / Semaine Numérique vous proposent un compte-rendu détaillé des ateliers auxquels ils ont participé.
Mercredi 11 avril
L’intelligence artificielle au service de la réalité augmentée, par Jean-François Lalonde
Une présentation de Jean-François Lalonde, professeur à l’université de Laval, Québec
La réalité augmentée désigne une interface virtuelle, en 2D ou en 3D, qui vient enrichir la réalité en y superposant des informations complémentaires.
L’intelligence artificielle est l’ensemble de théories et techniques mises en oeuvre en vue de réaliser des machines capables de simuler l’intelligence
La présentation du professeur Lalonde tisse le lien entre deux domaines n’ayant, à priori, pas de point commun. Il nous explique en quoi l’intelligence artificielle et l’utilisation d’un réseau neuronal (deep learning) peut aider à la résolution de problèmes spécifiques à la réalité augmentée :
- Le suivi d’objets en temps réel.
- L’éclairage d’élément virtuel de façon dynamique.
A l’heure actuelle il est possible d’interagir avec des objets fixes. La première problématique est que le suivi des objets en mouvement est beaucoup plus compliqué. Le but ici est d’obtenir en temps réel les déplacements d’un objet sur 6 axes (translation et rotation) afin de pouvoir adapter l’interface virtuelle en conséquence. L’utilisation d’un réseau neuronal entrainé par une base de données, de photos de l’objet en question, a permis une grande avancée sur le sujet. Dans l’état actuel de ses recherches, Jean-François Lalonde peut suivre efficacement un objet dans l’espace, et ceci même s’il est caché (jusqu’à 65% d’occlusion de l’objet).
La seconde problématique est l’éclairage des éléments virtuels en rapport avec les sources lumineuses présentes dans l’espace réel. Encore une fois, l’entrainement d’une IA à l’aide du « deep learning » a permis de grandes avancées. La difficulté consistait à entrainer le réseau neuronal pour qu’il puisse ensuite générer les ombres, ainsi que les effets de lumière sur les éléments virtuels. Jean-François Lalonde et ses étudiants ont dû créer une base de données de photos en 360°, HDR et haute définition. Ils ont capturé, en partenariat avec Adobe et l’université de Laval, plus de 2400 panoramas disponibles sur le site indoor.hdrdb.com.
Cette base de données a permis d’entrainer le réseau neuronal à détecter les sources et l’intensité de la lumière, en ne voyant qu’une faible portion du panorama (sans avoir vu la vue à 360° donc). Une fois le réseau entrainé, il est en capacité d’ajouter des ombres de façon réaliste sur un objet virtuel.
Les travaux que Jean-François Lalonde a présentés indiquent qu’ils sont sur la bonne voie et que le futur de la réalité augmentée va sûrement briller grâce à l’intelligence artificielle !
Robin Carcassonne et Quentin Pomarel
Le pitch de la conférence
Nous discuterons de deux nouvelles technologies en « deep learning » développées à l’Université Laval et permettant de repousser les limites de la réalité augmentée. En premier lieu, je présenterai une approche pour retrouver la position et l’orientation d’un petit objet en 3D pouvant être manipulé en temps réel par une personne. En second lieu, je présenterai une technique d’estimation automatique d’éclairage à partir d’une seule image. Combinées aux nouvelles plateformes portatives (ex. iPhone X, HoloLens), ces technologies permettront la création d’applications robustes et réalistes en réalité augmentée.
Jean-François Lalonde
Professeur adjoint, Université Laval
Jean-François Lalonde est professeur adjoint au Département de génie électrique et de génie informatique de l’Université Laval depuis 2013. Auparavant, était chercheur postdoctoral chez Disney Research, Pittsburgh. Il a reçu le baccalauréat en génie informatique de l’Université Laval en 2004 et il a ensuite obtenu son M.S. au Robotics Institute de Carnegie Mellon University en 2006, et ce, sous la supervision du professeur Martial Hebert. Il a obtenu son Ph. D. de Carnegie Mellon également, et ce, en 2011, cette fois sous la supervision des professeurs Alexei A. Efros et Srinivas G. Narasimhan. Sa thèse, intitulée « Understanding and Recreating Appearance under Natural Illumination », a remporté le prix « 2010-11 School of Computer Science Distinguished Dissertation Award », remis chaque année à la meilleure thèse de doctorat en informatique de l’institution. Après avoir gradué, il a travaillé pour Tandent, inc., où il a participé au développement de LightBrush™, le premier logiciel commercial pour le retrait d’ombres dans des images. Il concentre ses travaux de recherche sur la compréhension et la synthèse des images en relation avec leurs conditions d’éclairage grâce à des techniques d’apprentissage automatique.