Le développement de l’Eye-tracking

dimanche 11 janvier 2009

Introduction

La technique de l’IRM Fonctionnelle Cérébrale est un des piliers de la recherche fondamentale et clinique dans le domaine des neurosciences. Cette technique consiste – schématiquement – à étudier les corrélations existant entre des « activations » cérébrales (mesurées par l’IRM) et le « comportement » du (ou des) sujet. L’activation est ici synonyme de variations locales de l’hémodynamique cérébrale. Le comportement du sujet fait l’objet d’un ensemble de stimulations (pouvant être visuelles, auditives, tactiles, olfactives, …) et/ou d’enregistrement de réponses (pouvant être cognitives, motrices, physiologiques, …).

Dans le cadre d’études incluant une forte composante visuelle, il s’avère rapidement nécessaire d’acquérir des données oculomotrices. Ces données permettent de contrôler un certain nombre de paramètres fondamentaux tels que l’état d’éveil du sujet, son comportement oculaire moteur (poursuites, saccades visuelles), la dilatation de sa pupille (pouvant être caractéristique d’un état de fatigue ou de stress émotionnel). L’ensemble de ces données est bien entendu crucial pour une analyse non biaisée des données IRMf.

Contraintes et stratégie de développement

Il existe de nombreux systèmes industriels (optiques ou vidéo) d’enregistrement de données oculomotrices. Peu d’entre-eux sont compatibles avec l’environnement IRM (caractérisé par de grandes sensibilité aux rayonnements radio-fréquences et à l’utilisation de matériaux ferromagnétiques). De plus, de tels systèmes sont souvent fermés, peu évolutifs et très onéreux, En particulier, concernant le Centre IRMf de Marseille, aucun système existant n’a pu s’avérer compatible avec nos contraintes spatiales (trop volumineux par rapport à l’étroitesse du tunnel et de l’antenne IRM).

Le développement spécifique d’un système s’est donc imposé, induisant pour des questions de validation et d’évolution une caractéristique nécessaire de modularité. L’intégration de composants matériels et logiciels naturellement complémentaires et évolutifs issus du catalogue NI a permis de répondre à ces contraintes.

La configuration choisie s’appuie sur un système de caméra CCD analogique, compatible IRM et inséré dans un système de lunettes en plastique (http://www.magconcept.com/MRI/index...). Nous avons donc orienté notre choix vers une carte d’acquisition vidéo analogique monochrome offrant une bonne résolution (10 bits) des niveaux de gris : la PXI IMAQ 1409. Le module d’analyse d’image en temps réel s’articulant sur des outils de segmentation automatique, de morphologie mathématique et de vision, le module « Vision » de LabVIEW s’est donc imposé ; Vision Builder offrant par ailleurs une solution intéressante pour le prototypage et le test des fonctions. Enfin, LabVIEW 8.6 et sa capacité à gérer proprement le multi-processing sur processeurs multicoeur se trouve être le cadre idéal de ce développement.

Mise en œuvre matérielle et logicielle

4 modules spécifiques ont été développés. Ces modules couvrent l’ensemble de la chaîne d’acquisition et de traitement temps-réel. Chacun de ces modules s’appuie sur des caractéristiques matérielles et logicielles qui ont permis de faciliter le développement.

  • Module d’acquisition vidéo

La caméra utilisée fournit un signal de type NTSC au format 640x480 pixels à la fréquence de 30 Hz, en mode entrelacé. Grâce à la souplesse de programmation de la carte 1409, il a été possible de dissocier les trames paires et impaires, et ainsi doubler la fréquence temporelle, en réduisant la fréquence spatiale (ce qui n’a aucune incidence sur le traitement d’image). Nous avons donc pu régler une acquisition vidéo au format 640x240 pixels à la fréquence de 60 Hz. Par la suite, le dimensionnement correct d’un buffer d’acquisition vidéo a permis d’assurer au mieux le fonctionnement du module d’acquisition.

  • Module basique de traitement d’image

Il s’agit d’un module très simple qui réalise une première analyse « grossière » de la position du centre de la pupille, au moyen de routines élémentaire de seuillage et de morphologie mathématique, directement issues de la librairie « Vision ». A la fin de ce traitement, on dispose des coordonnées X et Y (dans le repère image) du centre de la pupille. Néanmoins, ce calcul est d’une précision imparfaite, l’algorithme basé sur les outils de morphologie mathématique assurant simplement que le point calculé appartient bien à la pupille

  • Module avancé de traitement d’image

La position du centre de la pupille est certes l’indicateur le plus intéressant en oculomotricité. Il est cependant – du point de vue comportemental – utilement complété par la taille de la pupille. Ce paramètre subit des influences physiologiques nombreuses et reste assez largement utilisé dans les études portant sur l’attention et l’émotion notamment.

Le module que nous avons développé s’appuie sur la fonction de détection de cercle dans une image monochrome du module « Vision » et initialise sa recherche à partir des indications du module précédent. Cependant, du fait la courbure naturelle de l’œil, la pupille apparaît rarement circulaire sur les images vidéo. En effet, du fait du phénomène de parallaxe, sa forme est plutôt elliptique. Nous avons donc créé une nouvelle fonction (basée sur la fonction native de « Vision ») permettant la détection d’une ellipse, dont la géométrie sera par la suite corrigée, afin de tenir compte de la réduction de moitié de la résolution spatiale de l’image. La figure 1 permet d’illustrer le résultat de l’algorithme de suivi de l’œil.

  • Calibration du système

Il s’agit du passage des coordonnées « Image » (calculées sur les images vidéo) à des coordonnées « Ecran » (l’écran étant celui que regarde le sujet) afin d’obtenir le « point de visée ». Une telle calibration nécessite en général de calculer la position de l’œil sur chacun des points de fixation d’une grille prédéfinie, afin de déterminer la transformation (globale ou locale) à appliquer aux coordonnées « Image » pour obtenir les coordonnées « Ecran ». La figure 2 permet de visualiser le résultat de l’exploration d’une image statique.

Bilan et perspectives

Le système développé apparaît robuste : en particulier, il est insensible aux variabilités inter-sujets liées à la couleur des yeux et au port éventuel de lentilles correctrices.

Le système est également adaptable dans de multiples configurations et peut naturellement être utilisé dans des expérimentations hors IRM. Il est également très ouvert. Nous avons pu le vérifier en l’intégrant dans une solution d’eye-tracking complètement différente, à base de technologie optique infra-rouge. En remplaçant les modules « acquisition et traitement d’image » par un module – assez simple – d’acquisition de signaux analogiques (délivrés par le système) nous avons pu préserver tout le système de calibration et de gestion des résultats, validant ainsi ces modules spécifiques.

L’aspect modulaire de cette solution allié à l’intégration de composants matériels et logiciels naturellement complémentaires et évolutifs, assure sa maintenance et son amélioration dans le temps : choix de caméra plus performante (rapidité, résolution), évolution vers de nouveaux standards (FireWire, USB, Ethernet) et enfin, évolutivité du noyau de tracking, de calibrage et d’enregistrement.

Pour info : http://reseau.risc.cnrs.fr/fichiers/affi_fichier.php?ID=14


Portfolio

Figure 1 : Illustration d'une poursuite (...) Illustration de l'exploration d'une scène (...)

Navigation

Articles de la rubrique

  • Le développement de l’Eye-tracking