La résidence permet de profiter d’être en situation d’exposition pour faire évoluer le dispositif, tant d’un point de vue technique qu’expérientiel. Le visiteur est invité à se positionner face à un écran et regarder une image du photographe Matthias Bruggmann. Un capteur suit son regard et analyse quelle zone de l’image il regarde. Des commentaires (audio) sont associés à chaque zone et sont diffusés sur des haut-parleurs au fur et à mesure que le regard balaye l’œuvre. Afin d’éviter la répétition (les yeux étant en mouvement perpétuel), l’algorithme devra déceler les points d’intérêt du spectateur et fournir l’information graduellement en se basant sur l’analyse du chemin parcouru.
Le dispositif dévoilé le 17 octobre est volontairement sobre. La première étape du projet consiste à améliorer le logiciel et l’interaction avec le système d’Eye Tracking. A partir de ce point, diverses possibilités de développement seront évaluées, telles que l’ajout de médias annexes (par exemple, déclenchement de vidéos) ou la génération d’une trace du parcours du regard sur l’œuvre (sous forme d’impression, par exemple). Enregistrées et anonymisées, les données récoltées pourront aussi servir à produire des visualisations graphiques illustrant le temps de parcours, le chemin emprunté ou les zones d'intérêt.
Les membres du studio INT seront présents régulièrement dans les expositions afin de voir comment le dispositif est perçu par les visiteurs : est-il trop intrusif ou au contraire augmente-t-il l’œuvre de manière pertinente ? La forme exacte du projet à l’issue de la résidence n’est pas encore connue, mais doit répondre à un besoin de généralisation du procédé en vue de se passer de l’écran et l’utiliser directement sur une œuvre d’art.