Rendre l'état audible :
neurofeedback en boucle fermée avec NeuroEcho

1.Ce que l'on mesure, et pourquoi par la lumière

L'état d'une personne n'est pas une impression : il s'inscrit dans des grandeurs physiologiques que le système nerveux autonome règle en permanence. Quand l'organisme se mobilise, le cœur accélère, la respiration devient plus rapide et moins régulière, les muscles du visage se contractent, le regard se déplace davantage. Quand il récupère, le rythme cardiaque ralentit et oscille avec la respiration, le souffle s'allonge et se régularise, le visage se relâche. Le cerveau, de son côté, déplace son énergie entre ses rythmes : l'alpha domine la détente vigilante les yeux fermés, le rapport bêta sur thêta suit l'engagement attentionnel.

Le biofeedback repose sur un principe établi : une grandeur physiologique rendue perceptible en temps réel devient apprenable. L'organisme ne contrôle pas volontairement son rythme cardiaque, mais il apprend à retrouver l'état qui fait évoluer un retour perceptif dans le sens voulu. La qualité de cet apprentissage dépend de trois conditions : un retour continu, un retour contingent (il répond à l'état et à rien d'autre), et un retour non intrusif, qui ne mobilise pas l'attention qu'il cherche à apaiser.

NeuroEcho répond à ces trois conditions par deux choix. Le retour est musical : une musique qui s'ouvre se reçoit les yeux fermés, sans lecture de chiffres, et l'oreille perçoit un changement de timbre sur des durées où l'œil ne voit qu'une courbe bruitée. La mesure est optique : une caméra ordinaire mesure le pouls, la respiration, les yeux et le visage sans capteur posé sur la peau. Le système classique de biofeedback cardiaque exige une pince d'oreille ou une ceinture thoracique ; NeuroEcho ne demande qu'un téléphone posé face à soi. Le casque EEG, facultatif, étend la mesure à l'activité électrique du cortex.

2.La chaîne de mesure optique

2.1 Capture et horloge

La caméra est ouverte en 1280 × 720 à 30 images par seconde, exposition et balance des blancs verrouillées dès que l'appareil le permet : une exposition automatique qui corrige l'image à chaque battement efface le signal qu'on cherche. Chaque image est datée par l'horloge du capteur (requestVideoFrameCallback) et non par l'horloge du programme : une image traitée en retard garde son instant réel de capture. Les signaux physiologiques sont ensuite rééchantillonnés sur une grille régulière, condition de toute analyse spectrale juste.

2.2 Le visage en 478 points

Un réseau de neurones embarqué (MediaPipe Face Landmarker) reconstruit à chaque image la surface du visage en 478 points tridimensionnels, dont dix pour les deux iris, et estime 52 coefficients d'expression calqués sur les unités d'action du système FACS d'Ekman et Friesen. L'inférence s'exécute sur le processeur graphique du téléphone ; aucune image ne quitte l'appareil. Les points servent à trois usages : délimiter les régions de peau pour le pouls, mesurer les mouvements de la tête et du regard, et lire les expressions.

2.3 Blocs de caractéristiques

Les caractéristiques lentes (pouls, respiration, clignements, regard, tension) sont calculées sur des fenêtres glissantes et publiées une fois par seconde, sous forme de blocs horodatés qui portent chacun leur propre indice de qualité. Les caractéristiques rapides du mode dynamique (§ 13) sont publiées toutes les 100 ms. Cette séparation des échelles de temps est essentielle : un pouls s'estime sur douze secondes, une micro-expression dure un dixième de seconde.

3.Le pouls par la couleur de la peau

À chaque systole, le volume de sang dans les capillaires du derme augmente. L'hémoglobine absorbe fortement le vert : la peau renvoie un peu moins de lumière verte à chaque battement. La variation relative est de l'ordre de 0,1 à 1 %, invisible à l'œil mais mesurable en moyennant des milliers de pixels. C'est le principe de la photopléthysmographie à distance, démontré par Verkruysse en 2008 avec une simple caméra et la lumière ambiante.

3.1 Trois régions de peau

Le front et les deux joues sont délimités par des polygones de points du visage, resserrés de 12 à 15 % vers leur centre pour exclure les sourcils, les cheveux et les ailes du nez. Ces trois régions sont les plus riches en capillaires superficiels et les plus stables face aux expressions. Pour chaque image, on calcule la moyenne des canaux rouge, vert et bleu sur l'ensemble des pixels des trois régions.

3.2 Projection orthogonale à la peau (POS)

Le signal brut de chaque canal mélange trois composantes : le pouls, la variation d'intensité de l'éclairage et la réflexion spéculaire due aux mouvements. La méthode POS de Wang et collaborateurs (2017) les sépare par un argument de géométrie. Après normalisation temporelle, les variations d'intensité se déplacent le long de la direction du ton de peau ; on projette donc le signal sur un plan orthogonal à cette direction, où seules subsistent les variations de teinte liées au sang :

3.3 Du signal au rythme cardiaque

Les échantillons de couleur, datés irrégulièrement, sont rééchantillonnés à 30 Hz sur une fenêtre de 12 secondes. Le signal h traverse un passe-bande de 0,7 à 3,5 Hz, soit 42 à 210 battements par minute, puis un périodogramme sur 4096 points. La fréquence du pic donne le pouls ; le rapport entre l'énergie autour du pic et l'énergie du reste de la bande donne sa netteté :

La variation du pouls d'une fenêtre à l'autre fournit en outre un indice d'instabilité cardiaque, qui entre dans l'indice de stabilité (§ 8).

4.Respiration, yeux et visage

4.1 La respiration sans capteur

Respirer déplace le visage : la cage thoracique soulève les épaules, le cou et la tête de quelques dixièmes de millimètre à chaque inspiration. Respirer module aussi le pouls et le volume sanguin cutané. NeuroEcho exploite deux signaux candidats sur une fenêtre de 32 secondes : la position verticale du nez, divisée par la distance entre les yeux pour s'affranchir de la distance à la caméra, et le canal vert des régions de peau. Les deux sont rééchantillonnés à 10 Hz et filtrés entre 0,1 et 0,5 Hz, soit 6 à 30 respirations par minute. Le candidat retenu est celui dont le spectre est le plus concentré :

La régularité n'est pas un sous-produit : c'est une grandeur physiologique en soi. Un souffle régulier et lent entraîne l'arythmie sinusale respiratoire, oscillation du rythme cardiaque synchrone de la respiration, qui traduit l'activité du nerf vague.

4.2 Les yeux

La fermeture de chaque œil est lue dans les coefficients d'expression. Un clignement est une fermeture qui franchit 0,55 puis redescend sous 0,40 (hystérésis) en moins de 500 ms. Sur une fenêtre de 60 secondes, on en tire la fréquence de clignement, la durée médiane des clignements, et le PERCLOS, proportion du temps où la fermeture dépasse 0,80. Le PERCLOS est l'indicateur de somnolence de référence depuis les travaux de Dinges et Grace (1998) ; la durée des clignements s'allonge avec la fatigue avant même que leur fréquence ne change.

4.3 Le regard

La position des iris, rapportée aux coins des yeux, donne la direction du regard. Son instabilité est la norme des écarts types horizontal et vertical sur 5 secondes. La perte de regard est la proportion d'images, sur 10 secondes, où le visage n'est pas détecté ou tourné de plus de 0,35 radian. Un regard qui se tient sur le point central est la signature comportementale de l'attention soutenue ; un regard qui erre, celle de la dispersion.

4.4 La tension du visage

La tension est la moyenne de huit coefficients d'expression qui traduisent une contraction : abaissement des sourcils, plissement des yeux, pression des lèvres et froncement du nez, à gauche et à droite. Ces unités d'action (AU4, AU6-7, AU9, AU24 dans la nomenclature FACS) accompagnent la concentration contrainte, l'effort et l'inconfort. Leur relâchement est l'un des premiers signes visibles de la détente.

4.5 Les yeux fermés

Plusieurs objectifs se pratiquent les yeux fermés. Les mesures qui dépendent des yeux (clignements, PERCLOS, regard) sont alors retirées du calcul et non mises à zéro : l'attention et la fatigue ne sont plus calculées, et les indices restants renormalisent leurs poids sur les grandeurs disponibles (§ 8).

5.La qualité du signal

Une mesure optique n'est jamais bonne par défaut. La lumière, le cadrage, le mouvement et la cadence de la caméra varient d'une seconde à l'autre. NeuroEcho calcule donc, pour chaque bloc, un indice de qualité global (SQI, de 0 à 100) à partir de six composantes :

Sans visage net (composante inférieure à 0,3), le SQI est plafonné à 10. Chaque caractéristique porte en outre sa qualité propre : le pouls exige 55, la respiration 40, les autres 50. Sous un SQI de 45, l'état est figé à sa dernière valeur fiable et la musique cesse de s'adapter, sans s'arrêter. Un mauvais signal n'est jamais interprété : c'est la condition de la contingence du retour. La personne entend alors une musique stable, et l'écran indique la correction à faire (lumière, cadrage, immobilité).

6.La voie électroencéphalographique

Le casque Muse 2 porte quatre électrodes sèches, deux frontales (AF7, AF8) et deux temporales (TP9, TP10), référencées au milieu du front, échantillonnées à 256 Hz et transmises en Bluetooth basse consommation par paquets de douze échantillons codés sur 12 bits. NeuroEcho dialogue directement avec le casque depuis le navigateur, décode les paquets et vérifie leur numéro de séquence : chaque perte est comptée, et les trous ne sont jamais interpolés dans l'analyse.

6.1 Filtrage et découpage

Chaque voie traverse un passe-bande de 1 à 45 Hz et un réjecteur à 50 Hz (60 Hz sur les réseaux américains). L'analyse porte sur une fenêtre de 4 secondes découpée en segments de 1 seconde. Un segment est rejeté comme artefact s'il contient :

Le spectre de puissance est la moyenne des spectres des segments propres (méthode de Welch). La qualité d'une voie est la proportion de segments propres, pondérée par la qualité du contact ; sous 45 sur 100, la voie est écartée. Une électrode détachée ne bloque jamais le reste : la mesure continue sur les voies valides.

6.2 Les grandeurs

Les puissances bêta et gamma, les plus exposées aux muscles, voient leur qualité réduite en proportion de l'indice de tension musculaire. L'objectif « Alpha détente » suit la puissance alpha relative, « Concentration » le rapport bêta sur thêta, grandeur étudiée depuis trente ans en neurofeedback de l'attention.

7.La référence personnelle

Un pouls de 72 battements par minute ne dit rien isolément : il est bas pour l'un, élevé pour l'autre, et varie d'un jour à l'autre chez la même personne. NeuroEcho ne compare donc jamais une mesure à une norme de population. Chaque séance commence par une calibration de 60 secondes, dont les 12 premières sont écartées (le temps que la personne s'installe et que les fenêtres de mesure se remplissent). Sur les blocs de qualité suffisante, au moins 20, on calcule pour chaque grandeur sa médiane et son écart absolu médian (MAD), deux estimateurs robustes insensibles aux valeurs aberrantes :

Un plancher MAD_min est fixé pour chaque grandeur (2 bpm pour le pouls, 1 respiration par minute, 2 clignements par minute, 0,015 pour l'alpha relatif). Sans ce plancher, une personne très immobile pendant la calibration produit un MAD presque nul, et la moindre variation ultérieure passe pour un écart extrême. Le plancher fixe la plus petite variation physiologiquement significative.

8.Des mesures aux indices d'état

Les grandeurs normalisées se combinent en six indices, chacun dans [0, 1], 0,5 désignant l'état de référence. Toutes les combinaisons sont des moyennes pondérées qui ignorent les grandeurs indisponibles et renormalisent les poids restants ; la part des poids réellement couverte est conservée comme couverture de l'indice.

Les indices sont recalculés toutes les 3 secondes et lissés par une moyenne exponentielle de constante de temps 9 secondes : assez vite pour suivre un changement d'état, assez lentement pour ignorer un geste isolé. Quand le casque EEG et la caméra fonctionnent ensemble, un moteur de fusion combine les sources indice par indice, chaque source pesant sa confiance, calculée à partir de son SQI et de la part des grandeurs disponibles. Une source dont le signal devient insuffisant cesse aussitôt de contribuer : un casque décroché ne prolonge jamais une vieille valeur pendant que la caméra, elle, reste fiable.

9.De l'état à la musique

9.1 La progression vers l'objectif

Chaque objectif définit une combinaison des indices, sa cible. La progression TP en est la moyenne pondérée, dans [0, 1] :

9.2 La récompense

La progression n'est retenue que si sa confiance, produit de la confiance de l'état et de la couverture de la cible, atteint 0,4. Elle est alors lissée en récompense r par une moyenne exponentielle de 20 secondes, et une décision audio est prise toutes les 20 secondes. Ce rythme lent est délibéré : un retour qui réagit à chaque fluctuation apprend à l'organisme à poursuivre le bruit ; un retour qui suit la tendance lui apprend à retrouver un état.

9.3 La correspondance sonore

La récompense passe par une courbe en S, puis règle cinq paramètres du mixage :

À récompense basse, la musique est sombre, étroite et granuleuse ; à récompense haute, elle est brillante, large et harmonique. La mélodie obéit à une hystérésis : elle apparaît quand la récompense reste au-dessus de 0,55 pendant 15 secondes, et disparaît sous 0,50. Elle récompense un état tenu, jamais un pic. Son volume croît ensuite de 0,10 à 0,55 avec la récompense.

9.4 Une boucle, deux constantes de temps

Le délai entre une décision et son application au son est inférieur à 10 millisecondes ; le délai entre un changement d'état et sa pleine traduction musicale est de l'ordre de la demi-minute. La première constante garantit la contingence ; la seconde règle l'apprentissage sur l'échelle de temps des régulations autonomes, celle où le baroréflexe, la respiration et le tonus vagal se réorganisent.

10.La matière sonore

La musique de retour est composée en quatre couches superposées, en ré majeur, à 60 battements par minute, sur des boucles de 64 secondes : une base grave et tenue, des harmoniques qui enrichissent le spectre, une mélodie et une texture granuleuse qui porte l'inconfort. Les quatre couches sont lues de façon synchrone à l'échantillon près, de sorte qu'aucune ne se décale sur une séance de trente minutes. Elles sont livrées sans perte (FLAC) : les codages AAC et MP3 ajoutent en début et en fin de fichier un silence qui casse la continuité d'une boucle.

Le tempo de 60 battements par minute place la pulsation musicale à 1 Hz, dans la zone du rythme cardiaque de repos ; le système nerveux tend à se synchroniser sur une pulsation perçue, et une pulsation proche du repos invite l'organisme à y descendre. La largeur stéréo est réglée par un traitement milieu-côtés, l'espace par une réverbération à convolution, et un limiteur final protège l'oreille. Un second bus, indépendant du retour, diffuse les séquences NeuroSound® : c'est l'objet du paragraphe suivant.

11.Apprendre ce qui réussit à chacun

11.1 Juger un programme sonore

Pendant une séance, NeuroEcho essaie plusieurs programmes sonores NeuroSound®. Chacun est jugé sur la pente de la progression pendant qu'il joue, estimée par l'estimateur de Theil-Sen, médiane des pentes entre toutes les paires de points : robuste, il ignore jusqu'à 29 % de points aberrants. Mais une séance d'apaisement s'apaise d'elle-même avec le temps ; un programme joué en fin de séance hérite d'une pente qu'il n'a pas produite. La pente est donc corrigée d'un a priori de dérive, la pente spontanée moyenne mesurée sur les séances précédentes de la même personne pour le même objectif :

11.2 Un bandit d'une séance à l'autre

Choisir l'ordre des programmes est un problème d'exploration et d'exploitation : jouer celui qui a le mieux réussi, ou en essayer un moins connu, dont le potentiel reste à mesurer. NeuroEcho le résout par un bandit à borne de confiance supérieure (UCB1) :

Seuls les segments d'au moins une minute, mesurés sur au moins 60 % de leur durée, alimentent l'apprentissage. Au fil des séances, la rubrique « Ce qui vous réussit » fait apparaître la signature musicale de la personne.

12.Le souffle guidé

L'objectif « Respiration apaisée » affiche un guide de 7 respirations par minute, inspiration sur 40 % du cycle (3,4 s), expiration sur 60 % (5,1 s). Ce rythme s'appuie sur la fréquence de résonance du système cardiovasculaire décrite par Vaschillo et Lehrer : autour de 0,1 Hz, soit 4,5 à 7 respirations par minute, l'oscillation du rythme cardiaque induite par la respiration entre en phase avec celle du baroréflexe, et son amplitude devient maximale. L'expiration allongée renforce la part vagale du cycle.

Le guide est placé à 7 respirations par minute, soit 0,117 Hz, et non à 6 : la bande d'analyse respiratoire commence à 0,1 Hz, et un rythme posé exactement sur sa borne se mesure avec moins de justesse. La progression de cet objectif est portée pour moitié par l'indice de respiration : la musique s'ouvre quand le souffle mesuré ralentit et se régularise par rapport à la référence. Le guide propose, la mesure vérifie.

13.Le mode dynamique et les micro-coupures

Le mode dynamique renverse la logique de l'objectif. La musique ne suit plus une progression : elle reste stable, et de brèves interruptions soulignent les instants où l'état change rapidement. Une interruption est un événement saillant : le système nerveux y répond par un réflexe d'orientation, décrit par Sokolov, qui suspend l'activité en cours et remet à jour le modèle de l'environnement. Placée au moment d'une transition, la coupure signale à l'organisme son propre changement, sans lui prescrire de direction.

13.1 Détecter une transition

Chaque caractéristique rapide est comparée à sa propre dynamique des 60 dernières secondes, par la médiane et le MAD glissants. Les écarts se combinent en un score quadratique :

La caméra ne voit pas le cerveau ; elle voit les marqueurs comportementaux rapides d'un changement d'état : le départ d'une micro-expression, une saccade du regard, un soupir (ample variation de la position du visage), le début d'un clignement. Côté EEG, un clignement, une contraction musculaire ou un changement dans l'ensemble des voies valides bloquent le déclenchement : ces événements produisent des écarts spectaculaires sans rien dire de l'activité corticale.

13.2 La coupure

La musique de retour descend à zéro en 15 ms, se tait 180 ms, remonte en 15 ms. Les rampes suppriment le clic d'une coupure franche ; 180 ms est assez long pour être perçu sans ambiguïté, assez court pour ne pas rompre le flux musical. La coupure porte sur le retour, après la réverbération, et épargne par défaut le bus NeuroSound®. Une période réfractaire de 4 secondes, un plafond de 8 coupures par minute et 30 secondes d'apprentissage initial empêchent toute rafale.

13.3 Le contrôle

Le réglage « Contrôle » produit le même nombre de coupures, soumises aux mêmes règles, mais placées au hasard (processus de Poisson, 4 par minute). Il fait de chaque utilisateur un sujet d'expérience possible : comparer une série de séances dynamiques à une série de séances contrôle isole l'effet du moment de la coupure de celui de la coupure elle-même (§ 14, H4). Sur 10 minutes d'EEG synthétique contenant 12 transitions, le détecteur en retrouve 10 à 11 avec 0 à 0,2 fausse alerte par minute.

14.Hypothèses et programme de recherche

NeuroEcho mesure, sur un téléphone, des grandeurs que la psychophysiologie observe d'ordinaire en laboratoire, avec des capteurs de contact : pouls, respiration, oculométrie, expression, rythmes cérébraux. Chaque séance produit une série temporelle horodatée, associée à un objectif, à des programmes sonores et à la chronologie exacte des décisions audio. Nous formulons sept hypothèses testables avec cet instrument.

Le sens d'une boucle fermée

Une musique adaptative n'est pas une playlist qui change selon l'humeur : c'est un miroir. En rendant audible, de seconde en seconde, une grandeur que l'organisme règle sans en avoir conscience, NeuroEcho donne à cette régulation un objet de perception, et donc une prise. La sonification transforme une mesure en expérience ; la boucle fermée transforme l'expérience en apprentissage. La prochaine étape consiste à laisser la musique elle-même évoluer avec la personne : composer, à partir de sa signature (H5) et de la dérive de sa référence (H7), une matière sonore qui lui appartient, et mesurer si une musique ainsi accordée accélère l'apprentissage par rapport à une musique commune. NeuroEcho fournit à la fois le stimulus, la mesure et le registre de l'expérience.

Références

1. Verkruysse, W., Svaasand, L. O., Nelson, J. S. (2008). Remote plethysmographic imaging using ambient light. Optics Express, 16(26), 21434-21445.
2. Poh, M.-Z., McDuff, D. J., Picard, R. W. (2010). Non-contact, automated cardiac pulse measurements using video imaging and blind source separation. Optics Express, 18(10), 10762-10774.
3. Wang, W., den Brinker, A. C., Stuijk, S., de Haan, G. (2017). Algorithmic principles of remote PPG. IEEE Transactions on Biomedical Engineering, 64(7), 1479-1491. Méthode POS.
4. Kartynnik, Y., Ablavatski, A., Grishchenko, I., Grundmann, M. (2019). Real-time facial surface geometry from monocular video on mobile GPUs. CVPR Workshops.
5. Lugaresi, C., et al. (2019). MediaPipe: A framework for building perception pipelines. arXiv:1906.08172.
6. Ekman, P., Friesen, W. V. (1978). Facial Action Coding System. Palo Alto : Consulting Psychologists Press.
7. Dinges, D. F., Grace, R. (1998). PERCLOS: A valid psychophysiological measure of alertness as assessed by psychomotor vigilance. Federal Highway Administration, FHWA-MCRT-98-006.
8. Vaschillo, E., Lehrer, P., Rishe, N., Konstantinov, M. (2002). Heart rate variability biofeedback as a method for assessing baroreflex function. Applied Psychophysiology and Biofeedback, 27(1), 1-27.
9. Lehrer, P. M., Gevirtz, R. (2014). Heart rate variability biofeedback: how and why does it work? Frontiers in Psychology, 5:756.
10. Welch, P. D. (1967). The use of fast Fourier transform for the estimation of power spectra. IEEE Transactions on Audio and Electroacoustics, 15(2), 70-73.
11. Klimesch, W. (1999). EEG alpha and theta oscillations reflect cognitive and memory performance. Brain Research Reviews, 29(2-3), 169-195.
12. Davidson, R. J. (1992). Anterior cerebral asymmetry and the nature of emotion. Brain and Cognition, 20(1), 125-151.
13. Arns, M., Conners, C. K., Kraemer, H. C. (2013). A decade of EEG theta/beta ratio research in ADHD: a meta-analysis. Journal of Attention Disorders, 17(5), 374-383.
14. Krigolson, O. E., Williams, C. C., Norton, A., Hassall, C. D., Colino, F. L. (2017). Choosing MUSE: validation of a low-cost, portable EEG system for ERP research. Frontiers in Neuroscience, 11:109.
15. Sitaram, R., et al. (2017). Closed-loop brain training: the science of neurofeedback. Nature Reviews Neuroscience, 18(2), 86-100.
16. Hampel, F. R. (1974). The influence curve and its role in robust estimation. Journal of the American Statistical Association, 69(346), 383-393.
17. Theil, H. (1950). A rank-invariant method of linear and polynomial regression analysis. Indagationes Mathematicae, 12. Sen, P. K. (1968). Estimates of the regression coefficient based on Kendall's tau. Journal of the American Statistical Association, 63(324), 1379-1389.
18. Auer, P., Cesa-Bianchi, N., Fischer, P. (2002). Finite-time analysis of the multiarmed bandit problem. Machine Learning, 47, 235-256. Algorithme UCB1.
19. Sokolov, E. N. (1963). Perception and the Conditioned Reflex. Oxford : Pergamon Press. Réflexe d'orientation.
20. Hermann, T., Hunt, A., Neuhoff, J. G. (dir.) (2011). The Sonification Handbook. Berlin : Logos.