Thèse Année : 2024

Comparing cortical surfaces with functional magnetic resonance imaging and optimal transport : an application to decoding perceived visual semantics across individuals and species

Comparer les surfaces corticales avec l'imagerie par résonance magnétique et le transport optimal : une application au décodage de la sémantique visuelle perçue à travers les individus et les espèces

Résumé

L'imagerie cérébrale non-invasive a permis d'acquérir des connaissances précieuses sur le fonctionnement du cerveau. En particulier, de larges groupes d'individus ont été scannés à l'aide de l'imagerie par résonance magnétique fonctionnelle (IRMf) pendant qu'ils effectuaient diverses tâches, dans l'espoir que ces données aideraient à cartographier quelles régions du cortex sont impliquées dans le traitement de stimuli ou l'exécution de tâches spécifiques. Cependant, cette entreprise est limitée par le fait que l'anatomie et l'organisation fonctionnelle du cortex diffèrent entre les individus, ce qui rend difficile l'étude de larges populations. Par ailleurs, des différences et similitudes existent également entre les primates humains et non humains, ce qui nous aide à comprendre la singularité du cerveau humain tout en complexifiant les comparaisons entre les espèces. Nous utilisons le Transport Optimal pour modéliser ces similitudes et différences corticales entre les individus. À cette fin, nous introduisons Fused Unbalanced Gromov-Wasserstein (FUGW), un nouveau problème d'optimisation calculant des alignements entre les surfaces corticales d'individus différents en maximisant la similarité fonctionnelle entre les zones corticales appariées, tout en pénalisant les grandes déformations anatomiques du cortex. Nous montrons que, entre participants humains, les alignements calculés peuvent prédire avec succès les activations corticales liées à des stimuli n'ayant pas été utilisés pour calculer l'alignement. Cela suggère que les alignements fonctionnels obtenus sont cohérents. Nous publions un package Python open-source pour calculer ces alignements efficacement sur GPU.Ensuite, nous étendons le package FUGW pour les données de haute résolution et fournissons une série de nouveaux solveurs. De plus, nous étudions un large spectre de configurations pour entraîner et tester ces alignements fonctionnels, en nous appuyant par exemple sur des données de visionnage de films pour calculer des alignements humains à humains, ou des données multimodales -- impliquant des stimuli visuels, auditifs et tactiles -- pour calculer des alignements entre humains et macaques. Cependant, ces expériences montrent l'importance d'évaluer quantitativement les alignements calculés au travers d'une nouvelle tâche pertinente pour les deux espèces. Pour cela, nous avons recours à une tâche de décodage visuel. Ce problème complexe consiste à entraîner des modèles à prédire, à partir de leur activité corticale, quels stimuli sont actuellement vus par les participants. Nous adoptons d'abord cette approche sur des participants humains, et montrons qu'un décodeur sémantique visuel entraîné chez un individu humain peut être utilisé avec succès chez d'autres participants si leurs données sont alignées avec FUGW. Nous mesurons également que les alignements anatomiques classiques ne parviennent pas à atteindre la même performance de décodage. De plus, nous montrons que l'alignement de plusieurs participants humains permet de former des décodeurs plus performants grâce à un ensemble de données d'entraînement plus important. Enfin, dans un contexte inter-espèces, nous montrons qu'un décodeur cérébral entraîné chez des participants humains uniquement peut décoder avec succès la perception visuelle de primates non humains. Cela suggère que les alignements fonctionnels calculés entre les espèces contiennent des informations pertinentes concernant les similarités et les différences fonctionnelles entre les deux espèces. Ces recherches ouvrent la voie à une cartographie fonctionnelle inter-espèces plus précise. De futurs travaux pourraient tirer parti de l'acquisition de jeux de données plus importants, nécessaires pour entraîner des décodeurs précis, et d'une formulation du problème d'alignement fonctionnel d'une manière qui ne nécessite pas que les individus alignés regardent le même ensemble de stimuli.
The advent of non-invasive neuro-imaging devices has made it possible to acquire invaluable insights into how the brain works. In particular, large cohorts of patients and healthy individuals have been scanned using functional Magnetic Resonance Imaging (fMRI) while performing various tasks, hoping that this data would help map which cortical areas are involved in processing specific stimuli or performing particular tasks. However, this endeavour is limited by the fact that the anatomy and functional organisation of the cortex differ between individuals, thus making it hard to draw conclusions at the population level. Moreover, differences and similarities also exist between human and non-human primates, which, on the one hand, helps to understand the uniqueness of the human brain, and, on the other hand, makes it challenging to compare cortices across species. We propose to tackle this issue using Optimal Transport (OT) to model cortical similarities and differences between individuals, even across species. To this end, we introduce a new OT loss, denoted as Fused Unbalanced Gromov-Wasserstein (FUGW). The underlying optimisation problem seeks to derive alignments between cortical surfaces of different individuals by maximising functional similarity between matched cortical areas, while penalising large anatomical deformations of the cortical sheet between subjects. We show that, between human participants, alignments computed with this loss can successfully predict cortical activations subsequent to stimuli that were not used to derive the alignment, suggesting that derived functional alignments are meaningful. We release an open-source Python package implementing efficient GPU routines to derive these alignments. In follow-up work, we extend the FUGW package to work with high-resolution data, and provide a series of new solvers to derive solutions to the underlying optimisation problem. Besides, we study a variety of different setups to train and test these functional alignments, for instance, relying on naturalistic movie-watching data to compute human-to-human alignments, or multi-modal data -- involving visual, auditory, and tactile stimuli -- to derive human-to-macaque alignments. However, these experiments stress the need for a way to evaluate the relevance of computed alignments using an evaluation task relevant to both species.To this end, we design a visual decoding task that consists of training models to predict what stimuli are currently seen by participants from their brain activity. It is a complex problem, thus making it a good evaluation task to assess the relevance of computed functional alignments. Consequently, we first test this approach on human participants and show that a visual semantic decoder trained in one human subject can be used successfully in other participants if their data are functionally aligned with FUGW. Classical anatomical alignments fail to reach the same decoding performance. Moreover, we show that aligning multiple human participants together allows one to train better-performing decoders using a larger training dataset collected from several individuals. Finally, we apply this framework in an inter-species setup and show that a brain decoder trained in human participants only can successfully decode the visual perception of non-human primates whose functional activity has been aligned to that of humans, hence suggesting that functional alignments computed across species contain relevant information regarding the functional similarities and differences between the two species.This work paves the way towards more precise inter-species functional mapping. Future directions could involve acquiring larger datasets needed to train accurate brain decoders, and framing the functional alignment problem in a way that does not require aligned individuals to watch the same set of stimuli.
Fichier principal
Vignette du fichier
142325_THUAL_2024_archivage.pdf (49.06 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04906265 , version 1 (22-01-2025)

Identifiants

  • HAL Id : tel-04906265 , version 1

Citer

Alexis Thual. Comparing cortical surfaces with functional magnetic resonance imaging and optimal transport : an application to decoding perceived visual semantics across individuals and species. Neuroscience. Sorbonne Université, 2024. English. ⟨NNT : 2024SORUS429⟩. ⟨tel-04906265⟩
0 Consultations
0 Téléchargements

Partager

More