Ajouter de l’immersion pour l’autopsie

Depuis longtemps, les légistes analysent des données intrinsèques en 3D sur des écrans 2D, une tâche qui nécessite une reconstruction mentale complexe. L’émergence des technologies de réalité mixte (MR pour Mixed reality)) offre des possibilités prometteuses pour l’autopsie numérique en permettant aux légistes une immersion dans ces données 3D combinée à des techniques d’interaction appropriés avec les jeux de données [1, 2]. L’utilisation de ces technologies à des fins d’analyses de données et génération de savoir est souvent regroupée sous le terme « Immersive Analytics » [1]. Les bénéfices en terme d’immersion, de collaboration, ou de génération de savoir ont été étudiés dans plusieurs domaines et sont notamment visibles lorsque les données sont spatiales ou multi-dimensionnelles. Dans cette étude [3], les auteurs explorent l’utilisation de techniques de visualisation et d’interaction immersive en réalité augmentée permettant l’autopsie numérique à travers l’analyse d’imagerie en 3D, tout en impliquant les utilisateurs finaux, à savoir les praticiens légistes, dans un processus de conception dit « centré sur l’utilisateur ». L’étude s’est par conséquent déroulée en quatre phases de retour d’expérience utilisateur :

1. Interviews Formatives : Six experts du domaine ont été interviewés pour identifier les opportunités et exigences de la réalité augmentée dans le domaine des autopsies.
2. Atelier de Travail : Quinze pathologistes ont participé à un atelier pour identifier les limitations du prototype initial et proposer de nouvelles idées d’interaction leur permettant d’analyser les jeux de données nécessaires à leurs travail.
3. Validation Qualitative : Deux séries de tests utilisateurs ont été menées pour évaluer des prototypes successifs avec des techniques d’interaction novatrices.
4. Étude Qualitative : Validation finale des prototypes avec cinq experts utilisant la réalité augmentée pour des cas réels d’autopsie.

Techniques de Visualisation Immersive

Le projet a développé plusieurs techniques pour améliorer l’interaction et l’analyse des données médicales en 3D :

• Tunnel de Couleurs : Permet d’enlever virtuellement les tissus mous pour examiner des structures plus profondes.
• Forme de Découpe : Utilisation d’une boîte de découpe flexible pour isoler un volume d’intérêt.
• Gomme : Outil permettant de retirer des voxels ( ou »volume pixel », similaire à un pixel mais dans un espace 3D.) de données indésirables ou artefacts.
• Curseur Zoomable : Technique permettant de manipuler avec précision les tranches d’images obtenues par tomodensitométrie (images de scanneur médical) grâce à un contrôle de gain ajustable.

Toutes ces techniques sont visibles sur une démonstration du prototype vidéo accessible en ligne:

 Le retour des experts

Les médecins légistes et radiologues impliqués dans l’évaluation du prototype ont souligné le potentiel de la réalité augmentée pour améliorer l’autopsie numérique, notamment sur les points suivant.

• Accessibilité des données : La réalité mixte permet aux praticiens d’accéder facilement aux données dans n’importe quel environnement, y compris à distance, et de visualiser le corps entier en taille réelle.
• Interaction naturelle : Les gestes manuels intuitifs remplacent l’utilisation de la souris et du clavier, facilitant ainsi l’exploration des données tout en portant des gants.
• Enseignement et démonstration : Cette technologie offre une méthode d’enseignement plus immersive et réaliste pour les étudiants en médecine légale et peut être utilisée pour des démonstrations en salle d’audience.
• Réduction des autopsies physiques : En combinant les images 3D et les nouvelles techniques de visualisation, il est possible de réaliser des autopsies virtuelles qui sont moins invasives et respectueuses des croyances culturelles et religieuses et permettent donc d’éviter les autopsies « physiques » pour les cas les plus simples.

Malgré les avantages, l’étude a aussi mis en évidence certaines limitations actuelles des technologies de MR, comme le champ de vision limité, les problèmes de suivi des gestes, et la résolution des images. Les chercheurs ont également souligné la nécessité d’une formation adéquate pour maîtriser ces nouveaux outils.

Cette étude ajoute donc à l’ensemble des preuves de l’utilité des technologies immersives pour analyser des données volumétriques ou spatiales [4,5,6]. Cependant, il faut considérer que le passage à la réalité augmentée tout en obtenant une précision d’interaction fidèle peut-être, à minima aujourd’hui, couteux car il nécessite d’utiliser des systèmes de tracking des mains précis et, pour le moment, onéreux.

Lonni Besançon, Assistant Professor, Linköping University, Sweden.

[1] Marriott, K., Schreiber, F., Dwyer, T., Klein, K., Riche, N. H., Itoh, T., … & Thomas, B. H. (Eds.). (2018). Immersive analytics(Vol. 11190). Springer.

[2] Besançon, L., Ynnerman, A., Keefe, D.F., Yu, L. and Isenberg, T. (2021), The State of the Art of Spatial Interfaces for 3D Visualization. Computer Graphics Forum, 40: 293-326. https://doi.org/10.1111/cgf.14189

[3] Vahid Pooryousef, Maxime Cordeil, Lonni Besançon, Christophe Hurter, Tim Dwyer, and Richard Bassed. 2023. Working with Forensic Practitioners to Understand the Opportunities and Challenges for Mixed-Reality Digital Autopsy. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI ’23). Association for Computing Machinery, New York, NY, USA. https://doi.org/10.1145/3544548.3580768. https://enac.hal.science/hal-03999121/document 

[4] B. Lee, D. Brown, B. Lee, C. Hurter, S. Drucker and T. Dwyer, « Data Visceralization: Enabling Deeper Understanding of Data Using Virtual Reality, » in IEEE Transactions on Visualization and Computer Graphics, vol. 27, no. 2, pp. 1095-1105, Feb. 2021, https://doi.org/10.1109/TVCG.2020.3030435

[5] Shringi A, Arashpour M, Golafshani EM, Rajabifard A, Dwyer T, Li H. Efficiency of VR-Based Safety Training for Construction Equipment: Hazard Recognition in Heavy Machinery Operations. Buildings. 2022; 12(12):2084. https://doi.org/10.3390/buildings12122084 

[6] Wang, X., Besançon, L., Rousseau, D., Sereno, M., Ammi, M., & Isenberg, T. (2020, April). Towards an understanding of augmented reality extensions for existing 3D data analysis tools. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1-13). https://doi.org/10.1145/3313831.3376657