High resolution 3D modelling of lumbar spine from MRI using deep learning
Loading...
Document Type
Document Version
Director
Humbert, Ludovic
González Ballester, Miguel Ángel
González Ballester, Miguel Ángel
Tutor
Other authors
Publication Date
Pages
119 p.
Embargo date
2026-10-29T01:00:00Z
Citation
Ranganathan, S. High resolution 3D modelling of lumbar spine from MRI using deep learning. Universitat Pompeu Fabra; 2024. handle: http://hdl.handle.net/10803/692569
This citation was generated automatically.
Citation
Doctoral program
Programa de Doctorat en Tecnologies de la Informació i les Comunicacions
Abstract
This thesis addresses the growing problem of degenerative disorders of the intervertebral discs (IVD). Intervertebral Disc Degeneration (IDD) represents a progressive degradation of the IVDs compromising their biomechanical function. These complex structures, comprised of the nucleus pulposus (NP) and annulus fibrosus (AF), deteriorate over time due to a complex interplay of factors. The degeneration disrupts spinal kinematics, potentially leading to discogenic pain, instability, and even nerve compression. Currently, Magnetic Resonance Imaging (MRI) remains the standard imaging to diagnose IDD. However, anisotropy, low-resolution, and complex pipelines lead to inaccurate modeling of the IVD structures which affects biomechanical analysis and diagnosis, and therefore there is a clear need to perform high-resolution modeling of the spine. The first study focuses on developing a deep learning network (MRI2Mesh) to reconstruct high-resolution surface meshes of the AF from clinical anisotropic MRI data. The proposed method incorporates Convolutional Neural Networks for image feature extraction and Graph Convolutional Networks for mesh deformation. A novel feature fusion mechanism is introduced that leverages Axial Attention Transformers to combine local disc features and global anatomical context for accurate shape reconstruction. Secondly, the optimization technique of the proposed architecture was modified to reconstruct AF and NP surface meshes simultaneously. As reconstructing multiple dense meshes of high resolution is challenging, a differentiable rendering based analysis-by-synthesis approach was proposed, and it was also applied to reconstruct vertebra. Thirdly, to adapt the developed model to newer scanners, population, and imaging protocols, an Adaptive Batch Normalization (AdaBN), and Adaptive Instance Normalization (AdaIN) approach was used to reconstruct IVD meshes from a test dataset independent of the training. Finally, Pixel2Mechanics: a pipeline was developed to perform surface mesh reconstruction of the IVDs from MRI, and consequently, biomechanical analysis of the resulting meshes was performed and evaluated in three volumes within the IVD. This was compared against manual segmentation approaches. By performing an accurate 3D high resolution modeling of the spine, the approaches presented in this thesis could potentially improve IDD management in clinical practice. By using deep learning, a framework for the assessment of IDDs could be established, fostering significant advancements in the field.
Aquesta tesi aborda el problema creixent dels trastorns degeneratius dels discs intervertebrals (IVD). La degeneració del disc intervertebral (IDD) representa una degradació progressiva dels IVD que compromet la seva funció biomecànica. Aquestes estructures complexes, formades pel nucli pulpos (NP) i l’anell fibrosus (AF), es deterioren amb el temps a causa d’una complexa interacció de factors. La degeneració altera la cinemàtica de la columna, que pot provocar dolor discogènic, inestabilitat i fins i tot compressió nerviosa. Actualment, la ressonància magnètica (MRI) segueix sent la imatge estàndard per diagnosticar IDD. Tanmateix, l’anisotropia, la baixa resolució i les conductes complexes condueixen a un modelatge inexact de les estructures IVD que afecta l’anàlisi i el diagnóstic biomecànic, i per tant hi ha una clara necessitat de realitzar un modelatge d’alta resolució de la columna vertebral. El primer estudi se centra a desenvolupar una xarxa d’aprenentatge profund (MRI2Mesh) per reconstruir malles superficials d’alta resolució de l’AF a partir de dades de ressonància magnètica anisotrópica clíniques. El mètode proposat incorpora xarxes neuronals convolucionals per a l’extracció de característiques d’imatge i xarxes convolucionals de gràfics per a la deformació de la malla. S’introdueix un nou mecanisme de fusió de característiques que aprofita els transformadors d’atenció axial per combinar les característiques locals del disc I el context anatòmic global per a una reconstrucció precisa de la forma. En segon lloc, es va modificar la tècnica d’optimització de l’arquitectura proposada per reconstruir les malles de superfície AF i NP simultàniament. Com que la reconstrucció de múltiples malles denses d’alta resolució és un repte, es va proposar un enfocament d’anàlisi per síntesi basat en la representació diferenciable i també es va aplicar per reconstruir vértebres. En tercer lloc, adaptar el model desenvolupat a escàners, població i imatges me s nous protocols, es va utilitzar un enfocament de normalització adaptative per lots (AdaBN) i de normalització adaptativa d’instàncies (AdaIN) per reconstruir malles IVD a partir d’un conjunt de dades de prova independent de l’entrenament. Finalment, Pixel2Mechanics: es va desenvolupar una canalització per realitzar la reconstrucció de malla superficial dels IVD a partir de la ressonància magnètica i, en conseqüència, es va realitzar una anàlisi biomecànica de les malles resultants i es va avaluar en tres volums dins de l’IVD. Això es va comparar amb els enfocaments de segmentació manual. Mitjançant la realització d’un modelatge precís en 3D d’alta resolució de la columna vertebral, els enfocaments presentats en aquesta tesi podrien millorar potencialment la gestió de l’IDD en la pràctica clínica. Mitjançant l’aprenentatge profund, es podria establir un marc per a l’avaluació dels IDD, fomentant avenços significatius en el camp.
Aquesta tesi aborda el problema creixent dels trastorns degeneratius dels discs intervertebrals (IVD). La degeneració del disc intervertebral (IDD) representa una degradació progressiva dels IVD que compromet la seva funció biomecànica. Aquestes estructures complexes, formades pel nucli pulpos (NP) i l’anell fibrosus (AF), es deterioren amb el temps a causa d’una complexa interacció de factors. La degeneració altera la cinemàtica de la columna, que pot provocar dolor discogènic, inestabilitat i fins i tot compressió nerviosa. Actualment, la ressonància magnètica (MRI) segueix sent la imatge estàndard per diagnosticar IDD. Tanmateix, l’anisotropia, la baixa resolució i les conductes complexes condueixen a un modelatge inexact de les estructures IVD que afecta l’anàlisi i el diagnóstic biomecànic, i per tant hi ha una clara necessitat de realitzar un modelatge d’alta resolució de la columna vertebral. El primer estudi se centra a desenvolupar una xarxa d’aprenentatge profund (MRI2Mesh) per reconstruir malles superficials d’alta resolució de l’AF a partir de dades de ressonància magnètica anisotrópica clíniques. El mètode proposat incorpora xarxes neuronals convolucionals per a l’extracció de característiques d’imatge i xarxes convolucionals de gràfics per a la deformació de la malla. S’introdueix un nou mecanisme de fusió de característiques que aprofita els transformadors d’atenció axial per combinar les característiques locals del disc I el context anatòmic global per a una reconstrucció precisa de la forma. En segon lloc, es va modificar la tècnica d’optimització de l’arquitectura proposada per reconstruir les malles de superfície AF i NP simultàniament. Com que la reconstrucció de múltiples malles denses d’alta resolució és un repte, es va proposar un enfocament d’anàlisi per síntesi basat en la representació diferenciable i també es va aplicar per reconstruir vértebres. En tercer lloc, adaptar el model desenvolupat a escàners, població i imatges me s nous protocols, es va utilitzar un enfocament de normalització adaptative per lots (AdaBN) i de normalització adaptativa d’instàncies (AdaIN) per reconstruir malles IVD a partir d’un conjunt de dades de prova independent de l’entrenament. Finalment, Pixel2Mechanics: es va desenvolupar una canalització per realitzar la reconstrucció de malla superficial dels IVD a partir de la ressonància magnètica i, en conseqüència, es va realitzar una anàlisi biomecànica de les malles resultants i es va avaluar en tres volums dins de l’IVD. Això es va comparar amb els enfocaments de segmentació manual. Mitjançant la realització d’un modelatge precís en 3D d’alta resolució de la columna vertebral, els enfocaments presentats en aquesta tesi podrien millorar potencialment la gestió de l’IDD en la pràctica clínica. Mitjançant l’aprenentatge profund, es podria establir un marc per a l’avaluació dels IDD, fomentant avenços significatius en el camp.
Keywords
Spine modelling, Deep learning, Feature fusion, Differentiable rendering, Domain adaptation, Biomechanical simulation, Modelatge de la columna vertebral, Aprenentatge profund, Fusió de característiques, Representació diferenciable, Adaptació del domini, Simulació biomecànica
Subjects
62 - Engineering. Technology
Publisher
Universitat Pompeu Fabra
