Fully automated deep learning based auto-contouring of liver segments and spleen on contrast-enhanced CT images
Aashish C. Gupta, Guillaume Cazoulat, Mais Al Taie, Sireesha Yedururi, B. Rigaud, Austin H. Castelo, John Wood, Cenji Yu, Caleb S. O’Connor, Usama Salem, Jéssica Albuquerque Marques Silva, A. Kyle Jones, Molly M. McCulloch, Bruno C. Odisio, Eugene J. Koay, Kristy K. Brock
Abstract
Abstract Manual delineation of liver segments on computed tomography (CT) images for primary/secondary liver cancer (LC) patients is time-intensive and prone to inter/intra-observer variability. Therefore, we developed a deep-learning-based model to auto-contour liver segments and spleen on contrast-enhanced CT (CECT) images. We trained two models using 3d patch-based attention U-Net ( $${{\text{M}}}_{{\text{paU}}-{\text{Net}}})$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>paU</mml:mtext> <mml:mo>-</mml:mo> <mml:mtext>Net</mml:mtext> </mml:mrow> </mml:msub> <mml:mrow> <mml:mo>)</mml:mo> </mml:mrow> </mml:mrow> </mml:math> and 3d full resolution of nnU-Net ( $${{\text{M}}}_{{\text{nnU}}-{\text{Net}}})$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>nnU</mml:mtext> <mml:mo>-</mml:mo> <mml:mtext>Net</mml:mtext> </mml:mrow> </mml:msub> <mml:mrow> <mml:mo>)</mml:mo> </mml:mrow> </mml:mrow> </mml:math> to determine the best architecture ( $${\text{BA}})$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mtext>BA</mml:mtext> <mml:mo>)</mml:mo> </mml:mrow> </mml:math> . BA was used with vessels ( $${{\text{M}}}_{{\text{Vess}}})$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mtext>Vess</mml:mtext> </mml:msub> <mml:mrow> <mml:mo>)</mml:mo> </mml:mrow> </mml:mrow> </mml:math> and spleen ( $${{\text{M}}}_{{\text{seg}}+{\text{spleen}}})$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>seg</mml:mtext> <mml:mo>+</mml:mo> <mml:mtext>spleen</mml:mtext> </mml:mrow> </mml:msub> <mml:mrow> <mml:mo>)</mml:mo> </mml:mrow> </mml:mrow> </mml:math> to assess the impact on segment contouring. Models were trained, validated, and tested on 160 ( $${{\text{C}}}_{{\text{RTTrain}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>C</mml:mtext> <mml:mtext>RTTrain</mml:mtext> </mml:msub> </mml:math> ), 40 ( $${{\text{C}}}_{{\text{RTVal}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>C</mml:mtext> <mml:mtext>RTVal</mml:mtext> </mml:msub> </mml:math> ), 33 ( $${{\text{C}}}_{{\text{LS}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>C</mml:mtext> <mml:mtext>LS</mml:mtext> </mml:msub> </mml:math> ), 25 (C CH ) and 20 (C PVE ) CECT of LC patients. $${{\text{M}}}_{{\text{nnU}}-{\text{Net}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>nnU</mml:mtext> <mml:mo>-</mml:mo> <mml:mtext>Net</mml:mtext> </mml:mrow> </mml:msub> </mml:math> outperformed $${{\text{M}}}_{{\text{paU}}-{\text{Net}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>paU</mml:mtext> <mml:mo>-</mml:mo> <mml:mtext>Net</mml:mtext> </mml:mrow> </mml:msub> </mml:math> across all segments with median differences in Dice similarity coefficients (DSC) ranging 0.03–0.05 (p < 0.05). $${{\text{M}}}_{{\text{seg}}+{\text{spleen}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>seg</mml:mtext> <mml:mo>+</mml:mo> <mml:mtext>spleen</mml:mtext> </mml:mrow> </mml:msub> </mml:math> , and $${{\text{M}}}_{{\text{nnU}}-{\text{Net}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>nnU</mml:mtext> <mml:mo>-</mml:mo> <mml:mtext>Net</mml:mtext> </mml:mrow> </mml:msub> </mml:math> were not statistically different (p > 0.05), however, both were slightly better than $${{\text{M}}}_{{\text{Vess}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mtext>Vess</mml:mtext> </mml:msub> </mml:math> by DSC up to 0.02. The final model, $${{\text{M}}}_{{\text{seg}}+{\text{spleen}}}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mtext>M</mml:mtext> <mml:mrow> <mml:mtext>seg</mml:mtext> <mml:mo>+</mml:mo> <mml:mtext>spleen</mml:mtext> </mml:mrow> </mml:msub> </mml:math> , showed a mean DSC of 0.89, 0.82, 0.88, 0.87, 0.96, and 0.95 for segments 1, 2, 3, 4, 5–8, and spleen, respectively on entire test sets. Qualitatively, more than 85% of cases showed a Likert score $$\ge$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mo>≥</mml:mo> </mml:math> 3 on test sets. Our final model provides clinically acceptable contours of liver segments and spleen which are usable in treatment planning.