End-to-End AI Solutions for Capsule Endoscopy: Enhancing Efficiency and Accuracy in Gastrointestinal Diagnostics

Abstract

[eng] Artificial Intelligence (AI) models are fundamentally transforming the way clinicians carry out their daily tasks. By streamlining various processes, AI offers a more robust and consistent method for reviewing medical procedures. This thesis is dedicated to the development of AI applications for Capsule Endoscopy (CE), a small device that patients swallow, which is equipped with both a light and a camera to traverse the digestive system, capturing detailed images of internal organs. Once these images are captured, physicians are tasked with meticulously reviewing an extensive number of frames to identify potential pathologies, a process that is both time-consuming and tedious. In this thesis, we aim to enhance the entire review pipeline from end to end, providing support to physicians at multiple stages of the process. These stages include data collection, data labeling, assessing the usability of the videos (particularly in determining whether intestinal residues may hinder the process), identifying the entry and exit points of the small and large intestines, and most crucially, detecting polyps as early indicators of Colorectal Cancer (CRC). By employing advanced techniques such as Active Learning (AL) for data labeling and Vision Transformer (ViT) for polyp detection, we significantly improve upon existing systems in the literature, achieving state-of-the-art results. Additionally, the integration of AI into CE holds the promise of not only improving diagnostic accuracy but also reducing the workload for clinicians, allowing them to focus on more complex cases. This technological advancement has the potential to revolutionize gastrointestinal diagnostics, leading to earlier detection of diseases and, ultimately, better patient outcomes. Furthermore, this thesis led to the initiation of two clinical studies. The first was a controlled study that evaluated the performance of the polyp detection application. The second is a larger study involving over 600 patients, testing an enhanced version of the application, which is currently under development.

[cat] Els models d'intel·ligència artificial (IA) estan transformant la forma com els professionals sanitaris duen a terme les seves tasques diàries. Optimitzant diversos processos, la IA ofereix un mètode més robust i consistent per revisar diferents procediments mèdics. Aquesta tesi està dedicada al desenvolupament d'aplicacions d'IA per a la càpsula endoscòpica (CE), un petit dispositiu que els pacients empassen, equipat amb llum i càmera, que recorre el sistema digestiu capturant imatges detallades dels òrgans interns. Un cop aquestes imatges són capturades, els professionals han de revisar meticulosament un gran nombre de fotogrames per identificar possibles patologies, un procés que és tant laboriós com tediós. En aquesta tesi, ens proposem millorar tot el procés de revisió d'aquests vídeos, de principi a fi, proporcionant eines de suport als metges en diverses etapes del procés. Aquestes etapes inclouen la recopilació de dades, l'etiquetatge de dades, l'avaluació de la usabilitat dels vídeos (particularment per determinar si els vídeos són prou nets per a ser usats), la identificació dels punts d'entrada i sortida dels intestins prim i gruixut, i el més important, la detecció de pòlips com a indicadors precoços del càncer colorectal. Mitjançant tècniques avançades com l'aprenentatge actiu (active learning) per a l'etiquetatge de dades i models complexos com el transformer de visió per a la detecció de pòlips, millorem significativament els sistemes existents, assolint resultats de referència. A més, la integració de la IA en la CE té el potencial no només de millorar la precisió diagnòstica, sinó també de reduir la càrrega de treball dels professionals, permetent-los centrar-se en casos més complexos. Aquest avenç tecnològic pot revolucionar els diagnòstics gastrointestinals, facilitant una detecció precoç de malalties i, en última instància, a millors resultats per als pacients. Aquesta tesi ha portat, a més, a l'inici de dos estudis clínics. El primer va consistir en un estudi controlat que va avaluar el rendiment de l'aplicació de detecció de pòlips. El segon és un estudi més gran que involucra més de 600 pacients, provant una versió millorada de l'aplicació. Aquest estudi està actualment en desenvolupament.