GastroView - Etap 1 i 2

W trakcie realizacji projektu GastroView zbudowano bazę danych obrazów i nagrań z endoskopii tradycyjnej oraz kapsułkowej. Stworzono algorytmy umożliwiające automatyczną klasyfikację różnego rodzaju anomalii na obrazie endoskopowym, w tym: rozpoznawanie krwawień, polipów, angiodysplazji, nowotworów, wrzodów. Algorytmy zoptymalizowano do pracy na komputerach wyposażonych w wysokiej klasy procesory graficzne GPU w celu uzyskania jak najwyższej wydajności, przy zachowaniu wymaganej skuteczności algorytmów.

Przez cały czas trwania projektu rozbudowywano bazę danych endoskopowych. Uzyskano dostęp do dodatkowych danych endoskopii tradycyjnej, zawierającej nagrania filmów z rzeczywistych badań endoskopowych. Dzięki zastosowaniu augmentacji danych (rysunek 6), usprawniono wykorzystanie danych zawierających etykiety informujące o dokładnej lokalizacji i rodzaju zmian chorobowych występujących na rzeczywistych obrazach endoskopowych. Rodzaje i liczność zgromadzonych danych (z podziałem na 1 oraz 2 etap projektu "GastroView") opisuje tabela 1.

Tabela 1. Zawartość baza danych obrazów endoskopowych

Wraz z rozwojem bazy danych rozbudowywano narzędzia służące jej budowie i przetwarzaniu. Rozbudowane narzędzie służące etykietowaniu danych w celu umożliwienia wydajniejszego oznaczania danych - usprawniono nawigację oraz obsługę danych jedno- i wiele- etykietowych. Ulepszono również narzędzia służące odczytowi i przetwarzaniu bazy danych. Rozszerzono również narzędzie służące augmentacji danych. Zebrane dane przeanalizowano pod kątem zawartości i zależności między nimi, w celu możliwie dobrego wyboru architektury sieci neuronowych oraz sposobu ich treningu, w szczególności podziału na podzbiory treningowe, walidacyjne i testowe. W szczególności rozdzielono dane "łatwe" od danych "trudnych" dla rozpoznania przez algorytmy sztucznej inteligencji - podział taki pozwala na zwiększenie wydajności (szybkości) treningu sieci w jego początkowej fazie oraz zwiększenie skuteczności w końcowej fazie. Podział danych przedstawiono w tabeli 2. Wybór najważniejszych efektów analizy przedstawiono w tabeli 2. Zastosowanie tej metody pozwoliło na zwiększenie skuteczności budowanych klasyfikatorów.

Ponadto dokonano analizy danych w celu identyfikacji cech wizualnych obrazów endoskopowych, pomocniczych podczas identyfikacji anomalii, w szczególności krwawień. Utworzono szereg deskryptorów obrazu, określających wystąpienie na obrazie danej cechy (patrz: rysunek 1), m.in. obszarów o kolorze czerwonym (a), obszarów o kolorze czerwonym o jednolitej teksturze (b), wyraźnych granic obszarów czerwonych (c), intensywnie czerwonych obszarów (d), naczyń krwionośnych (e), rozproszonych obszarów czerwonych (f) i inne.

Rysunek 1. Deskryptory cech obrazu endoskopowego

Tabela 2. Podział danych treningowych

Rysunek 2. Baza danych - przykłady obrazów prawidłowych (zdrowych)

Rysunek 3. Baza danych - przykłady obrazów anormalnych

Rysunek 4. Baza danych - przykłady obrazów trudnych anormalnych

Rysunek 5. Baza danych - przykłady obrazów ambiwalentnych

Rysunek 6. Baza danych - obrazy poddane augmentacji

Na podstawie zebranych danych kontynuowano treningi prototypowych sieci neuronowych oraz rozpoczęto budowę ostatecznych klasyfikatorów. W tym celu rozbudowano posiadane narzędzia służące treningowi i testowaniu sieci neuronowych: uproszczono sposób konfiguracji i uruchamiania treningów, rozbudowano moduł wizualizacji i bieżącej kontroli działania sieci (poprzez bieżącą prezentację wykresów, diagramów oraz macierzy konfuzji), umożliwiono ponadto automatyczny wybór modeli sieci na podstawie zadanych kryteriów jedno- i wielu etykietowych.

W celu zwiększenia wydajności treningu umożliwiono uruchamianie aplikacji treningowych i testowych na wielu urządzeniach jednocześnie, przy zachowaniu możliwości łatwej analizy wyników oraz wyboru najlepszych modeli sieci. Dokonano optymalizacji uruchamiania treningów, tak aby możliwe było ich równoległe rozproszone uruchomienie na wielu komputerach wyposażonych w najwyższej klasy procesory graficzne Nvidia Titan X oraz Titan Xp, dzięki czemu udało się zredukować czas treningu sieci neuronowych oraz wyboru hiper parametrów (np. pełen trening sieci SqueezeNet oraz MobileNet ograniczono poniżej 1 godziny, a czas wyboru hiper parametrów do 1 doby). W celu zwiększenia skuteczności i uniwersalności wytwarzanych klasyfikatorów, rozbudowano system o możliwość treningu i testowania większej liczby różnorodnych architektur sieci neuronowych, z użyciem nie tylko biblioteki Caffe, ale również Keras oraz Tensorflow. Przeprowadzono szereg testów z wykorzystaniem metod uczenia bez nadzoru, pozwalającego na lepsze wykorzystanie posiadanych zbiorów danych, gdzie większość danych nie posiada etykiet - wykorzystano do tego celu autoenkodery oraz sieci generacyjne (GAN), których zastosowanie pozwala na stworzenie reprezentacji danych w skróconej formie liczbowej.

W celu budowy klasyfikatorów przeprowadzono testy praktyczne wielu architektur sieci neuronowych, w tym: Inception, Resnet, SqueezeNet, MobileNet, NasNet oraz VGG. Przetestowano również niektóre ich warianty (np. mniejszy rozmiar, w celu zwiększenia wydajności lub ograniczenia przetrenowania). W celu jak najbardziej realistycznej oceny skuteczności wytrenowanych klasyfikatorów, przeprowadzono testy ich dokładności, czułości i swoistości w dwóch wariantach: w dziedzinie obrazów oraz w dziedzinie przypadków chorobowych. Pierwszy wariant określa skuteczność na pojedynczych klatkach filmu endoskopowego, natomiast drugi wariant określa ogólną skuteczność wykrywania chorób na filmie, w sytuacji wykorzystania systemu przez lekarza (dla którego liczy się przede wszystkim ogólna ocena stanu pacjenta, a nie wynik działania algorytmu na poszczególnych klatkach filmu).

W ramach etapu wytworzono klasyfikatory następujących anomalii na obrazie endoskopowym (dokładne wyniki zaprezentowano na wykresach 1-8):

• Angiodysplazja oraz krwawienie. Uzyskano dokładność na poziomie 90% w dziedzinie obrazów pozyskanych z filmów endoskopowych. W dziedzinie unikalnych przypadków chorobowych, algorytm uzyskał zdolność redukcji czasu nagrania o 75% z zachowaniem 82% czułości. Ponadto, algorytm uzyskał zdolność wykrywania 25% przypadków chorobowych przy swoistości przekraczającej 99%. Dodatkowym efektem pracy nad tym algorytmem jest udział w konkursie EndoVisSub2017 - GIANA organizowanym podczas konferencji MICCAI 2017, który w docelowo opisany będzie publikacją w czasopiśmie naukowym.

• Krwawienie. Rozpoznawanie krwawienia jest ważnym elementem diagnostycznym, gdyż krwawienie towarzyszy wielu stanom chorobowym. W celu jego rozpoznania zbudowano szereg algorytmów określających cechy obrazu endoskopowego, które wskazują na występowanie na nim krwi. Tak przygotowane cechy służą jako dodatkowa informacja dla sieci neuronowych, poprawiająca ich skuteczność. Wyniki testów skuteczności algorytmów wykrywania krwawień przedstawiono na wykresach 1-3.

• Polipy. W rozpoznawaniu polipów w badaniach kolonoskopowych uzyskano bardzo wysokie rezultaty. Wytrenowano zbiór sieci neuronowych SqueezeNet, które działając razem pozwalają na odnalezienie na nagraniu dużej części polipów, przy zachowaniu bardzo niskiego poziomu fałszywych alarmów. Przeanalizowano dwa przypadki: rozpoznawanie polipów na poszczególnych klatkach oraz identyfikacja fizycznej instancji polipa (być może na wielu klatkach). Algorytm stworzono w taki sposób, aby możliwe było odgórne określenie pożądanego poziomu fałszywych alarmów. Skuteczność w takim przypadku określa się jako powierzchnia pod krzywą na wykresie swoistość vs specyficzność - osiągnięto wynik 0,79 dla klatek oraz 0,9 dla instancji polipów. Krzywe specyficzności i swoistości przedstawiono na wykresie 4.

Wykres 1. Wyniki testów skuteczności sieci VGG w rozpoznawaniu krwawień.

Wykres 2. Wyniki testów skuteczności sieci ResNet 50 w rozpoznawaniu krwawień.

Wykres 3. Wyniki testów skuteczności sieci ResNet 152 w rozpoznawaniu krwawień.

Wykres 4. Krzywe specyficzności i swoistości dla rozpoznawania polipów na klatkach (po lewej) oraz rozpoznawania instancji polipów (po prawej).

Krwawienie, stan normalny (zdrowy) oraz anormalny (nowotwory, owrzodzenia, polipy). Algorytm ten zaimplementowany został w formie pojedynczego, uniwersalnego modelu głębokiej sieci neuronowej, który jednocześnie obejmuje rozpoznanie krwawienia oraz identyfikację obrazu jako prawidłowy lub anormalny. Zastosowanie pojedynczego modelu rozpoznawania miało na celu zwiększenie wydajności analizy oraz poprawienie dokładności poprzez współdzielenie mechanizmów modelowania cech zmian chorobowych pomiędzy klasami anomalii. Uzyskane ostatecznie wyniki dokładności wyniosły 91% dla stanu normalnego, 93% dla krwawienia, 88% dla polipów, 87% dla nowotworów oraz 84% dla wrzodów. Wyniki testów dla poszczególnych sieci neuronowych zaprezentowano na wykresie 5. Średnia skuteczność działania poszczególnych sieci została przedstawiona na wykresie 6.

Wykres 5. Wyniki testów klasyfikatorów poszczególnych chorób.

Wykres 6. Średnia skuteczność poszczególnych klasyfikatorów.

Dodatkowo przeprowadzono testy pozwalające oszacować o ile skróci się czas filmu endoskopowego oglądanego przez lekarza dzięki użyciu sieci MobileNet. Algorytm wykrywa, które klatki filmu nie zawierają żadnych anomalii i je usuwa, skracając film. Działanie algorytmu zależy od parametru żądanej czułości, który określa, ile potencjalnych niewykrytych anomalii użytkownik jest w stanie zaakceptować. Dla parametru równego 100% (co oznacza wymóg pozostawienia na filmie wszystkich anomalii) osiągnięto skrócenie czasu nagrania o 25%. Przy zmniejszeniu tego wymogu uzyskano dodatkowo dużo większe skrócenie filmu (o ponad 80%). Zbadano również zależność między zadaną specyficznością algorytmu a uzyskaną skutecznością wykrywania anomalii. Dokładne wyniki zaprezentowano na wykresie 7. Wykres 7. Skuteczność wykrywania anomalii w zależności od specyficzności (po lewej) Skrócenie czasu nagrania w zależności od zadanej czułości algorytmu (po prawej)

Wykres 7. Skuteczność wykrywania anomalii w zależności od specyficzności (po lewej). Skrócenie czasu nagrania w zależności od zadanej czułości algorytmu (po prawej).

Po wytrenowaniu i przetestowaniu sieci neuronowych dokonano implementacji mechanizmu pozwalającego na ich wykorzystanie na obrazach dostarczonych przez użytkownika. W celu osiągnięcia możliwie wysokiej wydajności przetwarzania danych (a więc możliwie krótkiego czasu oczekiwania na wynik analizy), umożliwiono uruchomienie wytrenowanych sieci z użyciem najwyższej klasy procesorów graficznych Nvidia Titan X lub podobnych. Pozwoliło to na osiągnięcie bardzo wysokiej wydajności przetwarzania. Pojedyncze uruchomienie sieci MobileNet ograniczono do czasu 5,8 ms dla jednego obrazu (wliczając czas uruchomienia, przesłania danych i odczytu wyniku) z endoskopii kapsułkowej. Przetwarzanie filmu w seriach (ang. batch) po 32 obrazy dodatkowo pozwoliło zwiększyć wydajność przetwarzania do ponad 300 klatek na sekundę. Pozwala to na przeanalizowanie jedną siecią neuronową MobileNet całego filmu z endoskopii kapsułkowej składającego się z 40.000 klatek w czasie poniżej 3 minut, przy zachowaniu tej samej skuteczności działania algorytmu co w wersji nie zoptymalizowanej. Przeprowadzono dodatkowo testy pozwalające określić wpływ zmniejszenia stopnia skomplikowania sieci na zwiększenie wydajności. Testy wykazały m.in., że zmniejszając sieć MobileNet czterokrotnie możliwe jest uzyskanie dodatkowego przyspieszenia działania o około 20%, jednakże powoduje to wyraźny spadek skuteczności jej działania (o około 5%). Z uwagi na obniżenie skuteczności sieci przy relatywnie niewielkim wzroście wydajności zdecydowano, iż prace kontynuowane będą przy użyciu pełnych sieci. Dokładne wyniki testów wydajności klasyfikatorów oraz zmniejszonych wersji sieci MobileNet przedstawiono na wykresie 8.

Wykres 8. Wydajność poszczególnych klasyfikatorów na tle ich skuteczności.

GastroView - Etap 3

Ostatnim etapem projektu były prace związane z opracowaniem koncepcji i implementacją docelowego systemu wspomagającego diagnostykę przy użyciu kapsuły endoskopowej. Platforma o nazwie GastroView, wspomagająca pracę gastroenterologów powstała w oparciu i z uwzględnieniem informacji i doświadczeń zebranych podczas konsultacji i współpracy z lekarzami, jako przyszłymi użytkownikami. W trakcie prac przeprowadzone zostały badania fokusowe pozwalające na określenie minimalnych wymagań stawianych przez użytkowników przed oprogramowaniem.

Przeprowadzone badania użyteczności oraz ergonomii platformy GastroView, były rodzajem badania fokusowego na odpowiednio dobranej grupie osób badanych, czyli użytkowników. Użytkownicy badania mieli za zadanie odpowiedzieć na pytania zamknięte i otwarte, zawarte w ankiecie przygotowanej w postaci interaktywnych stron internetowych. Ankieta dostępna była po podaniu i weryfikacji adresu poczty elektronicznej. Ankieta poprawnie wyświetlała się na większość popularnych przeglądarek internetowych. Grupę użytkowników stanowili lekarze gastroenterolodzy, o różnym stażu pracy. Odpowiedzi na zadane w ankiecie pytania, miały zweryfikować jakość zastosowanych rozwiązań, zdeterminowały także wygląd interfejsu z użytkownikiem, a także pozwoliły na usunięcie błędów np. drobne zmiany w rozmieszczeniu poszczególnych elementów aplikacji, czyli wpłynęły na poprawę ergonomii. Odpowiedzi na wszystkie pytania, czyli wynik badania, były rejestrowane „w chmurze” w postaci arkusza kalkulacyjnego. Zawartość tego arkusza w dalszej kolejności posłużyła do bardziej pogłębionej analizy przyczyny błędów oraz określeniu i wskazaniu proponowanych rozwiązań.

Podczas przeprowadzanych badań, co potwierdziły odpowiedzi na pytania sformułowane w ankietach - przez wszystkich użytkowników podkreślony był optymalny sposób wizualizacji wyników algorytmów przetwarzania obrazu. Sposób, który pozwala na jednoznaczną, prostą i szybką ocenę prezentowanych zmian patologicznych występujących na analizowanym obrazie badania endoskopowego. Jednocześnie ważne było dla użytkowników zrozumienie wyników, przy minimalnym możliwym przeszkoleniu i minimalnej wiedzy na temat mechanizmu działania samych algorytmów. Analiza odpowiedzi pozwoliła sformułować listę wymagań stawianych przez użytkownika:

• wykorzystany maksymalny możliwy obszar roboczy,
• możliwość jednoczesnego analizowania aktualnej oraz poprzednich i następnych klatek,
• łatwość otwierania i zapisywania badania oraz efektów działania oprogramowania,
• prosty sposób prezentowania wyników działania metod automatycznych detekcji zmian patologicznych.

Wnioski wyciągnięte z badań fokusowych pozwoliły na zbudowanie wersji prototypowej, która tworzona była w specjalnym dedykowanym do tworzenia prototypów oprogramowaniu. Do stworzenia makiety wykorzystany został program Balsamiq. Programy tego typu skupiaką się na ergonomii używania aplikacji, rozmieszczeniu jej poszczególnych elementów w oderwaniu od wyglądu projektu graficznego. Dzięki makiecie - “mackup” - można przed rozpoczęciem prac nad grafiką, przeprowadzić wstępne testy użyteczności. W przypadku zebrania informacji zwrotnej od użytkowników proces ewentualnej modyfikacji - zmiany układu jest znacznie szybszy i prostszy w aplikacji.

Po zaprojektowaniu i wykonaniu szkicu aplikacji, został on zaprezentowany grupie 5 użytkowników - lekarzy gastroenterologów, którzy ocenili makietę zapisaną obraz po obrazie w interaktywnym pliku PDF. Sposób ten pozwalał na zebranie informacji zwrotnych dotyczących rozmieszczenia głównych elementów takich jak prezentacja klatek poprzednich, aktualnie analizowanej klatki oraz klatek następnych, sposobu oznaczeń na obrazie zmian patologicznych, oraz dla oznakowanych klatek wprowadzenie opisu tekstowego stowarzyszonego z aktualną zmianą patologiczną, oraz możliwość szybkiego przemieszczania się pomiędzy oznakowanymi, opisanymi klatkami badania. Jednocześnie użytkownicy zaproponowali interfejs prezentujący momenty badania, które zawierają zmiany patologiczne z podziałem na obraz zdrowy, zawierający anomalie, polipy, krwawienia, wrzodu oraz zmiany nowotworowe.

Obraz 1. Szkic projektu aplikacji - platforma GastroView, ekran główny.

Badanie wskazało że projekt makiety aplikacji GastroView po dokonaniu drobnych proponowanych zmian był intuicyjny, a poziom prostoty w obsłudze właściwie dobrany w stosunku do grupy docelowej. Obszarom korekty i zmian podlegały:

• rozmieszczenie klatek poprzednich, następnych oraz aktualnie analizowanej - użytkownicy zgłaszali potrzebę zwiększania obszaru prezentacji tych elementów, co zostało naniesione na makietę - ostateczną wersję prezentuje Obraz 1,
• zwiększenie obszaru na wprowadzenie tekstu opisu zmiany patologicznej obserwowanej na aktualnie analizowanej klatce badania, oraz możliwość zaznaczenia większej niż jednej liczby wielokątów opisanych na zmianie patologicznej. Opisane zmiany zostały naniesione, prezentuje je makieta zamieszczona na Obrazie 2.

Obraz 2. Szkic projektu aplikacji - platforma GastroView, tryb wprowadzania zaznaczenia zmiany patologicznej i stowarzyszenia z tą zmianą opisu tekstowego.

Po stworzeniu makiety, która została zaakceptowana przez użytkowników, przystąpiliśmy równolegle do:

• prac związanych z rozwojem oprogramowania platformy GastroView - zdecydowaliśmy się na wykorzystanie języka Python,
• prac nad projektem interfejsu graficznego, tutaj jeśli chodzi o motyw przewodni doboru kolorystyki zdecydowaliśmy się na użycie modnego, ciemnego zestawienia kolorów, przyjaznego dla użytkownika, zwłaszcza spędzającego długi okres czasu z pracą z oprogramowaniem. Prace zakończyły się stworzeniem aplikacji, która po testach została zaprezentowana użytkownikom. Ponieważ grupa użytkowników zgłaszała uwagi na etapie prezentacji i dopracowania makiety, a aplikacja zgodna była z makietą - lekarze nie zgłosili żadnych uwag dotyczących prezentacji. Ciemne zestawienie kolorystyczne spotkało się z pozytywnym odbiorem, jednocześnie zwracano uwagę na czas spędzany z pracą z aplikacją. Poniższe ekrany (Obraz 3, Obraz 4, Obraz 5, Obraz 6, Obraz 7) prezentują gotową aplikację - Platforma GastroView z wczytanym przykładowym badaniem gastroenterologicznym.

Obraz 3. Platforma GastroView, wczytywanie badania gastroenterologicznego.

Obraz 5 prezentuje platformę GastroView po załadowaniu przykładowego badania, zaraz po jego wybraniu (Obraz 3), kiedy obraz klatka po klatce analizowany jest przez metody uczenia maszynowego opracowane w ramach trwania niniejszego projektu (Obraz 4). Następnie po analizie, która może trwać do 10 minut, prezentowany jest użytkownikowi pełne okno aplikacji gotowe do pracy.

Platforma GastroView, pozwala na automatyczną wstępną analizę wczytywanego badania gastroenterologicznego. Obraz po wczytaniu do aplikacji, klatka po klatce analizowany jest przez algorytmy oparte na metodach uczenia maszynowego, gdzie każda klatka analizowana jest pod kątem wystąpienia jednej z rozpoznawanych klas (zmian): zdrowy, anomalia, polip, krew, wrzód, rak. Te klasy prezentowane są w poziomym pasku, zaraz pod obrazami badania (Obraz 6).

Obraz 4. Platforma GastroView, analiza wczytywanego badania gastroenterologicznego. Obraz klatka po klatce analizowany jest przez algorytmy oparte na metodach uczenia maszynowego, gdzie każda klatka analizowana jest pod kątem wystąpienia jednej z rozpoznawanych klas (zmian): zdrowy, anomalia, polip, krew, wrzód, rak.

Obraz 5. Platforma GastroView, po załadowaniu i procesie automatycznej analizy obrazu z użyciem metod uczenia maszynowego.

Obraz 6. Platforma GastroView, poziomy pasek prezentujący wyniki automatycznej klasyfikacji badania z użyciem metod uczenia maszynowego. Wyróżniane klasy: zdrowy, anomalia, polip, krew, wrzód, rak.

Aplikacja umożliwia użytkownikowi zaznaczanie obszarów, które zawierają zmiany patologiczne, anomalie. Do zaznaczania wykorzystywane jest zaznaczenie wielokątnym obszarem. Każdy zdefiniowany obszar jest stowarzyszony z przypisanym do danego zaznaczenia opisem tekstowym. Widok taki prezentuje obraz 7.

Obraz 7. Platforma GastroView, zaznaczona zmiana patologiczna na wybranej przez użytkownika klatce badania gastroenterologicznego. Do zaznaczania wykorzystywane jest zaznaczenie wielokątnym obszarem. Każdy zdefiniowany obszar jest stowarzyszony z przypisanym do danego zaznaczenia opisem tekstowym.

Na potrzeby zapisu wyników, to jest oznaczonych automatycznie przez oprogramowanie zmian patologicznych, oraz fragmentów badania oznaczonych i opisanych przez użytkownika - lekarze gastroentyrologa, opracowany został format, który zawiera plik tekstowy w formacie JSON, oraz obrazy w formie pojedynczych klatek, oraz automatycznie wyciętych fragmentów badania. Format taki pozwala na zmniejszenie ilości potrzebnego miejsca na dyskach twardych, w przypadku ograniczeń przestrzeni dyskowej, które często spotykana jest w pracowniach gastroenterologicznych. Jednocześnie zawiera obrazy nieruchome oraz ruchome z tych części układu pokarmowego, które przedstawiają anomalie - zmiany patologiczne.

Mimo że aplikacja jest intuicyjna w użytkowaniu, a przeprowadzone testy wykazały że użytkownicy bez problemów i bariery “wejścia” zaczynają z niej korzystać, w ramach projektu GastroView powstałą instrukcja użytkowania. W instrukcji użytkowania oprócz opisu poszczególnych możliwości aplikacji, przygotowano także zestaw przykładowych badań, z których użytkownik może korzystać w trakcie testowania oprogramowania.

Aplikacja w formie pakietu w języku Python, a także zbiory danych - zdecydowaliśmy na udostępnienie dwóch rodzajów danych to jest zbioru testowego dostępnego z aplikacją zawierającego 10 przykładowych badań, oraz zbioru testowego zawierającego 200 badań - możliwe są do pobrania ze strony internetowej gastroview.cta.ai po wysłaniu maila na adres kontakt@cta.ai

back