Medische AI-algoritmes stelt toezichthouders voor nieuwe vraagstukken

Software die zonder tussenkomst van een arts adviseert of een bezoek aan een medisch specialist nodig is of niet. Klinkt als toekomstmuziek? In april dit jaar werd IDx-Dr toegelaten tot de Amerikaanse markt, een AI-systeem dat met netvliesfoto’s kan diagnosticeren of een patiënt leidt aan diabetische retinopathie, een oogaandoening gerelateerd aan diabetes. Het eerste volledig autonome AI-gebaseerde systeem dat werd goedgekeurd is een mijlpaal voor kunstmatige intelligentie, maar er klinken ook kritische vragen.

Binnen het vakgebied van kunstmatige intelligentie (artificial intelligence of AI) draait machine learning om de vraag: hoe creëren we zelflerende systemen? Hoe kun je een softwareprogramma leren leren? Deep learning - een specifiek subgebied van machine learning - heeft de afgelopen jaren een vlucht genomen, grotendeels dankzij de computerkracht van graphics processing units (GPU's) die oorspronkelijk werden ontwikkeld voor videogaming, cloud computing en de toenemende beschikbaarheid van grote, zorgvuldig geannoteerde datasets.

Deep learning gebruikt zogeheten neurale netwerken, vernoemd naar neurale netwerken in onze hersenen, als modellen om structuren en patronen te ontdekken in grote datasets. Deep learning is bij uitstek geschikt voor beeldclassificatie, en wordt gebruikt om medische beelden zoals MRI-scans, pathologie-beelden en huidlaesies te classificeren en analyseren.

Netvliesfoto

In de Verenigde Staten is IDx-Dr het eerste op kunstmatige intelligentie gebaseerde diagnostische systeem dat autonoom, zonder tussenkomst van een arts, een diagnose stelt. In een artikel gepubliceerd in npj Digital Medicine tonen de makers van het algoritme aan, in een onderzoek met 900 patiënten, dat het IDx-Dr-systeem autonoom betrouwbaar diabetische retinopathie kan vaststellen. Daarmee kan het systeem worden ingezet en gebruikt door niet-gespecialiseerde zorgaanbieders. Volgens Michael Abràmoff, oprichter van IDx en auteur van het artikel, toont het onderzoek aan dat het IDx-Dr-systeem nuttig is voor eerstelijns zorgprofessionals. Zij kunnen door de software zonder specifieke expertise over diabetische retinopathie patiënten onderzoeken en diagnosticeren.

Diabetische retinopathie is een beschadiging van het netvlies bij diabetes, zowel bij diabetes type 1 als type 2. Diabetespatiënten hebben te veel suiker in hun bloed. Dit beschadigt de bloedvaten in het lichaam, waaronder de kleine bloedvaatjes in het netvlies. Mensen met diabetes moeten daarom regelmatig naar de oogarts om het netvlies te laten controleren. Zonder behandeling kan slechtziendheid of blindheid het gevolg zijn. Op een zogeheten netvliesfoto van de ogen zijn de eerste beschadigingen vaak al te zien. De foto maken kan vaak in de huisartsenpraktijk of het huisartsenlaboratorium, of bij de oogarts.

IDx-Dr software kan diabetische retinopathie opsporen met AI

Mijlpaal

De studie naar het IDx-Dr-systeem is “een mijlpaal” en “een belangrijke maatstaf voor toekomstig onderzoek”, schrijven dokter Eric Topol, directeur van het Scripps Research Institute, en Pearse Keane in een commentaar in hetzelfde wetenschappelijke tijdschrift. Tegelijkertijd zijn Keane en Topol ook kritisch. Een methodologische beperking is de relatief kleine dataset met foto’s van een beperkte patiëntenpopulatie waar het algoritme van IDx-Dr mee getraind is. Door die kleine aantallen is het volgens hen niet goed mogelijk om conclusies te trekken over de doeltreffendheid van het systeem voor de meest ernstigste, het zicht bedreigende vormen van diabetische retinopathie. Andere oogafwijkingen worden door IDx-Dr niet gedetecteerd, terwijl co-morbiditeit in de praktijk wel voorkomt.

Ook werden 40 deelnemers van de analyse uitgesloten omdat hun netvliesfoto’s van onvoldoende kwaliteit bleken te zijn om te worden beoordeeld. Daardoor komt de specificiteit en sensitiviteit van het algoritme hoger uit dan wanneer deze 40 personen (toch een aanzienlijk aantal op 900 deelnemers) wel waren meegenomen, aldus Topol en Keane. Naast deze methodologische bezwaren noemen ze in hun commentaar ook klinische beperkingen, zoals de speciale funduscamera (Topcon NW400) á 18.000 dollar die nodig is om de software van IDx-Dr te laten werken. En als er nog steeds een professional nodig is om de foto te maken, dan bespaar je als zorgaanbieder geen kosten met een 'autonoom' systeem.

"AI-kloof"

Topol waarschuwt in Nature voor wat hij de ‘AI-kloof’ noemt, de kloof tussen de ontwikkeling van een wetenschappelijk verantwoord algoritme en het gebruik ervan in zinvolle toepassingen in de echte medische wereld. Het is één ding om een algoritme te ontwikkelen dat goed werkt op een kleine dataset van een specifieke populatie, maar het is iets heel anders om een systeem te ontwikkelen dat generalistisch, voor andere populaties, en in een (poli)klinische omgeving ingezet kan worden.

Dr. Eric Topol (auteur van The Patient Will See You Now) leidt het Scripps Research Institute

Ook stellen Topol en Keane, die beide een adviesfunctie hebben bij respectievelijk Verily Life Sciences en DeepMind, dat er momenteel nog een grote kloof bestaat tussen de experimentele software voor een proof-of-concept onderzoek, en de uiteindelijke broncode en software die wordt gebruikt in een marktklaar product, waar wettelijke goedkeuring voor nodig is. Die laatste vormt een medisch hulpmiddel, moet getest worden en de fabrikant moet een systeem voor kwaliteitshandhaving hanteren.

Zelflerende software

Machine learning kan worden ingedeeld in algoritmes die getraind worden door mensen (supervised learning) en algoritmes die zelflerend zijn (unsupervised of reinforcement learning). In dat laatste geval kan een computer structuren of verbanden in data ontdekken zonder dat er labels, annotaties of menselijke input voor nodig zijn. In het onderzoek van Abràmoff, de oprichter van IDx, werd de software ‘vergrendeld’ voorafgaand aan de klinische test om de FDA goedkeuring te krijgen. Het algoritme leerde niet meer bij door input van nieuwe data, en gedraagt zich na dit punt dus op een vergelijkbare manier als niet-AI-diagnosesystemen, merken Topol en Keane op.

Ze stellen vast dat het nog enkele jaren kan duren voordat de methodes voor klinisch onderzoek, toezicht en het wetgevende kader geëvolueerd zijn om met algoritmes om te gaan die zelflerend zijn, en in een real-world setting van nieuwe input, per netvliesfoto of MRI-scan, bijleren. Ze concluderen dat het altijd gemakkelijk is om kritisch te zijn op studies die nieuwe wegen inslaan, maar dat het belangrijk is om de auteurs te prijzen voor hun werk en onderzoek.

Tijdens het Mobile Healthcare congres 2018 delen we de take aways en discussiepunten van de recente masterclass Kunstmatige intelligentie. Ook geven we in de SmartHealth sessie (zaal 12)  een overzicht van recente technologische ontwikkelingen op gebied van kunstmatige intelligentie in de medische sector, en vertellen we hoe zorgorganisaties, ziekenhuizen en bedrijven kunstmatige intelligentie inzetten.