Validatie en implementatie van AI-software: van kantoor naar kliniek

Kunstmatige intelligentie helpt radiologen in de accuratesse van diagnoses stellen. Google demonstreerde vorige week hoe zijn AI-software longkanker in CT-scans net zo goed als of beter dan radiologen herkent. Een computersysteem wordt niet getergd door menselijke eigenschappen zoals vermoeidheid, verveling of afleiding. Maar een deep learning algoritme ontwikkelen op een kantoor is iets wezenlijks anders dan software inzetten en implementeren in een ziekenhuis. In gesprek met Nynke Breimer (Aidence) en Paul Algra (Noord-West Ziekenhuisgroep) over samenwerking met AI-startups in de klinische praktijk.

Aidence gebruikt kunstmatige intelligentie of artificial intelligence (AI) om diagnose support software te ontwikkelen voor radiologen. Met behulp van Deep Learning technologie worden de CT-scans gebruikt om een zelflerend systeem te maken dat nodules kan detecteren. “Nodules is medisch jargon voor plekjes of knobbeltjes in de longen”, zegt Nynke Breimer, Director Business Development bij Aidence. “Het detecteren van nodules op de scan van de longen is belangrijk omdat deze nodules potentieel kwaadaardig kunnen zijn en tot longkanker kunnen leiden. Vroeg detecteren is belangrijk, omdat bij longkanker in een later stadium het succes van de behandelopties minder wordt.”

Investeerders zien de potentie van de AI-software van Aidence. Het bedrijf, opgericht in 2015 door CEO Mark Jan-Harte en COO Jeroen van Duffelen, haalde ruim 2 miljoen euro aan seed funding op en 10 miljoen euro in een series A begin dit jaar.

Long in plakjes

CT staat voor ‘Computer Tomogram'. Voor een CT-scan ga je naar de afdeling radiologie van het ziekenhuis. Met behulp van röntgenstraling worden de longen in ‘plakjes’ in beeld gebracht, waarna met de computer weer een driedimensionaal beeld van de longen gemaakt wordt. Zo krijgen de longarts en radioloog een goed en gedetailleerd beeld van de longen.

Het detecteren van afwijkingen in de long CT-scans, zogeten longnodule detectie, gebeurde voor het AI-tijdperk door het getrainde oog van de radioloog. Daarna volgde computer aided diagnosis (CAD) software, van leveranciers als Siemens, GE en Philips. Nynke Breimer: “Diagnose ondersteunende software voor radiologie bestaat al langer. Wat Aidence onderscheidt is het inzetten van nieuwe technieken, met name deep learning, met de potentie om veel accurater te zijn.”

Nynke Breimer (Aidence)

Ook het integreren van de AI-software in de werkprocessen in een ziekenhuis is volgens Breimer een belangrijke vernieuwing. “Voorheen hadden radiologen vaak een apart werkstation, een computer op de gang of een aparte module die moest worden opgestart om de beelden te bekijken. Aidence heeft geen eigen user interface maar zit verwerkt in de systemen die radiologen gebruiken.”

CT-scans vergelijken

Veye Chest, de software van Aidence, automatiseert de detectie van nodules, en het meten van de diameter, volume en groei in de longen. Dat bespaart radiologen tijd. Ook vergelijkt de software CT-scans met elkaar. Dat vergroot de accuratesse, zegt radioloog Paul Algra (Noord-West Ziekenhuisgroep): “Voordat dit systeem er was moesten we handmatig CT-scans vergelijken. Het meten van afwijkingen tussen verschillende scans is een tijdrovende en weinig uitdagende klus. Nu doet het systeem dat.”

Try before you buy

Bij Noord-West Ziekenhuisgroep wordt de software van Aidence sinds een jaar gebruikt op de afdeling radiologie bij de analyse van thorax (borstkas) CT-scans. Volgens Breimer gaat dat volgens het try before you buy principe: “Tegen klanten zeggen we: zet de software aan in de praktijk, laat alle thorax-CT scans erdoorheen lopen en bekijk hoe het werkt en waar het waarde toevoegt.”

Radioloog Paul Algra ziet veel potentie in kunstmatige en publiceert hier regelmatig over. Algra: “De huidige versie van de software wijst nog plekken op de CT-scans aan waarvan radiologen zeggen: dat is eigenlijk niets, dat vlekje is niet alarmerend.”  Volgens Algra wordt de software van Aidence nog geëvalueerd op efficiency. "In onze vorige analyse bleek dat Aidence een hoge mate van accuratesse heeft, vergelijkbaar met die van radiologen. Een voorlopige conclusie is ook dat de meeste radiologen het prettig vinden dat Aidence het CT onderzoek mede beoordeeld. Dat verhoogt de zekerheid van de radioloog dat er niets is gemist en dat alles is gezien."

Radioloog Paul Algra (Noordwest Ziekenhuisgroep)

Volgens Algra is het een kwestie van tijd voordat AI-systemen aantoonbaar tijd besparen en de kwaliteit van diagnostiek verhogen. Hij wil graag samenwerken met startups als Aidence, ook al levert dat nu nog weinig tijdswinst op, om als medisch specialist kennis van AI te nemen in de praktijk en met de vakgroep invloed uit te kunnen oefenen op dit soort nieuwe innovaties in het ziekenhuis.

Wij kunnen zeker nog verbeteren op gebied van fout-positieven en fout-negatieven, beaamt Breimer: “Software ontwerpen op kantoor is anders dan software inzetten in de klinische setting. We werken er hard aan om die fout-positieven te verminderen. Het doel van een AI-systeem is om een hoge gevoeligheid te bereiken. Er zal op korte termijn altijd een wisselwerking zijn tussen hoge gevoeligheid en valse positieven.”

Menselijke factor

Naast de sensitiviteit en specificiteit van het algoritme wijst Breimer ook op een andere – in haar ogen even belangrijke – factor. “Onderschat de menselijke factor in het werken met software niet. Ik vergelijk het vaak met overschakelen van een Windows naar een Mac computer: die nieuwe pc zal ook niet in één dag mijn werk sneller maken. Je moet wennen aan een andere omgeving en werkprocessen, dat geldt bij software als die van Aidence net zo. De menselijke component, wennen aan verandering en vernieuwing, kan ook een complicerende factor zijn in het begin.”

Daarom biedt Aidence geen eigen user interface – een website of portal voor gebruikers – maar is de software geïntegreerd in een zogeheten PACS, een Picture Archiving and Communication System. Dat zijn beeldopslag en beelddistributie systemen (computers en servers in een netwerk met specifieke software) die het mogelijk maken om de radiologiebeelden te verwerken en archiveren. “Die integratie in de workflow, en hoe onze software kan helpen om adoptie vergroten en gebruik te vergemakkelijken, is ons onderscheidende vermogen. We werken nu nog on premise, op servers die in de ziekenhuizen draaien, maar willen in de toekomst graag in de cloud draaien.”

Code freeze

Betekent dat ook dat ieder ziekenhuis een eigen, lokale versie van de software heeft draaien, gevoed door de medische beelden uit het lokale PACS? Dat is niet het geval, zegt Breimer. “Inmiddels zijn we versie 2 van Veye Chest, deze heeft CE-markering ontvangen. Om deze CE-markering aan te vragen wordt de software verpakt en naar de een controlerende instantie (notified body) verstuurd.

Op dat moment vindt er een code freeze plaats: de software wordt bevroren en die versie wordt dus gecertificeerd.” Klanten van Aidence krijgen vervolgens toegang tot versie twee van de software, maar het AI-systeem leert niet door op locatie met input vanuit het ziekenhuis. “Op kantoor werken we door aan versie drie, waarbij we met nieuwe klinische claims uiteindelijk terug moeten naar de toezichthouder om de software te laten certificeren”, zegt Breimer.

Longkanker voorspellen

Naast tijdswinst, minder saaie en repetitieve handelingen voor de radioloog en accuratere diagnoses, heeft deze technologie ook de potentie om te voorspellen welke patiënten ziek gaan worden en welke niet. In 2017 deed Aidence mee aan de Kaggle Data Science wedstrijd, waar het bedrijf in de top drie terecht kwam met een algoritme om de kans op longkanker te voorspellen op basis van een CT-scan. “Dit model hebben we wel, maar hier doen we op dit moment nog niets mee”.

Wanneer het algoritme aangeeft dat een patiënt 0% kans heeft op longkanker, of 100% kans heeft op longkanker, dan is het behandelprotocol duidelijk. “Maar wat als het model voorspelt dat uit een CT-scan blijkt dat er 55% kans is op een kwaadaardige tumor, wat doe je dan? Geen medische richtlijn kan daar nu advies over geven. Die uitkomst leidt tot onduidelijkheid en wellicht overdiagnosticering, waarbij we voor de zekerheid een biopt nemen”, zegt Breimer.

De industrie ligt hier voor op de wetenschappelijke richtlijnen. Plus: om op een dergelijke voorspelling te mogen vertrouwen zijn er langlopende prospectieve studies nodig, waarbij patiënten over langere tijd gevolgd worden en de uitkomstmaten worden vastgelegd. Daarmee kan een predictie-model gevalideerd worden.

Concurrentie van Google?

De resultaten van Google's AI software zijn indrukwekkend, beaamt Breimer. Ze vergelijkt het model dat Google publiceerde in Nature met de opzet van de Kaggle competitie van 2017, waar teams werden uitgedaagd om op basis van CT-scans een voorspellingsmodel te maken.

De discussie tijdens de lunchpauze bij Aidence ging over de vraag of Google hier ook software omheen gaat bouwen die radiologen uiteindelijk gaan gebruiken. "Een goed voorspellingsmodel ontwikkelen is één, twee is om gecertificeerde software te ontwikkelen die geïntegreerd is in de workflow, in een sector die streng gereguleerd wordt. En ook Google kan er niet omheen dat zo'n voorspellend model nog niet past binnen de medische richtlijnen." De toekomst is koffiedik kijken, een optie zou volgens Breimer kunnen zijn dat Google zijn AI-software, mogelijk met een klinische partner, als licentie gaat verkopen.

Masterclass Kunstmatige intelligentie in de zorg: 26 en 27 september 2019

De inschrijving voor de twee-daagse masterclass Kunstmatige intelligentie in de zorg najaar 2019 is geopend. Bekijk de gastdocenten en evaluaties van deelnemers aan de eerdere editie van deze masterclass (beoordeeld met een 8,4 gemiddeld).