Onderwijs en stages

Stel je eens voor!
Ik ben Thomas van Laer en ik heb de master Statistiek en Data Science (specialisatie Data Science) gevolgd aan de Universiteit Hasselt in Diepenbeek. Daarvoor heb ik luchtvaartlogistiek gestudeerd (Aviation). Tijdens die opleiding vond ik het programmeren en alles wat met data te maken had het leukste onderdeel, en zo ben ik uiteindelijk bij data science terechtgekomen. 

Hoe heb je de stage bij het Maastricht UMC+ gevonden? 
Bij ons (UHasselt) worden de stages via de opleiding geregeld: organisaties melden een stageplek aan bij UHasselt en die worden vervolgens onder de studenten verdeeld. Het MUMC+ had zich op die manier aangemeld. Deze stage sprak me aan omdat ik nog geen ervaring had in een ziekenhuis en benieuwd was naar die werkomgeving. Het onderwerp zelf vond ik ook interessant, en ik vind het leuk om met AI modellen te werken. Dus dat sloot goed op elkaar aan. 

Wat heb je onderzocht? 
Huisartsen verwijzen patiënten met knieklachten door voor een röntgenfoto. Wat de huisarts opschrijft in de verwijzing en wat de radioloog terug rapporteert staat allemaal als losse tekst in één systeem, dus ongestructureerd, waardoor je over duizenden gevallen moeilijk patronen kunt zien. Ik heb onderzocht of een AI taalmodel die tekst automatisch kan omzetten in bruikbare categorieën: is de foto afwijkend of niet, is er artrose en hoe ernstig, en past de verwijzing binnen de NHG-richtlijn? Daarnaast heb ik gekeken of je uit alleen de verwijsbrief al kunt voorspellen wat de foto zal laten zien. 

Wat vond je het lastigste onderdeel? 
Het opbouwen van de gouden standaard: de handmatig beoordeelde set waarmee je het model afmeet. Twee experts hebben 386 dossiers onafhankelijk van elkaar gelabeld en daarna zijn alle verschillen in een overleg doorgenomen. Dat was veel werk en vooral veel afstemming en planning om het op tijd rond te krijgen, maar zonder die handmatige beoordeling kun je niets zeggen over hoe goed het model presteert. 

Is er een concreet resultaat of conclusie uit je onderzoek gekomen? 
Ja, vier conclusies. Het model kon de radiologieverslagen goed genoeg indelen om er grootschalige analyses op te doen, vooral wanneer zowel de bevindingen als de conclusie van het verslag als input werden meegegeven. Artrose was veruit de meest gerapporteerde bevinding, en de ernst daarvan kon uit de tekst worden geschat, al is dat minder precies dan een beoordeling door een expert. Ongeveer drie op de vier verwijzingen leek op basis van de verwijs tekst niet in lijn met de NHG-richtlijn, al staat de volledige klinische afweging vaak niet in die tekst. En de uitkomst van de foto bleek niet betrouwbaar te voorspellen uit alleen de verwijs tekst. 

Wat heb je geleerd? 
Vooral hoe je in de praktijk met AI modellen werkt. Het draaien van het model zelf is niet het lastige deel, het lastige is het maken van de juiste prompts en controleren of wat er uit komt ook klopt. Het model was bijvoorbeeld bijna altijd even stellig, ook wanneer het fout zat, dus je hebt altijd een menselijke referentie nodig om te weten wat je aan de resultaten hebt. Ook werkte alles lokaal op hardware van het ziekenhuis vanwege de privacyeisen, wat anders gaat dan een model in de cloud gebruiken. Daarnaast was het gewoon leerzaam om te zien hoe het er in een ziekenhuis aan toegaat, aangezien ik daar geen achtergrond in had.