Förbättra hälsovårdsprediktiva modeller med generativ AI

En fallstudie om upptäckt av lunginflammation och iscensättning av cancer

Projektöversikt

Inom hälso- och sjukvårdens snabbt framskridande område innebär användningen av generativ AI, särskilt stora språkmodeller (LLM), för att förutsäga sjukdomstillstånd från kliniska rapporter ett stort steg framåt. Kunden, en banbrytare inom hälsoanalys, gav sig ut på ett uppdrag att förfina sina modeller för att förutsäga sjukdomstillstånd. Genom att utnyttja MIMIC CXR-databasen med öppen källkod och införliva generativa AI-förutsägelser för initial analys, följt av manuell validering med Label Studio, var målet att öka modellens noggrannhet och tillförlitlighet för kliniska rapportanalyser, särskilt radiologirapporter.

Utmaningar

Att integrera generativa AI-förutsägelser i sjukvårdens arbetsflöden innebar många utmaningar:

Dataåtkomst och säkerhet

För att säkra tillgången till högkvalitativa medicinska datauppsättningar med öppen källkod som MIMIC-CXR krävdes en rigorös legitimationsprocess, som säkerställde efterlevnad av integritets- och etiska standarder.

Prediktion noggrannhet

Initiala utdata från generativa AI-modeller uppvisade ibland felaktigheter i förutsägelser av sjukdomstillstånd, vilket nödvändiggjorde manuella kontroller för ökad precision.

Identifiering av komplex sjukdomstillstånd

Att noggrant klassificera sjukdomstillstånd från det nyanserade språket i kliniska rapporter, särskilt när man använder generativ AI, utgjorde ett betydande hinder.

Anteckningskvalitet

Att säkerställa högkvalitativa, korrekta anteckningar i Label Studio-verktyget krävde specialiserad kunskap och förståelse för medicinska sjukdomstillstånd.

Lösning

Shaip använde en omfattande strategi för att möta dessa utmaningar:

Strömlinjeformad autentisering: Teamet navigerade snabbt i autentiseringsprocessen för MIMIC-CXR-åtkomst, vilket visade effektivitet och engagemang för etiska forskningsmetoder.
Riktlinjeutveckling: Utvecklade insiktsfulla riktlinjer för manuella validerare för att säkerställa konsekvens och kvalitet i att kommentera LLM-förutsägelser.
Expertkommentarer om AI-förutsägelser: Anställde noggrann manuell validering och korrigering av LLM-förutsägelser med hjälp av Label Studio, uppbackad av medicinsk expertis.
Prestandamätningar: Genom detaljerad analys beräknade Shaip LLM:s prestationsmått såsom konkordans, precision, återkallelse och F1-poäng, vilket möjliggör kontinuerliga förbättringar.

Resultat

Förbättrad noggrannhet för att förutsäga sjukdomstillstånd från radiologirapporter.
Utveckling av en högkvalitativ marksanning datauppsättning för framtida produktutveckling och utvärdering av generativa AI-förutsägelser.
Förbättrad förståelse för identifiering av sjukdomstillstånd, vilket underlättar mer tillförlitliga förutsägelser.

Användningsfall 1: Machine Learning Model Validering

Scenario: Förbättra lunginflammationspredictionsprecision med generativ AI I det här fallet sållades en generativ AI-modell genom lungröntgenrapporter för att upptäcka tecken på lunginflammation. En rapport som noterade "Ökad opacitet i den högra nedre loben, vilket tyder på en infektionsprocess" föranledde en första "osäker" klassificering av AI på grund av rapportens tvetydiga formulering.

Valideringsprocess:

En medicinsk expert granskade rapporten inom Label Studio och koncentrerade sig på texten som lyfts fram av AI.
Genom att utvärdera det kliniska sammanhanget och tillämpa radiologisk kunskap omklassificerade experten rapporten som en definitiv "positiv" för lunginflammation.
Denna expertkorrigering integrerades tillbaka i AI-modellen, vilket underlättade dess pågående inlärning och förfining.

Resultat:

Förbättrad modellnoggrannhet
Förbättra prestandamätningar precision och återkallelse

Användningsfall 2: Generera Ground Truth Dataset

Scenario: Skapa en benchmark-datauppsättning för Cancer TNM-staging med generativ AI

I syfte att främja produktutvecklingen för cancerprogression, försökte klienten sätta ihop en omfattande datauppsättning för grundsanningen. Denna datauppsättning skulle jämföra träning och bedömning av nya AI-modeller för att exakt förutsäga TNM-stadieindelningen av cancer från kliniska berättelser.

Datauppsättningsgenereringsprocess:

Ett brett spektrum av cancerrelaterade rapporter, inklusive patologifynd och diagnostiska översikter, samlades in.
Den generativa AI-modellen gav initiala TNM-stadieförutsägelser för varje rapport och utnyttjade dess inlärda mönster och kunskap.
Läkare granskade dessa AI-genererade förutsägelser för noggrannhet, korrigering av fel och kompletterande information i fall av ofullständiga eller felaktiga AI-förutsägelser.