Medicininis DI mokosi parodyti, kuo remiasi: naujas EVLF-FM modelis dar laukia klinikinio patikrinimo

Medicininio dirbtinio intelekto atsakymas „tai liga“ gydytojui mažai naudingas, jeigu neaišku, kokie vaizdo požymiai jį pagrindžia. Spalio 29 dieną „Nature Medicine“ pristatytas EVLF-FM modelis bando sujungti diagnostinį vertinimą, teksto paaiškinimą ir konkrečios vaizdo vietos pažymėjimą. Vis dėlto paaiškinimą pateikiantis algoritmas savaime dar netampa kliniškai patikimu gydytojo pagalbininku.

Ką išbandė mokslininkai

Modelio kūrimui ir bandymams naudota daugiau kaip 1,3 milijono pavyzdžių iš 18 duomenų rinkinių, apimančių dešimt vaizdinimo būdų ir šešias klinikines specialybes. Išorinis vertinimas apėmė 13 443 nepriklausomus pavyzdžius iš dar 17 rinkinių.

Vidiniame diagnostinių užduočių vertinime vidutinis tikslumas siekė 0,895. Žmonių vertinti paaiškinimai pagal S.C.O.R.E. sistemą vidutiniškai gavo 4,25 balo iš penkių. Šie skaičiai apibūdina konkrečias tyrimo užduotis ir vertinimo sistemą. Jie nereiškia, kad modelis bet kurioje ligoninėje nustatys teisingą diagnozę 89,5 procento visų pacientų.

Autoriai pripažįsta platesnio patikrinimo skirtingose sveikatos sistemose poreikį. Be to, sklandus paaiškinimas gali būti įtikinamas pasakojimas po sprendimo, o ne tikrasis jo pagrindas. Todėl vertintinas ne vien teksto suprantamumas, bet ir jo atitiktis vaizdiniams įrodymams.

Ką reiškia skaidrus DI

FDA, Kanados ir Jungtinės Karalystės reguliuotojų gairėse skaidrumas apibrėžiamas plačiau nei programos gebėjimas paaiškinti vieną atsakymą. Naudotojas turi suprasti paskirtį, tikslinę populiaciją, veikimo aplinką, mokymo bei bandymo duomenis ir žinomas ribas.

Svarbu žinoti, kokius duomenis sistema priima ir kaip jos rezultatas turėtų paveikti gydytojo sprendimą. Nurodymas „padėti įvertinti“ ir leidimas savarankiškai nustatyti diagnozę yra skirtingos paskirtys. Skaidri informacija turi padėti pastebėti klaidas, šališkumą ir veikimo pablogėjimą.

Reguliuotojai taip pat akcentuoja žmogaus ir DI komandos veikimą. Priemonė gali gerai atlikti atskirą užduotį, bet svarbu patikrinti, ar gydytojas su ja priima geresnius sprendimus. Tam reikia aiškaus darbo proceso, suprantamų perspėjimų ir galimybės abejoti sistemos išvada.

Kodėl vien paaiškinimo nepakanka

PSO 2024 metų gairėse apie didelius multimodalinius modelius aptariami klaidingi, neišsamūs ir šališki atsakymai. Riziką gali lemti nepakankamos kokybės ar nepakankamai įvairūs mokymo duomenys. Todėl skirtingų amžiaus, lyties ar kitų grupių rezultatai neturėtų pasislėpti viename bendrame vidurkyje.

Kita problema – automatizavimo šališkumas. Įtikinama kompiuterio išvada gali paskatinti žmogų nepastebėti klaidos arba pernelyg lengvai perduoti sistemai sudėtingą sprendimą. Gražiai pažymėta vaizdo sritis šios rizikos automatiškai nepanaikina.

PSO taip pat įvardija privatumo ir kibernetinio saugumo klausimus. Medicininiai vaizdai yra jautrūs duomenys, todėl technologijos vertinimas turi apimti ne tik tikslumą, bet ir duomenų apsaugą, priežiūrą bei atsakomybę. Tai aktualu dar prieš sistemai tampant kasdienio darbo dalimi.

Ką iš tikrųjų apima patologijos išvada

NCI patologijos apraše pabrėžiama, kad diagnozė remiasi ne vien gražia mikroskopine nuotrauka. Patologas apjungia matomus audinio požymius, mikroskopinį vertinimą ir klinikinę informaciją. Ataskaita gali apimti naviko tipą, jo laipsnį, limfmazgių būklę ir kitus gydymui svarbius duomenis.

Tai padeda suprasti skirtumą tarp laboratorinės vaizdų klasifikavimo užduoties ir pilnos klinikinės situacijos. Pavyzdžiui, teisingai atpažinta vaizdo kategorija dar neatsako į visus klausimus apie ligos stadiją ar gydymo pasirinkimą. Šis paaiškinamasis pavyzdys nėra naujojo modelio klaidos demonstravimas – jis parodo, kodėl būtina tiksliai apibrėžti užduotį.

Pacientui prasminga klausti, ar jo tyrimą vertino specialistas, kokią konkrečią funkciją atliko DI ir kas atsakingas už galutinę išvadą. Vien žymuo „naudojamas dirbtinis intelektas“ nepasako, kokio lygio klinikinė patikra atlikta.

Kodėl mokymo ir bandymo duomenys atskiriami

FDA mokomosios medžiagos apie gerą mašininio mokymosi praktiką principas aiškus: mokymo ir bandymo rinkiniai turi būti tinkamai nepriklausomi. Reikia vertinti ne vien failų pavadinimus, bet ir galimas sąsajas per tą patį pacientą, vaizdo gavimo aplinkybes ar gydymo įstaigą.

Paprastas paaiškinamasis pavyzdys: jeigu tos pačios situacijos beveik vienodi vaizdai patektų ir į mokymą, ir į bandymą, rezultatas menkiau atsakytų, kaip sistema veiks su nauju atveju. Tai bendras metodinis pavyzdys, o ne teiginys, kad būtent šio tyrimo autoriai padarė tokią klaidą.

Dėl to ligoninei renkantis priemonę verta prašyti aiškaus duomenų atskyrimo aprašo ir rezultatų iš aplinkos, kuri skiriasi nuo kūrimo vietos. Ne mažiau svarbu žinoti, kuri modelio versija buvo vertinta. Naujas programos pavadinimas ar atnaujinta sąsaja neturėtų pakeisti įrodymų, kad vertinama ta pati klinikinė funkcija.

Kokio įrodymo reikėtų ligoninei

Prieš diegiant tokią priemonę verta numatyti vietinį patikrinimą su įprastais darbo duomenimis, aiškią klaidų registravimo tvarką ir pakartotinį vertinimą po atnaujinimų. Šias bendras skaidrumo ir priežiūros kryptis pabrėžia reguliuotojų principai. Jos nėra patvirtinimas būtent šiam modeliui.

MedNews vertinimu, naudingiausias tolesnis klausimas – ar paaiškinimai padeda gydytojams patikimiau atskirti pagrįstą atsakymą nuo klaidos. Kol to neparodo tinkamai suplanuotas klinikinis vertinimas, publikaciją dera laikyti technologiniu žingsniu. Ji savaime nepatvirtina registracijos Europos Sąjungoje, prieinamumo Lietuvoje ar geresnių pacientų gydymo rezultatų.