Inkstų pažeidimo DI modelis kitoje duomenų bazėje veikė prasčiau: kodėl būtina vietinė patikra

AKI modelio AUROC sumažėjo nuo 0,814 vidiniame teste iki 0,669 išorinėje kohortoje. Tyrimas primena, kad gebėjimas atskirti riziką dar negarantuoja tikslios tikimybės.

Gerai vienoje duomenų bazėje veikiantis dirbtinio intelekto modelis nebūtinai taip pat veiks kitoje. Lapkričio 11 dieną „Scientific Reports“ paskelbtame ūminio inkstų pažeidimo prognozavimo darbe išorinis patikrinimas parodė aiškų veikimo pablogėjimą. Tyrimas svarbus ne kaip naujas pažadas anksti diagnozuoti visus inkstų sutrikimus, o kaip pavyzdys, kodėl medicinos algoritmą reikia vertinti ten, kur jis bus naudojamas. Vien aukšto vidinio testo rodiklio klinikiniam diegimui nepakanka.

Kas buvo perkelta tarp duomenų bazių

Ge Gao aprašytame tyrime XGBoost modelis kurtas naudojant 8 322 INSPIRE klinikinių įrašų duomenis ir vertintas 6 557 MIMIC-IV įrašų išorinėje kohortoje. Darbas nagrinėjo intensyviosios terapijos duomenis ir su procedūros data susietą atranką. Tai duomenų analizė, o ne tyrimas, kuriame pacientai atsitiktinai būtų gydyti pagal algoritmą ar be jo.

Vidinio testo AUROC buvo 0,814, o visoje išorinėje kohortoje – 0,669. Išorinio vertinimo kalibravimo nuolydis siekė 0,541. Šie skaičiai apibūdina skirtingas modelio veikimo savybes. Jų negalima perrašyti kaip 81,4 ar 66,9 proc. pacientų teisingai nustatytos diagnozės, nes toks diagnostinio tikslumo procentas tyrime šiais rodikliais neapibrėžtas.

Rizikos atskyrimas ir tikimybės tikslumas – skirtingi dalykai

AUROC padeda vertinti, kaip modelis atskiria baigtį patyrusių ir jos nepatyrusių žmonių riziką. Kalibravimas nagrinėja kitą klausimą: ar apskaičiuota tikimybė atitinka realiai stebimą dažnį. Modelis gali gana gerai surikiuoti žmones, bet jų riziką sistemingai pervertinti arba nuvertinti.

Šis skirtumas praktiškai svarbus, kai nuo tikimybės priklauso įspėjimas ar papildomas veiksmas. Netinkamai sukalibruota sistema gali pateikti pernelyg daug įspėjimų arba dalį rizikos palikti nepastebėtą. Tai galimi bendri padariniai, o ne šiame tyrime įrodytas konkretus pacientų gydymo rezultatas. Norint apie jį spręsti, reikėtų atskirai vertinti realų naudojimą ir jo pasekmes.

Kodėl vietinis atnaujinimas nėra vienas mygtukas

Tyrime nagrinėtas ir modelio atnaujinimas mažesnėmis vietinių duomenų imtimis. Pakartotinai imant po 300 pacientų gauti kalibravimo įverčiai skyrėsi, o pagerėjimas pagal Brier rodiklį buvo nedidelis. Autoriaus išvada atsargi: pradinis sukalibravimas negarantuoja išorinio kalibravimo, o vietinio atnaujinimo stabilumą reikia patikrinti.

Tai nereiškia, kad modelio pritaikyti neįmanoma. Tai reiškia, kad pritaikymui reikia pakankamų ir tinkamų vietinių duomenų bei atskiros patikros. Jei tie patys duomenys panaudojami ir pataisymui, ir tariamai nepriklausomam rezultatui įvertinti, galima gauti pernelyg palankų vaizdą. Patikros planas turi aiškiai atskirti mokymą, atnaujinimą ir galutinį vertinimą.

Svarbu vienodai apibrėžti ir prognozuojamą baigtį

Ūminio inkstų pažeidimo modelio rezultatas priklauso ne tik nuo algoritmo. Reikia žinoti, kurie pacientai įtraukti, kada pradedamas stebėjimas ir kokiais duomenimis nustatoma baigtis. Jei skirtingose bazėse šios taisyklės nesutampa, pablogėjęs veikimas gali atspindėti ir duomenų apibrėžčių skirtumus.

TRIPOD-Cluster metodikos dokumentas išorinę patikrą apibūdina kaip vertinimą su duomenimis, kurie nenaudoti modelio kūrimui. Atsitiktinis vienos bazės padalijimas į dvi dalis savaime nėra stipri išorinė patikra. Todėl žodį „validuotas“ reikia lydėti paaiškinimu, kokioje populiacijoje, kokiu laiku ir pagal kokias taisykles tai padaryta.

Klinikinė nauda turi būti įrodyta atskirai

Nė vienas prognozavimo rodiklis savaime neparodo, kad algoritmas sumažino inkstų pažeidimų, dializės ar mirčių skaičių. Tam reikia tinkamai suplanuoto klinikinio poveikio vertinimo. Net tikslus įspėjimas padeda tik tada, kai prie jo susieta pagrįsta, laiku atliekama ir saugi veiksmų seka.

Diegiančiai komandai reikėtų iš anksto nuspręsti, kas matys įspėjimą, kokiu tikslu jis naudojamas ir kaip bus tikrinamos klaidos. Taip pat svarbu palyginti jį su jau taikomu vertinimu. Jei papildoma informacija nepakeičia sprendimo arba sukelia nereikalingą krūvį, vien technologinis naujumas neparodo praktinės vertės. Tai vertinimo klausimai, į kuriuos šio tyrimo duomenys vieni neatsako.

Įstaigai aktualus ir pasirinktas sprendimo slenkstis. Žemesnis slenkstis gali išplėsti žmonių, kuriems rodomas įspėjimas, grupę, tačiau tuomet reikia įvertinti papildomo darbo ir klaidingų perspėjimų kainą. Aukštesnis slenkstis gali sumažinti įspėjimų skaičių, bet praleisti dalį atvejų. Tinkamo pasirinkimo vien AUROC nenustato. Reikia aiškiai apibrėžtos paskirties ir palyginimo su įprasta priežiūra.

Prieš klinikinį naudojimą galima numatyti etapą, kai modelio prognozės tik registruojamos ir nedaro įtakos gydymui. Toks vertinimo planas padėtų palyginti prognozuotą riziką su vėliau nustatytomis baigtimis, iš anksto apibrėžus analizės taisykles. Tai galimas tikrinimo būdas, o ne šios publikacijos įrodymas, kad sistema jau saugiai įdiegta. Ilgainiui reikėtų tikrinti ir tai, ar pasikeitusi pacientų sudėtis nekeičia modelio veikimo.

Ką tai reiškia Lietuvos gydymo įstaigoms

Publikacija nėra konkrečios medicinos priemonės registracijos ar parengties Lietuvos ligoninei patvirtinimas. Prieš naudojant tokio pobūdžio modelį reikia vertinti vietinę populiaciją, duomenų kokybę, numatytą paskirtį ir ilgalaikę stebėseną. PSO sveikatos DI dokumentuose rizikos ir naudos bei veikimo stebėjimas taip pat aptariami kaip svarbios vertinimo sritys.

Šio darbo žinia paprasta: modelio perkėlimas į naują aplinką pats yra atskiras mokslinis ir klinikinis uždavinys. Ankstesnis geras rezultatas gali pagrįsti bandymą, tačiau negali pakeisti patikros naujoje vietoje.

Šaltiniai

Taip pat skaitykite: Ką apie sveikatą gali pasakyti eisena? DI modelis išanalizavo 3 328 žmonių judesius

Iliustracijos autorius – OpenAI vaizdų generavimo priemonė. DI sukurta teminė iliustracija; ji nerodo tikrų tyrimo dalyvių, paciento tyrimo ar dokumentuoto įvykio.

Gaukite sveikatos naujienas el. paštu

Pasirinkite dominančias temas ir naujienų gavimo dažnumą.

Pasirinkti prenumeratą

Taip pat šioje temoje

MedNews.lt – Nacionalinės medikų asociacijos projektas.