AI je rovnako dobrá v diagnostike chorôb ako ľudia
Prvý systematický prehľad a metaanalýza tohto druhu zisťuje, že umelá inteligencia (AI) je v diagnostike ochorenia na základe lekárskeho obrazu rovnako dobrá ako zdravotnícki pracovníci. Je však potrebných viac kvalitných štúdií.
Nový článok skúma existujúce dôkazy v snahe zistiť, či AI dokáže diagnostikovať choroby rovnako efektívne ako zdravotnícki pracovníci.
Podľa poznatkov autorov - teda veľkého tímu vedcov pod vedením profesora Alastaira Dennistona z University Hospitals Birmingham NHS Foundation Trust vo Veľkej Británii - ide o prvý systematický prehľad, ktorý porovnáva výkon AI s lekármi pre všetky choroby.
Prof. Denniston a tím prehľadali niekoľko lekárskych databáz pre všetky štúdie zverejnené od 1. januára 2012 do 6. júna 2019. Tím publikoval výsledky svojich analýz v časopise Digitálne zdravie Lancet.
AI na rovnakej úrovni ako zdravotnícky personál
Vedci hľadali štúdie, ktoré porovnávali diagnostickú účinnosť algoritmov hlbokého učenia s účinnosťou zdravotníckych pracovníkov, keď stanovili diagnózu na základe lekárskeho zobrazenia.
Skúmali kvalitu podávania správ v uvedených štúdiách, ich klinickú hodnotu a koncepciu štúdií.
Ďalej, keď prišlo k hodnoteniu diagnostickej výkonnosti AI v porovnaní s výkonmi zdravotníckych pracovníkov, vedci skúmali dva výsledky: špecifickosť a citlivosť.
„Citlivosť“ definuje pravdepodobnosť, že diagnostický nástroj získa pozitívny výsledok u ľudí trpiacich touto chorobou. Špecifickosť sa týka presnosti diagnostického testu, ktorý dopĺňa mieru citlivosti.
Z procesu výberu bolo získaných iba 14 štúdií, ktorých kvalita bola dostatočne vysoká na to, aby sa dala zahrnúť do analýzy. Prof. Denniston vysvetľuje: „Skontrolovali sme viac ako 20 500 článkov, ale menej ako 1% z nich bolo dostatočne robustných v ich dizajne a podávaní správ, takže nezávislí recenzenti mali veľkú dôveru v ich tvrdenia.“
„A čo viac, iba 25 štúdií externe validovalo modely AI (pomocou lekárskych snímok z inej populácie) a iba 14 štúdií porovnávalo výkonnosť AI a zdravotníckych pracovníkov s použitím rovnakej testovacej vzorky.“
„V rámci tej hŕstky vysoko kvalitných štúdií sme zistili, že hlboké učenie dokáže skutočne odhaliť choroby od rakoviny až po očné ochorenia rovnako presne ako zdravotnícki pracovníci. Je však dôležité poznamenať, že AI podstatne neprekonala ľudskú diagnózu. “
Alastair Denniston
Analýza konkrétnejšie zistila, že AI dokáže správne diagnostikovať ochorenie v 87% prípadov, zatiaľ čo detekcia zdravotníckymi pracovníkmi priniesla mieru presnosti 86%. Špecifickosť algoritmov hlbokého učenia bola 93% v porovnaní s ľuďmi „na 91%.
Predpätia môžu prehnať výkon AI
Prof. Denniston a kolegovia tiež upozorňujú na niekoľko obmedzení, ktoré našli v štúdiách, ktoré skúmajú diagnostickú výkonnosť AI.
Po prvé, väčšina štúdií skúma presnosť diagnostiky AI a zdravotníckych pracovníkov v izolovanom prostredí, ktoré nenapodobňuje bežnú klinickú prax - napríklad zbavuje lekárov ďalších klinických informácií, ktoré by zvyčajne potrebovali na stanovenie diagnózy.
Po druhé, tvrdia vedci, väčšina štúdií porovnávala iba súbory údajov, zatiaľ čo vysokokvalitný výskum diagnostického výkonu by si vyžadoval také porovnanie u ľudí.
Ďalej autori tvrdia, že všetky štúdie trpeli slabými správami, pričom analýza nezohľadňovala informácie, ktoré v uvedených súboroch údajov chýbali. „Väčšina [štúdií] neuvádzala, či chýbajú nejaké údaje, aký podiel to predstavuje a ako sa s chýbajúcimi údajmi pri analýze zaobchádza,“ píšu autori.
Medzi ďalšie obmedzenia patrí nekonzistentná terminológia, nie jasné stanovenie prahu pre analýzu citlivosti a špecifickosti a chýbajúce overenie mimo vzorky.
„Existuje vrodené napätie medzi túžbou používať novú, potenciálne život zachraňujúcu diagnostiku a nutnosťou vyvinúť vysoko kvalitné dôkazy spôsobom, ktorý bude prospešný pre pacientov a zdravotné systémy v klinickej praxi,“ komentuje prvý autor Dr. Xiaoxuan Liu z University of Birmingham.
„Kľúčovým ponaučením z našej práce je, že v AI - rovnako ako v akejkoľvek inej časti zdravotnej starostlivosti - záleží na dobrom dizajne štúdie. Bez neho môžete ľahko zaviesť skreslenie, ktoré skresľuje vaše výsledky. Tieto predsudky môžu viesť k prehnaným tvrdeniam o dobrom výkone nástrojov AI, ktoré sa nepremietnu do skutočného sveta. “
Dr. Xiaoxuan Liu
„Dôkazy o tom, ako algoritmy umelej inteligencie zmenia výsledky pacientov, musia pochádzať z porovnania s alternatívnymi diagnostickými testami v randomizovaných kontrolovaných štúdiách,“ dodáva spoluautorka Dr. Livia Faes z Moorfields Eye Hospital, Londýn, Spojené kráľovstvo.
"Zatiaľ takmer neexistujú žiadne také pokusy, pri ktorých by sa diagnostické rozhodnutia uskutočňované pomocou algoritmu AI riadili podľa toho, čo sa potom stane s výsledkami, ktoré sú pre pacientov skutočne dôležité, ako je včasná liečba, čas prepustenia z nemocnice alebo dokonca miera prežitia."
