Badanie Dartmouth: poprawianie błędów AI zabiera lekarzom więcej czasu niż pisanie od zera

Sztuczna inteligencja miała odciążyć lekarzy od żmudnego pisania odpowiedzi do pacjentów. Nowe badanie zespołu z Dartmouth College pokazuje, że w praktyce często dzieje się odwrotnie, poprawianie błędów w projektach wiadomości generowanych przez AI zajmuje więcej czasu niż napisanie ich od podstaw.

Zespół badawczy przeanalizował działanie systemu AI w internetowym portalu pacjenta, który automatycznie tworzy szkice odpowiedzi lekarzy na wiadomości od pacjentów. To pierwsze badanie na taką skalę tego konkretnego zastosowania AI w codziennej praktyce klinicznej, a nie w warunkach laboratoryjnych.

Gdzie AI się myli

Badacze zidentyfikowali powtarzające się wzorce błędów w odpowiedziach generowanych przez model. Najczęściej były to zbyt długie i rozwlekłe sformułowania, pominięcie istotnych pytań kontrolnych, które lekarz normalnie by zadał, oraz szczegóły medyczne, które okazywały się nieistotne, niedokładne albo niespójne z przyjętą praktyką kliniczną.

Skutek jest paradoksalny. Zamiast przyspieszać pracę lekarza, system zmusza go do dokładnego czytania i poprawiania szkicu, co w wielu przypadkach pochłania więcej czasu niż samodzielne sformułowanie odpowiedzi od zera. Innymi słowy, AI potrafi brzmieć jak lekarz, ale nie myśli jak lekarz.

Odkrywamy, że AI potrafi brzmieć jak lekarz, ale nie myśli jak lekarz - Sarah Preum, adiunkt informatyki, Dartmouth College

Dlaczego to ważne dla systemu ochrony zdrowia

Systemy generujące szkice odpowiedzi dla lekarzy są coraz szerzej wdrażane w placówkach medycznych w Stanach Zjednoczonych i Europie jako narzędzie mające ograniczyć wypalenie zawodowe personelu medycznego i skrócić czas poświęcany na dokumentację. Wyniki badania Dartmouth podważają część tych założeń, przynajmniej w obecnym kształcie technologii.

Dla administratorów szpitali i placówek zdrowia oznacza to konieczność dokładniejszego mierzenia realnego wpływu takich narzędzi na czas pracy lekarzy, zamiast opierania decyzji zakupowych wyłącznie na deklaracjach dostawców oprogramowania.

Znaczenie dla polskich placówek

W Polsce narzędzia AI wspierające dokumentację medyczną i komunikację z pacjentem dopiero zyskują na popularności, między innymi w ramach pilotaży w większych szpitalach i sieciach przychodni. Wyniki badania Dartmouth to sygnał ostrzegawczy przed wdrażaniem takich systemów bez wcześniejszego sprawdzenia, ile czasu faktycznie oszczędzają, a ile odbierają na etapie weryfikacji.

Autorzy podkreślają, że problem nie leży w samej idei automatyzacji komunikacji z pacjentem, lecz w jakości i wiarygodności generowanych treści. Dopóki modele nie nauczą się rozpoznawać, jakie informacje są klinicznie istotne w konkretnym kontekście, korzyści z ich stosowania mogą pozostać iluzoryczne.

Co dalej

Zespół Dartmouth zapowiada dalsze prace nad metodami oceny, które pozwoliłyby mierzyć nie tylko poprawność językową odpowiedzi AI, ale też realny czas potrzebny lekarzowi na jej weryfikację i poprawki. To ma pomóc placówkom medycznym podejmować bardziej świadome decyzje przy wyborze i wdrażaniu takich systemów.

Źródła: AI mistakes can cost doctors time when writing to patients (eurekalert.org), Study shows how flawed AI responses increase physician workloads (news-medical.net), AI Mistakes Can Cost Doctors Time When Writing to Patients (home.dartmouth.edu)