Google го претстави својот четбот, наменет за медицински прашања

Google Research и DeepMind неодамна го претставија MultiMedQA, големиот јазичен модел со отворен код за медицински цели. Тој нов јазичен модел комбинира HealthSearchQA (нов збир на податоци со бесплатен одговор за медицински прашања, кои што се бараат на интернет), со шест постоечки збир на податоци со одговори на отворени прашања, кои што покриваат професионални медицински прегледи, истражувања и прашања од корисниците. Овде е вклучена методологија за проценка на одговори од човечки модел, вклучуваат факти, прецизност, потенцијална штета и пристрасност.

MultiMedQA овозможува збир на податоци за прашања со повеќе избор, како и за подолги одговори на прашања, кои што ги поставуваат медицинските експерти, но и непрофесионалците. 

Збирот на податоци од HealthSearchQA, се состои од 3.375 често поставувани прашања од потрошувачите. Одбран е со помош на медицински дијагнози и поврзани симптоми. На сите корисници што им ги внеле почетните фрази, прикажани им се јавно достапни често поставувани прашања, кои што се опфатени преку користењето на почетните податоци и се креирани со помош на пребарувачот.

Модел развиен на PaLM

Научниците на Google ги развиле PaLM (Pathways Language Model) и LLM (Large language model) моделите од 540 милијарди параметри и неговата варијација од Flan-PaLM (Scaling Instruction-Finetuned Language Models), прилагоден кон проценките на LLM со помош на MultiMedQA.

Flan-PaLM постигнува најдобра изведба (SOTA) на клиничките теми MedQA, MedMCQA, PubMedQA и MMLU, комбинирајќи техника на поттикнување со неколку обиди, синџир на размислување (CoT) и техники за самодоследност, често значително надминувајќи ги многу јаките LLM основни линии. 

Малку послаб од човечки експерти

Човечката проценка, ги идентификува големите недостатоци во Flan-PaLM со одговори. Моделот што го решава тој проблем е Med-PaLM, за кој се тврди дека има добри резултати во споредба со Flan-PaLM, но сепак треба да ја надмине проценката на медицински експерт.

На пример, група на лекари утврдиле дека 92,6% од одговорите на Med-PaLM, биле еднакви со одговори, кои што ги дале на лекарите (92,9%), додека 61,9% се долготрајни одговори од Flan-PaLM, кои што се сметаат за усогласени со научни одговори.

Исто така, 5,8% од Med-PaLM одговорите, се проценети како потенцијално придонесувачи кон негативни последици, што е споредливо со одговори што ги давале за лекарите (6,5%).

Google не е единствен

Не само Google, туку и другите технолошки џинови се впуштиле во решавање на здравствената заштита, преку вештачка интелигенција. Microsoft и Meta се другите компании. Microsoft во тој дел соработува со OpenAI компанијата со GPT-3 јазичен алат за олеснување на соработката меѓу вработените и лекарите, и за подобрување на ефикасноста на здравствените тимови.

Meta AI сепак се обидела со претставувањето на Galactica во ноември 2022 година, но таа програма не успеала. Истата програма била генерирана со вештачка интелигенција, за која што тврделе дека ќе биде поддржана од академски истражувачи, со помош на нивните опсежни прегледи на литературите и Wiki внесувањата за билоа која тема. Не успеале поради неверодостојни резултати.