Что происходит в здравоохранении сегодня? По данным Росстата, в январе-феврале 2017 г. число умерших превысило число родившихся в 1,2 раза (в январе-феврале 2016г. – в 1,1 раза), в 33 субъектах Российской Федерации это превышение составило 1,5-2,1 раза. Численность занятых в сфере здравоохранения на протяжении последних лет постоянно сокращается – в 2014 г. она составляла 4496 тыс., а в феврале 2017 г. уже 4052,5 тыс. человек. Степень износа основных фондов в учреждениях здравоохранения в 2015 г. была 57,4%, коэффициент обновления 3%, а коэффициент выбытия – 1,1%.

Что касается информатизации, то в большинстве регионов полноценно заработал, пожалуй, всего один сервис – запись на прием к врачу. Одной из причин столь медленной реализации программы является то, что в последние годы она осуществляется преимущественно на деньги регионов, которые они выделяют в меру своего понимания важности процесса и, конечно, возможностей. «Для войны нужны три вещи: деньги, деньги и еще раз деньги. В здравоохранении так же. Больницы ищут средства на зарплаты врачам и покупку самого необходимого медицинского оборудования. До более серьезных задач у них просто не доходят руки, – говорит Константин Суслов, генеральный директор «Хост». – Ситуация может измениться только при развитии платного здравоохранения и добровольного медицинского страхования. Пока сохраняется бюджетная схема финансирования, деньги на ИТ будут выделяться по остаточному принципу».

«Основные деньги – у страхового бизнеса и фармацевтических компаний. И если страховщики уже готовы инвестировать в цифровизацию, то фармацевтический бизнес пока остается в стороне от этого процесса. И надо найти способ заставить его сделать это – тогда в медицину придут действительно большие деньги, и отрасль «выстрелит», – уверена Екатерина Устименко, генеральный директор компании «Технология здоровья».

Согласно данным исследования, проводимого уже на протяжении нескольких лет компанией КМИС, в 2013 г. закупку ПО и соответствующих услуг по направлению здравоохранения в соответствии с 44-ФЗ осуществили 54 региона (65%), в 2014 г. – 80 (94% с учетом 2 новых регионов – Крыма и Севастополя), в 2015 г. – 77 (88%), в 2016 г. – 76 (89%).

Наибольшее финансовые средства на закупку программного обеспечения и услуг по информатизации здравоохранения в период с 2013-2016 гг. выделили Москва (₽7593 млн или 48,96% всего рынка), Санкт-Петербург (₽1055 млн или 6,81% всего рынка), Московская область (₽531 млн и 3,43%), Ростовская область (₽445 млн или 2,87%) и Новосибирская область (₽363 млн или 2,34%). Первые 10 регионов с максимальным финансированием составляют 74,13% всего рынка информатизации здравоохранения.

В тоже время, показатели последней пятерки регионов отличаются от топ-5 в разы. Так, Республика Коми за тот же период закупила ПО и ИТ-услуг в сфере здравоохранения на ₽0,88 млн, Псковская область на ₽0,72 млн, Чукотский автономный округ на ₽0,36 млн, Магаданская область на ₽0,30 млн, Севастополь на ₽0,497 млн.

Среднее значение затрат на информатизацию здравоохранения в расчете на число медицинских организаций составило ₽350 тыс. Лидерами по этому показателю стали Москва (₽4446 тыс.), Ямало-ненецкий АО (₽2560 тыс.), Ханты-Мансийский АО (₽1185 тыс.), Республика Алтай (₽1174 тыс.) и Кабардино-Балкарская республика (₽1170 тыс.).

Структура затрат на закупку услуг по информатизации здравоохранения в 2016 г.

Источник: КМИС, 2017

75% затрат на информатизацию за прошедшие 4 года составила закупка различных услуг. Оставшиеся 25% – это закупка программного обеспечения. При этом в 2016 г. предмет госзакупок практически полностью трансформировался в закупку услуг: на них пришлось 96% всех затрат. Закупка ПО составила всего ₽160 млн, из них ₽130,6 млн – это дозакупка лицензий (81,5%), ₽29,1 млн – заказная разработка (18,1%) и ₽0,4 млн – поставка ПО (0,4%).

Кроме традиционных финансовых проблем, формирование полноценного электронного здравоохранения на всей территории России сдерживается еще целым рядом причин. Так, необходимость ведения записей о приеме пациентов и выписки рецептов в бумажном виде практически сводит на нет все преимущества внедрения электронной медицинской карты. Вместо инструмента, облегчающего работу врача, она становится очередной рутинной операцией, на которую приходится тратить время, отведенное на общение с пациентом. Эта проблема усугубляется еще и тем, что значительное число врачей, особенно в регионах России, не обладает достаточными навыками работы с компьютером. Таким образом, на внесение необходимых записей в ЭМК пациента у них уходит значительное время.

По прежнему вручную заполняются многочисленные формы статистической отчетности, данные в которых часто дублируют друг друга. Предусмотренная в МИС возможность делать это автоматически остается невостребованной, что вызывает вполне обоснованные сомнения в эффективности потраченных на информатизацию немалых средств. «Пока региональные и федеральные власти отчитываются об успехах информатизации, медики в больницах недоумевают: вместо того, чтобы купить лекарство, покупают принтер. Их работа с появлением компьютера не упростилась, а усложнилась, – говорит Константин Суслов. – Поэтому на смену соревнованию по количеству автоматизированных рабочих мест должны прийти сервисы помощи врачу в его работе и повышения производительности».

Довольно скептически настроены врачи и в отношении телемедицины, о повсеместном распространении которой сегодня говорит Минздрав. До тех пор, пока не будут законодательно определены правила ведения телемедицинских консультаций, ответственность врача и порядок оплаты его работы, а также не появится устойчивый доступ в интернет в расположенных в глубинке медучреждениях, регионы будут отчитываться о внедрении телемедицины, на деле используя для общения друг с другом хорошо знакомый всем Skype. Можно ли считать это полноценной реализацией идеи удаленных консультаций?

Согласно данным исследования, проведенного КМИС, на сегодняшний день в информатизации государственного здравоохранения России применяется 260 различных программных продукта.

Госзакупки в сфере здравоохранения по типу ПО, 2013-2016 гг.

Источник: КМИС, 2017

Безоговорочным лидером среди российских региональных МИС является ЕМИАС г. Москвы – на эту систему приходится 61% потраченных средств среди РМИС или 37% от всего объема госзакупок на информатизацию. Региональная МИС «Ростелеком» прочно занимает второе место – на нее за 4 года было потрачено ₽1997 млн или 11,48% от всех госзакупок. За ними следуют решения, разработанные «Барс Груп» (4,5%), регсегмент Санкт-Петербурга (3,9%), РИАМС «Промед» от «Сван» (2,4%).

Среди медицинских информационных систем, предназначенных для автоматизации отдельных учреждений здравоохранения, 89% затрат пришлось на различные медицинские информационные системы медицинских организаций (МИС МО), число которых за период наблюдения составило 160 систем. Второе место занимают лабораторные информационные системы (6%), третье (3%) – программные продукты для автоматизации аптечной деятельности.

Основные медицинские информационные системы медицинской организации

Источник: КМИС, 2017

* в данном случае % берется от суммы всех гос. контрактов по учрежденческим системам (МИС МО)

«В целом информатизация здравоохранения, по крайней мере в части программного обеспечения и соответствующих услуг для государственного сектора, по данным исследования КМИС представляет собой рынок объемом примерно ₽4-5 млрд в год. В 2015 г. объем этого рынка существенно сократился – на 44,4% до размера ₽3,6 млрд, в 2016 г. показал рост в 10%», – комментирует результаты исследования Александр Гусев, замдиректора по развитию КМИС.

За прошедшее время этот рынок в целом сформировался как по его участникам, так и по спектру предлагаемых и востребованных решений. Главным образом этот рынок составляют региональные системы с долей 61%, а также медицинские информационные системы учрежденческого уровня с долей в 27%. Специализированные решения, такие как например лабораторные или радиологические информационные системы, решения для скорой помощи или лекарственного обеспечения не имеют заметной доли на рынке, каждые из таких видов решений занимает менее 1%.

Совокупная выручка первой десятки участников рейтинга CNewsPublichealth: Крупнейшие поставщики ИТ для здравоохранения 2016 увеличилась на 18% по сравнению с 2015 г. и составила ₽3,1 млрд. Еще несколько лет назад в сфере информатизации здравоохранения работали исключительно специализированные разработчики, чья выручка на 100% зависела от проектов, реализованных на этом рынке. После того, как темой создания e-Health всерьез заинтересовалось государство, а значит, деньги на ИТ появились сначала у медучреждений, а затем и в региональных бюджетах, подразделения, отвечающие за реализацию проектов в сфере здравоохранения, стали открываться у крупных российских ИТ-интеграторов. И хотя их доля в общей выручке компании пока невелика, например, у «Крок» (12 место в CNews100) она составляет всего 2,8%, у «Форс» (25 место в CNews100) – 1,4%, «Хост» (98 место в CNews 100) – 13%, интеграторы составляют примерно половину участников рейтинга крупнейших поставщиков ИТ в здравоохранение 2016 г. Более того, на их долю приходится 75% совокупной выручки участников рейтинга.

Совокупная выручка топ-10 поставщиков ИТ в здравоохранение

Источник: CNews Analytics, 2017

Первую пятерку рейтинга формируют также не специализированные игроки рынка, а интеграторы – «Крок» (₽795,9 млн), «Барс Груп» (₽593,5 млн), «Программный продукт» (₽402 млн), «Парус» (₽397,8 млн) и «Нетрика» (₽225,9 млн). В топ-10 входят 4 компании, для которых информатизация здравоохранения является основным видом бизнеса, – «СП.Арм» (₽209,5 млн), «Смарт Дельта Системс» (₽209 млн), «Комтек» (₽102,3 млн) и «СофТраст» (₽87,9 млн). Конечно, такая картина во многом определяется тем, что крупные системные интеграторы уже много лет раскрывают свою выручку, в то время как большинство компаний, работающих на локальных рынках, только начинают привыкать к участию в отраслевых рейтингах.

На долю государственных заказчиков в среднем приходится 78% выручки участников рейтинга. При этом у более чем половины из них этот показатель стремится к 100%. Таким образом, именно государственная программа информатизации здравоохранения на сегодняшний день является основным источником финансирования отрасли.

Работы по информатизации здравоохранения ведутся в нескольких направлениях. Во-первых, это внедрение информационных систем, обеспечивающих автоматизацию основной деятельности медучреждений – МИС, ЛИС, PACS, и создание на их базе различных электронных сервисов, например, записи на прием к врачу. Во-вторых, автоматизация административно-хозяйственной деятельности – бухгалтерского, кадрового, складского учета, внедрение систем мониторинга, регистров и систем защиты информации и пр. И, в-третьих, интеграция всех этих решений на региональном уровне – создание так называемого регионального сегмента Единой государственной информационной системы здравоохранения (РС ЕГИСЗ) с последующим подключением к единому федеральному ресурсу.

Положение компаний, работающих на рынке e-Health, по мнению CNews, определяется не только выручкой, которую им приносят проекты в этой отрасли, но масштабами и сложностью реализуемых проектов. Так, внедрение МИС в 1 медучреждении требует от интегратора значительно больших компетенций, чем реализация возможности удаленной записи на прием в 10 поликлиниках. Автоматизация бухгалтерского учета – безусловно, необходимый процесс, но по сложности реализации он уступает автоматизации процесса основной деятельности медучреждений (МИС). Наиболее масштабными и ответственными являются работы по созданию РС ЕГИСЗ.

Крупнейшие поставщики ИТ для здравоохранения: проекты внедрения

			Участие в создании РС ЕГИСЗ			Работы вне создания РС ЕГИСЗ
№	Компания	Сфера деятельности	Число регионов	Названия регионов	Количество автоматизированных МО	Число регионов	Количество автоматизированных МО
Автоматизация основной деятельности
1	РТ Лабс	Разработка ПО, системная интеграция	12	Республика Бурятия, Забайкальский край, Иркутская, Курганская, Свердловская, Нижегородская область, Республика Алтай, Оренбургская, Калужская область, Республика Мордовия, Владимирская область, Республика Дагестан	802	4	4
2	Нетрика	Разработка ПО, системная интеграция, ИТ-услуги	11	Санкт-Петербург, Краснодарский край, Владимирская, Ленинградская, Архангельская, Мурманская, Новгородская, Курская область, республики Бурятия, Калмыкия, Забайкальский край	1 249	2	2
3	Сван	Разработка ПО, системная интеграция, ИТ-услуги	9	Пермский край, республики Башкортостан, Карелия, Хакасия, Крым, Астраханская, Псковская, Свердловская, Пензенская области	814	2	29
4	БАРС Груп	Разработка ПО, ИТ-услуги	7	Калининградская, Новосибирская, Ростовская, Саратовская, Сахалинская, Томская, Челябинская область	596	25	1 266
5	Пост Модерн Текнолоджи	Разработка ПО, ИТ-услуги	6	Курская, Тверская, Мурманская, Магаданская, Амурская обл. , Хабаровский край	283		879

При формировании рейтинга ИТ-компаний на основании данных о проектах в сфере здравоохранения, было принято решение разделить их на две категории. Первая – это компании, занимающиеся автоматизацией основной деятельности медучреждений, то есть созданием регсегментов ЕГИСЗ и внедрением МИС, ЛИС и пр. Вторая – интеграторы, внедряющие решения в области информационной безопасности и автоматизации административных функций как лечебных учреждений, так и органов управления.

Наиболее важным показателем, влияющим на позицию в рейтинге, стало число регионов, в котором компания создает региональный сегмент ЕГИСЗ. Доказательством работы в регионе является, в первую очередь, госконтракт на создание в нем РС ЕГИСЗ. В отдельных случаях, когда компания могла показать, что ее вклад в создание РС ЕГИСЗ существенен несмотря на отсутствие госконтракта (работы выполнялись по субподряду, реализован пилотный проект и пр. ), эти данные также учитывались.

Российские регионы очень разные как по числу имеющихся в них медучреждений, так и по уровню информатизации. Учесть этот фактор CNews попытался, собрав информацию о числе медучреждений, автоматизированных ИТ-компаниями в каждом регионе. Однако здесь все оказалось не так просто: некоторые участники рейтинга предоставили данные о числе юридических лиц, а некоторые – обо всех их подразделениях. В процесс проверки заполненных анкет эти данные дополнительно уточнялись.

Целый ряд компаний не работают в сфере создания РС ЕГИСЗ, однако реализуют проекты для отдельных государственных и коммерческих клиник. Их позиция в рейтинге определяется третьим по значимости показателем – числом медучреждений, в которых внедрены их решения.

ВОЗ приветствует вклад Китая в ответные меры в связи с Эболой в Западной Африке

ВОЗ приветствует обязательство правительства Китайской Народной Республики направить мобильную лабораторную группу в Сьерра-Леоне для расширения потенциала лабораторных анализов в связи с болезнью, вызываемой вирусом Эбола (БВВЭ), в этой стране.

Этот вклад является ответом на призыв ВОЗ о дальнейшей помощи усилиям в плане ответных мер в связи с Эболой в Африке и на просьбы правительства Сьерра-Леоне. Помимо лабораторных специалистов в группу Китайского центра контроля за заболеваниями в составе 59 человек войдут эпидемиологи, клиницисты и медицинские сестры. Они будут содействовать усилиям в плане ответных мер в связи с Эболой в госпитале Китайско-Сьерра-Леонской дружбы, который был построен в 2012 году при помощи правительства Китая.

«В плане ответных мер по Эболе самой неотложной и настоятельной необходимостью является дополнительный медицинский персонал, — говорит Генеральный директор ВОЗ д-р Маргарет Чен. — Эта новая группа, которая была объявлена, присоединится к 115 китайским медикам, которые уже работают на местах в Гвинее, Либерии и Сьерра-Леоне практически с самого начала. Эта огромная поддержка, как моральная, так и оперативная».

Дорожная карта ВОЗ ответных мер в связи с Эболой, которая была опубликована 28 августа, подчеркивает необходимость массированного расширения масштабов ответных мер для оказания помощи затронутым странам. Обязательство правительства Китая является примером таких международных усилий, которые необходимы для интенсификации мероприятий в плане ответных мер и для укрепления национального потенциала.

За дополнительной информацией обращайтесь:

Fadéla Chaib
Пресс-секретарь ВОЗ
Teл.: +41 22 791 32 28
Moбильный тел.: +41 79 475 55 56
Эл. почта: [email protected]

Tarik Jasarevic
Пресс-секретарь ВОЗ
Teл.: +41 22 791 50 99
Moбильный тел.: +41 79 367 62 14
Эл. почта: [email protected]

Конференция, посвященная 190-летию тюремной медицины, собрала вместе медиков и правозащитников.

Конференция собрала руководителей медсанчастей ФСИН России, представителей федеральных ведомств, среди которых оказались и пара-тройка правозащитников,  в том чисмле я и Ева Меркачева.

Заместитель директора ФСИН России генерал-лейтенант В.А.Максименко отметил, что нельзя затягивать подготовку документов к освобождению по болезни. Общая смертность в учреждениях УИС снизилась на 6 %, в т.ч. от  ВИЧ- на 30 %.
Началось приобретение передвижных маммографов.
Максименко отметил, что медицинское управление  ФСИН  является главным в системе, так как люди, попавшие в учреждения  УИС,  должны вернуться домой живыми и здоровыми.

Заместитель Министра здравоохранения Елена Бойко отметила успехи пенитенциарной медицины, вклад в снижение заболеваемости от инфекционных заболеваний.
Она вручила грамоту Министерства генералу Приклонскому  А.П. и медаль Министерства В.А. Максименко
Ранее Бойко возглавляла в Минздраве Департамент  по внедрению в работу медучреждений цифровых технологий.  

Начальник УОМСО ФСИН  генерал А.П. Приклонский рассказал об успехах и проблемах, с которыми в последние годы столкнулась пенитенциарная медицина. Он коснулся штата пенитенциарного медперсонала. Аттестованных мед работников в них работает более 6 тыс. чел., вольнонаемных – более 18 тыс. Однако в Москве и других регионах с высокими доходами населения по-прежнему  уровень зарплаты аттестованных врачей отстает от зарплаты их коллег в территориальных медучреждениях.
Издана дорожная карта по оказанию онкологической помощи.
За 5 лет показатель общей смертности сократился на 23 %,  в т.ч. от туберкулеза – в 7 раз.

А.С.Кононец, который руководил тюремной медициной России 20 лет назад, рассказал о том, что в 2006 год открылся факультет пенитенциарной медицины, а с 2015 года будущие пенитенциарные медики готовятся уже в 30 регионах. Сейчас старшие из них обучаются уже на 4 курсе, и вскоре придут на службу в УИС по распределению.

Я в своем выступлении передал приветствие от главы СПЧ М.А. Федотова.
Среди важнейших достижений пенитенциарной медицины я отметил:
– последовательное снижение смертности среди заключенных в течение 5 лет;
– охват антиретровирусной терапией 48 % ВИЧ-инфицированных;
– создание палат паллиативной терапии;
– организация ухода за тяжело больными и инвалидами;
– обеспечение в большинстве учреждений круглосуточного дежурства фельдшеров.
– введение в штат клинических психологов;
– недопущение последние 4 года массовых перебоев с лекарствами.
Очень важным является сотрудничество медсанчастей ФСИН и Общественных наблюдательных комиссий.          
Я коснулся пожеланий, которые есть к пенитенциарной медицине у правозащитников в целом и СПЧ, в частности:
– активное использование медиками СИЗО, ИК и КП Стамбульского протокола, направленного на выявление случаев пыток и жестокого обращения;
– использование регионами опыта Московской МСЧ-50 по созданию кабинетов телемедицины;
– диспансеризация лиц, находящихся в учреждениях УИС;
– получение выписки из медицинских документов заключенными;
– контроль за знакомством инвалидов со своей ИПРА и содержанием  ИПРА;
– активнее использовать такой механизм поддержки больных осужденных, как продовольственная посылка по медицинским показаниям;
– внести изменение в приказ ФСИН России № 696 от 2016 года в части диетического питания при заболеваниях, требующих особого питания;
– более активное выявление среди сужденных, допускающих нарушения, тех, кто делает это под влиянием психического расстройств;
– повышение % инвалидов, обеспеченных техническими средствами реабилитации.
– более активную роль мед работников в выявлении заболеваний, препятствующих направлению в ШИЗО и ПКТ тяжело больных осужденных;
Я также предложил:
– ввести книгу жалоб и предложений для оценки пациентами своевременности и качества полученной медицинсой помощи;
– изменить соотношение между зубопломбированием и удалением зубов при оказании стоматологической помощи.
Посетив за последний год учреждения ФСИН Москвы, Спб, Красноярского края, Новосибирской области, Башкортостана, мы убедились в том, что пенитенциарной медициной достигнуты большие успехи.        

Ева Меркачева отметила положительные изменения в пенитенциарной медицине. Так,  если в 2011 году Михаил Федотов охарактеризовал тюремную медицину, как издевательство над людьми, то сейчас ситуация стала намного лучше и тысячи людей могут быть благодарны тюремным медикам за спасение своих жизней и здоровья.

В конце первого дня официальной части мероприятия состоялось награждение грамотами, медалями, почетными и памятными знаками. На основании приказа ФСИН России № 248 от 3 апреля 2019 года памятный знак «Медицинская служба уголовно-исполнительной системы» был вручен и мне.     

Дорожная карта NIH для медицинских исследований

Дорожная карта Национальных институтов здравоохранения (NIH) для медицинских исследований представляет собой набор далеко идущих инициатив, направленных на преобразование национального потенциала медицинских исследований и улучшение претворения исследований в жизнь. Как описано ниже, «Дорожная карта» состоит из трех основных тем: новые пути к открытиям, исследовательские группы будущего и реинжиниринг предприятия клинических исследований.

Новые пути к открытиям

Следующие инициативы в рамках этой темы направлены на улучшение понимания сложных биологических систем и разработку инструментов, которые будут способствовать развитию биомедицинских исследований.

Строительные блоки, биологические пути и сети

Предпринимаются усилия по разработке новых технологий, которые помогут исследователям изучать биологические пути и сети, облегчающие связь между генами, молекулами и клетками. Одним из центральных компонентов этих сетей является набор белков, кодируемых генами организма (т. е. протеом). Разрабатываются инструменты, которые позволят исследователям в режиме реального времени определять количество, расположение, физиологические эффекты и взаимодействия большого количества отдельных белков в одной клетке.

Еще одним направлением этой инициативы является предоставление исследователям новых аналитических инструментов для лучшего понимания метаболических компонентов и сетей внутри клеток. Например, новые технологии могут помочь исследователям измерять локальные концентрации углеводов, липидов, аминокислот и других метаболитов в одной клетке или даже в определенной части одной клетки. Конкретные области исследований включают подходы, которые касаются широко колеблющегося диапазона концентраций метаболитов и сложности смесей метаболитов, огромного количества неидентифицированных соединений, присутствующих в отдельных образцах, и динамического характера всего набора метаболитов клетки. Этот тип исчерпывающей информации может проложить путь к разработке более совершенных методов обнаружения метаболических различий между нормальными и больными клетками.

Молекулярные библиотеки и визуализация

Небольшие молекулы, часто с молекулярной массой 500 или ниже, важны для исследователей, изучающих молекулярные и клеточные функции. Такие молекулы ценны для лечения болезней, и большинство лекарств, продаваемых сегодня, относятся к этому классу. Благодаря библиотекам малых молекул биомедицинские исследователи в государственном секторе могут получить доступ к крупномасштабному скринингу, необходимому для идентификации малых молекул, которые можно использовать в качестве химических зондов для генов, клеток, метаболических и биохимических путей.Это приведет к новым способам изучения функций генов и сигнальных путей в норме и при болезнях.

Компонент визуализации этой инициативы направлен на визуализацию молекул или молекулярных событий в биологических системах, которые охватывают масштаб от отдельных клеток до целых организмов. В конечном счете, эти усилия могут обеспечить персонализированные профили функций клеток и тканей, что может привести к более индивидуализированным подходам к диагностике и лечению заболеваний.

Структурная биология

Эта работа направлена ​​на картирование молекулярных форм белков в организме.Это включает в себя разработку быстрых, эффективных и надежных методов получения образцов белка, которые исследователи могут использовать для определения трехмерной структуры белка. Новые усилия превращают то, что в настоящее время требует много времени, в упорядоченную рутину, помогая исследователям прояснить роль формы белка в здоровье и болезни.

Биоинформатика и вычислительная биология

Эти инициативы направлены на создание национальной системы разработки программного обеспечения для оценки, объединения и визуализации больших объемов данных, собранных в ходе биомедицинских исследований.С помощью компьютерной сетки биологи, химики, физики, компьютерщики и врачи в любой точке страны смогут обмениваться данными и анализировать их, используя общий набор программных средств.

Наномедицина

Ответвление нанотехнологии, наномедицина относится к высокоспецифичному медицинскому вмешательству на молекулярном уровне для лечения болезней или восстановления поврежденных тканей, таких как кости, мышцы или нервы. Инициатива «Дорожная карта наномедицины» призывает к созданию центров развития наномедицины, которые сосредоточены на сборе информации о структурах, процессах и сетях внутри клеток.Исследователи будут использовать эту информацию для разработки инструментов для обнаружения и исправления биологических дефектов в нездоровых клетках.

Проект «Микробиом человека»

Мало что известно о сообществах микробных клеток, населяющих здоровые человеческие тела. Проект микробиома человека направлен на изучение этих клеток и их роли в здоровье и болезнях человека. Новые технологии секвенирования ДНК создали область исследований, называемую метагеномикой, которая позволяет всесторонне изучать микробные сообщества, даже те, которые состоят из организмов, которые нельзя культивировать экспериментально. Вместо изучения генома отдельного бактериального штамма, выращенного в лаборатории, метагеномный подход позволяет анализировать генетический материал, полученный из полных микробных сообществ, собранных в естественных условиях. В проекте микробиома человека этот метод дополнит генетический анализ известных изолированных штаммов, предоставляя беспрецедентную информацию о сложности микробных сообществ человека.

Эпигеномика

Эпигенетика включает изучение изменений в регуляции активности и экспрессии генов, которые не зависят от последовательности генов.Эпигеномика — это глобальный анализ эпигенетических изменений во всем геноме. Эпигеномная программа NIH Roadmap основана на гипотезе о том, что истоки здоровья и предрасположенности к болезням частично являются результатом эпигенетической регуляции генетического плана. В частности, эта гипотеза предполагает, что эпигенетические механизмы, контролирующие дифференцировку стволовых клеток и формирование органов, способствуют биологическому ответу на эндогенные и экзогенные формы стимулов, которые приводят к заболеванию. Программа эпигеномики направлена ​​на разработку комплексных справочных карт эпигенома и новых технологий для комплексного эпигеномного анализа.

Исследовательские группы будущего

Следующие инициативы в рамках этой темы призваны побудить ученых и научные учреждения тестировать различные модели проведения исследований.

Исследования с высоким уровнем риска

Программа Премии директора NIH Pioneer Award предназначена для поддержки отдельных исследователей с новаторскими подходами к основным задачам биомедицинских исследований.

Междисциплинарные исследования

Будет учрежден ряд наград, чтобы облегчить ученым проведение междисциплинарных исследований. Другие инициативы предназначены для изменения политики и процедур NIH. Например, вместо того, чтобы признавать только одного главного исследователя (PI) для каждой награды, NIH движется к признанию нескольких PI для каждой награды.

Государственно-частное партнерство

Инициативы продвигают и облегчают партнерские отношения между исследователями в академических кругах, правительстве и частном секторе.

Реинжиниринг клинического исследовательского предприятия

Следующие инициативы в рамках этой темы имеют центральное значение для более быстрого внедрения результатов исследований в клинические условия.

Сети клинических исследований

Эта инициатива направлена ​​на улучшение и расширение существующих сетей данных клинических исследований и стандартизацию отчетности по данным для улучшения работы сети. Другая цель состоит в том, чтобы определить возможность создания Национальной электронной сети клинических испытаний/исследований (NECTAR), которая обеспечит информационную инфраструктуру, которая послужит основой для взаимосвязанных и функционально совместимых исследовательских сетей.

Оценка клинических исходов

Эта инициатива направлена ​​на разработку новых технологий для улучшения оценки сообщаемых пациентами клинических исходов, таких как усталость, боль и изменения настроения.

Подготовка специалистов по клиническим исследованиям

Усилия в рамках этой инициативы направлены на расширение и укрепление кадров, занимающихся клиническими исследованиями, путем поддержки развития карьеры клинических исследователей, увеличения числа клинических исследователей, диверсификации условий, в которых проводятся клинические исследования, и проведения клинических исследований. подготовка студентов-медиков и стоматологов.

Анализ и координация политики клинических исследований

Эти инициативы направлены на решение проблем, с которыми сталкиваются клинические исследователи при выполнении многочисленных требований различных регулирующих и директивных органов. NIH работает над стандартизацией требований к отчетности и оптимизацией политик.

Трансляционные исследования

Инициативы этой группы предназначены для ускорения внедрения результатов исследований в уход за пациентами, частично путем содействия развитию новой дисциплины клинической и трансляционной науки, которая будет шире и глубже, чем нынешние отдельные области трансляционных исследований. исследования и клинические исследования.

См. http://nihroadmap.nih.gov/ для получения дополнительной информации об инициативах NIH Roadmap.

определение дорожной карты в Медицинском словаре

Дорожная карта Premed для приема в медицинские школы

В Med School Insiders мы знаем о приеме в медицинские школы.Мы не просто стали врачами, но и стали лучшими в своем классе, зарабатывая стипендии на полное обучение в лучших медицинских школах, успешно сдавая экзамены MCAT и USMLE и занимая должности в высококонкурентных ординаторах.

Путь поступления в медицинскую школу труден, со сложностями, нюансами и препятствиями, которые могут остановить даже самых амбициозных студентов-медиков.

Мы на протяжении многих лет наставляем и консультируем будущих врачей, как и вы. К сожалению, в Интернете много дезинформации, будь то SDN, Reddit, YouTube или Instagram.В результате к нам приходит бесчисленное количество премедиков, готовых подать заявку, но многие из них совершают схожие ошибки – слабые рекомендательные письма, слишком мало клинического опыта, глубокая дыра со средним баллом, из которой трудно вылезти, просто чтобы назвать немного.

Эти дорогостоящие ошибки приводят к одному из двух путей: 

(1) Их заявление существенно слабее, и они либо вообще не поступают в медицинские вузы, либо их допускают на программу, которая не является их лучшей выбор.

(2) Они должны отложить подачу заявления на 1 или 2 года, чтобы устранить недостатки в своем заявлении.

Мы знали, что должен быть лучший способ научить премедиков принципам, которые делают приложения привлекательными. И нет, дело не только в высоком среднем балле или MCAT. На самом деле, мы подробно объясним, почему некоторые студенты со средним баллом 3,95 и 520 на MCAT иногда становятся повторными кандидатами, и как вы можете получить место в медицинской школе с гораздо меньшими баллами.

Все сводится к тому, что знает, что ценят приемные комиссии медицинских вузов, и использует эту информацию в своих интересах.

С курсом Premed Roadmap для приема в медицинскую школу у вас будет 10 0+ лет опыта работы в приемной комиссии медицинской школы на вашей стороне. Наша команда лучших врачей собралась вместе и создала этот курс с нуля, чтобы предоставить вам исчерпывающий универсальный ресурс, чтобы ответить на все ваши вопросы о поступлении в медицинские учреждения и медицинские школы.

Мы не просто стали врачами — мы преуспели в этом. Мы добились нескольких поступлений в лучшие медицинские школы, некоторые даже боролись за нас и поощряли ($) нас поступать в их школу! Мы покажем, как вы тоже можете быть высококонкурентным абитуриентом медицинской школы , используя те же стратегии.

Это просто работает. Мы дополнили курс высокоэффективной, проверенной и надежной методологией , которая сработала для нас и тысяч премедицинских препаратов. Это курс, который мы хотели бы иметь, когда учились в колледже.

Готовы ли вы оптимизировать свой путь, стать врачом и взять под контроль свое будущее?

Описание специальностей — Дорожная карта проживания

По каждой из 20 специальностей предоставляется следующая информация:

Описание специальности: В этом разделе представлен краткий обзор типа учреждения клинической практики, контингента пациентов и регулярной клинической деятельности многих специалистов в этой области (ССЫЛКИ: Справочник по высшему медицинскому образованию)

Продолжительность обучения, необходимая для получения права на комиссию: В этом разделе представлена ​​информация о минимальной продолжительности обучения, необходимой резиденту для получения права на сертификацию по специальности. (ССЫЛКА: Справочник по высшему медицинскому образованию)

Обновленные результаты подбора для студентов старших курсов медицинских факультетов США, подавших заявки на обучение в резидентуре по специальности: В этом разделе представлена ​​информация о количестве предлагаемых категорийных/продвинутых должностей, проценте выпускников США, подходящих по специальности, и количестве непревзойденного заявителя (или непревзойденных пожилых людей США). (ССЫЛКИ: Данные Национальной программы подбора резидентов, Программа подбора офтальмологии и Программа подбора урологии.)

ВАЖНО: Полный обзор с подробной информацией об этих программах сопоставления и результатах процесса сопоставления доступен на веб-сайтах каждой из независимых программ сопоставления (веб-ссылки представлены в разделе каждой специальности), а также в журнале Academic Medicine. , который ежегодно публикует сводку NRMP Match вскоре после завершения процесса сопоставления.

Обучение по узкой специальности/стипендии: В этом разделе представлена ​​информация о программах обучения по узкой специальности/повышению квалификации, доступных для врачей, прошедших обучение в ординатуре по специальности.(ССЫЛКА: Справочник по высшему медицинскому образованию)

Информация о карьере: Информация о врачебных кадрах FREIDA по каждой специальности включает статистическую информацию о количестве должностей/программ для обучения в резидентуре, рабочих часах резидента, рабочей среде резидента и компенсации, статусе занятости после завершения программы и рабочей среде для тех, кто начинает практику в каждой специальности.

границ | Следующее поколение поддержки принятия медицинских решений: дорожная карта к прозрачным экспертным компаньонам

1.Введение

Хотя современные подходы к машинному обучению значительно улучшились с точки зрения качества (точности прогнозирования) и во многих случаях способны даже превзойти возможности человека, в настоящее время им не хватает возможности обеспечить явное декларативное представление знаний и, следовательно, скрыть лежащую в основе объяснительную структуру (Holzinger et al. ., 2017). Из-за этой неспособности современные подходы ML часто приводят к подходам черного ящика — моделям и методам, внутренний подход которых остается неизвестным и которые просто связывают наблюдаемую входную и выходную информацию, не позволяя ни понять, ни объяснить, как были получены результаты. см. рисунок 1).Именно отсутствие прозрачности затрудняет для пользователей методов ML понимание рекомендаций и решений, что в основном представляет собой неотъемлемый риск (Sliwinski et al., 2017).

Рисунок 1 . Представьте подходы ML как подходы черного ящика.

В юридическом смысле возникает вопрос о правовом обеспечении и обеспечении ответственности. Поскольку в мае 2018 года вступил в силу Европейский общий регламент по защите данных (GDPR и ISO/IEC 27001), отношения между ИИ и применимым законодательством содержат огромный потенциал для прояснения (Holzinger et al., 2017). Например, возникает вопрос об ответственности, особенно если третьим лицам причинен ущерб, вызванный рекомендациями или решениями, принятыми подходами ОД. Согласно последней судебной практике, архитекторы программного обеспечения, разработчики программного обеспечения, а также пользователи несут ответственность за свои действия и артефакты только в том случае, если определенное поведение системы было бы предсказуемым (Burri, 2016).

Большинство современных архитектур, как показано на рис. 1, часто приводят к нескольким проблемам. С одной стороны, сама система внутренних правил часто не поддается интерпретации человеком.С другой стороны, результаты МО с точки зрения классификации, регрессии или результатов политики непонятны и не поддаются объяснению из-за предвзятости и неопределенности, вносимых используемой моделью, данными или другими факторами. Кроме того, люди-эксперты испытывают трудности с интеграцией своих экспертных знаний в процесс обучения. Все только что упомянутые критические замечания привели к неуклонно растущей важности областей исследований «Объяснимый искусственный интеллект» (xAI), «Интерпретируемое машинное обучение» (iML) и «Интерактивное машинное обучение», которые мы суммируем и называем «Понятный искусственный интеллект» (cAI). Они в первую очередь направлены на разработку подходов, которые в дополнение к точной точности прогнозирования соответствуют таким понятиям, как интерпретируемость, объяснимость, уверенность, включая стабильность и надежность, причинно-следственная связь, интерактивность, ответственность и безопасность ответственности в юридическом смысле, социально-технические аспекты и аспекты предметной области, осведомленность о предвзятости как а также работа с неопределенностью. Намерение cAI можно охарактеризовать либо достижением интерпретируемости моделей, либо обеспечением понятности, объяснения и, следовательно, интерпретируемости, по крайней мере, самих результатов (см. рис. 2).Мы разрабатываем и представляем нашу структуру CAI в отношении применения ML для медицинской диагностики. Поскольку медицинская диагностика включает в себя сложный процесс, относящийся ко многим последующим медицинским дисциплинам с большим участием человека, диагностические решения должны приниматься не только точно и точно, но также понятным и заслуживающим доверия образом. Сверточные нейронные сети можно использовать для демонстрации текущего компромисса между производительностью машинного обучения и интерпретируемостью. Такие подходы к глубокому обучению, часто используемые для медицинской диагностики на основе изображений, хорошо работают с точки зрения точности прогнозирования, но модели, а также их решения не могут быть легко интерпретированы без дополнительных исследований.

Рисунок 2 . Будущие понятные подходы к машинному обучению (т. е. подходы серого ящика).

2. Метод/схема

Чтобы устранить упомянутые выше недостатки, мы сначала предоставим обзор когнитивных концепций, которые используются в ходе этой статьи, чтобы различать различные направления исследований (см. рис. 3). Когнитивную концепцию интерпретации можно рассматривать как ключевую концепцию, различные формы которой можно использовать в качестве критерия для дифференциации iML и xAI.С философской и герменевтической точки зрения понимание и объяснение являются взаимосвязанными терминами и иногда рассматриваются как симметричные когнитивные концепции (Schurz, 2002). Таким образом, распознавание и понимание проблемы приводит к ее объяснению, а достижение состояния понимания приходит с созданием объяснений. Таким образом, понятие понимания можно рассматривать как необходимое и достаточное условие для объяснения, а объяснение представляет собой достаточное условие для понимания.Оба понятия, понимание и объяснение, в сочетании составляют необходимое условие интерпретации. iML и xAI различаются по объяснению, а также по характеру желаемой интерпретируемости, которую авторы из Adadi and Berrada (2018) называют совком интерпретируемости .

Рисунок 3 . Вывод cAI из iML и xAI с учетом лежащих в основе когнитивных концепций.

Задача сделать классификации, регрессии или производные политики подхода ML интерпретируемыми содержит подзадачи, такие как понимание и объяснение, как показано на рисунке 3. Понимание , что означает распознавание корреляций (контекста) интеллектуальным способом, можно рассматривать как мост между человеческим распознаванием и решением и, следовательно, является основой объяснения. Люди действительно хорошо понимают контекст и основываясь на этом обобщении наблюдений, в то время как ИИ еще предстоит пройти долгий путь, особенно с точки зрения контекстуализации. На основе понимания контекста задача объяснения, кроме того, включает обоснование наблюдаемых фактов путем установления понятных человеку логических и причинно-следственных связей (Holzinger, 2018).Мы проводим различие между объяснимыми и объяснимыми атрибутами в контексте ИИ, утверждая, что объяснение фактов является подзадачей задачи объяснения, а это означает, что простого объяснения фактов недостаточно для понимания людьми. С точки зрения нашей терминологии cAI (см. рис. 3), модели и результаты машинного обучения должны быть объяснимыми, чтобы быть прозрачными для пользователей, но они также должны быть объяснимыми, чтобы быть понятными. Поэтому мы говорим об объяснимости как о свойстве, которое составляет основу объяснимости и утверждает, что что-то потенциально может (!) быть объяснено, но не обязательно соответствует конкретному объяснению определенного набора фактов в терминах рациональности. Фокус объяснения может быть дифференцирован в отношении объяснения рассуждения, модели или доказательства результата (Биран и Коттон, 2017). Однако во всех случаях цель задачи на объяснение можно рассматривать как обновление ментальных моделей людей (Chakraborti et al., 2018), где хорошие объяснения должны относиться к потенциально неявному человеческому вопросу, а также к ментальная модель объясняемого (Miller, 2019).

Объяснения могут обеспечить ценную основу для обеспечения прозрачности и понятности в отношении системных решений и, следовательно, могут привести к повышению доверия пользователей ML (Pu et al., 2011; Прал и Свол, 2017 г.; Миллер, 2019). Высокий уровень первоначального доверия к системам ОД, который часто быстро снижается в случае ошибочных или неожиданных реакций (Madhavan and Wiegmann, 2007), а также возможности взаимодействия и влияния могут быть критерием приемлемости для использования таких систем (Schaefer et al. др., 2016). Как показано на рисунке 3, мы различаем две разные формы когнитивной концепции интерпретации, а именно iML и xAI, которые различаются по типу понимания, а также по способам раскрытия объяснений. По нашему мнению, iML фокусируется на использовании или создании глобальной интерпретируемости, обеспечивая внутреннее — ex ante — понимание всей логики соответствующих моделей (Адади и Беррада, 2018). Таким образом, глобальные объяснения относятся к внутреннему функционированию моделей, то есть к целому и общему поведению в терминах целостных рассуждений, описывающих КАК системы работают внутри. Следовательно, цель этого типа интерпретируемости состоит в том, чтобы информировать о глобальных эффектах, давая некоторое представление о реальных понятиях, которые система изучила.Таким образом, экспланандум — это сама модель ML, в которой мы рассматриваем 90 172 правила рассуждения 90 173 как эксплананы, дающие информацию о том, как все различные возможные результаты связаны с входными данными. С другой стороны, мы видим, что xAI больше внимания уделяет обеспечению локальной интерпретируемости, предоставляя ex post понимание конкретного поведения модели. Локальные объяснения отдельных решений или отдельных прогнозов стремятся сделать корреляции ввода-вывода понятными для пользователя без необходимости знания внутренней структуры модели (Адади и Беррада, 2018). Таким образом, смысл этого типа интерпретируемости состоит в том, чтобы обосновать, ПОЧЕМУ модель произвела свой результат именно так, как она это сделала. Таким образом, экспланандум — это отдельный результат машинного обучения или группа результатов, в которых мы видим встречаемость, важность и корреляции входных признаков как эксплананы, дающие информацию о логических и причинно-следственных связях входных и выходных данных. Два измерения, охватываемые cAI, в нашем понимании интерпретируемости, а именно прозрачность и понятность (см. рис. 3), могут быть нацелены на разные требования разных пользователей.Поэтому мы называем прозрачность свойством, особенно важным для экспертов в предметной области или ОД, которые не только заинтересованы в том, почему был сделан определенный результат, но и пытаются исследовать природу и характеристики лежащих в основе концепций и их контекста. Напротив, мы называем понятность требованием, предъявляемым, в частности, людьми, на которых непосредственно влияют результаты и соответствующие последствия, пытающиеся понять, почему было принято конкретное решение. Мы определяем общую цель cAI как разработку прозрачных и понятных систем ИИ, которым люди могут доверять, а также улучшение «совместной производительности» систем как с помощью глобальной интерпретируемости (iML), так и с помощью локальной интерпретируемости (xAI).В зависимости от предметной области и решаемой проблемы машинного обучения для достижения cAI потребуется адаптивная комбинация подходов «белого ящика» и подходов «черного ящика» с подключенными генераторами объяснений и интерфейсами (подход «серого ящика»).

Рисунок 4 иллюстрирует наше предложение относительно возможной схемы перехода, которая включает междисциплинарные концепции, подходы и меры для достижения CAI и, следовательно, следующего уровня прозрачных и интерактивных помощников для поддержки принятия решений. Как уже говорилось, в современных подходах к машинному обучению отсутствуют концептуальные свойства, такие как интерпретируемость модели и результатов.Кроме того, отсутствие воспроизводимости прогнозов машинного обучения и соответствующих объяснений накладывает требования на концепцию, называемую достоверность , которую авторы из Arrieta et al. (2020) называют обобщением надежности и стабильности подходов ML. Кроме того, из-за отсутствия интерпретируемости современные системы машинного обучения часто не предоставляют никакой возможности для человеческого взаимодействия, поскольку люди не могут понять правила, которым научилась система. Таким образом, любое исправление ошибочных правил или любое включение предметно-ориентированных знаний с помощью экспертов-людей (т.д., врачи) невозможно. Кроме того, критические замечания, упомянутые до сих пор, также открывают огромные возможности для прояснения отношений между ИИ и применимым законодательством. Юридическая безопасность и защита ответственности будут играть решающую роль в ближайшем будущем. Например, в медицинской сфере возникает вопрос об ответственности, особенно если пациенту причинен ущерб, вызванный лечением врача, действовавшего по рекомендации подхода ОД. Кроме того, мы рассматриваем социально-технические и предметные аспекты в качестве других важных концептуальных свойств, поскольку в большинстве случаев конвейеры ML необходимо адаптировать к соответствующему контексту решаемой проблемы. Точно так же методы объяснения и интерпретации должны соответствовать индивидуальной сфере и социальным, а также этическим требованиям. Причинность — еще одна необходимая концепция (Pearl, 2009), которая относится к тому, чтобы сделать основные механизмы прозрачными за пределами вычисления корреляций (Holzinger et al., 2019) для получения 90 172 истинных 90 173 причин, которые приводят к определенному результату. Следовательно, причинность зависит от доступной интерпретируемости и объяснимости моделей. Это требование в качестве предварительного условия причинности можно назвать причинностью, и в настоящее время оно изучается в контексте оценки объяснения, особенно в медицинской области (Holzinger et al., 2019). По аналогии с нашим различием между объяснимостью и объяснимостью, мы полностью согласны с авторами из Holzinger et al. (2019), что результаты, полученные с помощью объяснимых и интерпретируемых моделей, должны быть не только пригодными для использования, но и полезными для человека. В этом отношении они обращаются к гипотетической дедуктивной модели Карла Поппера, чтобы вывести факты из законов и условий дедуктивным образом посредством каузальных объяснений. Осведомленность о предвзятости в качестве дополнительной концепции фокусируется на предотвращении предубеждений, связанных с ML, в прогностическом моделировании, таких как предвзятость выборки, предвзятость исключения, предвзятость меток, предвзятость в истинности основания, а также другие более общие предубеждения, такие как предвзятость наблюдателя, предвзятость предубеждения и предвзятость измерения.Решением может стать использование таких методов, как FairML, который представляет собой набор инструментов для диагностики предвзятости в прогнозном моделировании (Sgaard et al., 2014; Adebayo, 2016). Неопределенность — еще одно понятие, которое следует учитывать. В машинном обучении различают два типа неопределенности (Kendall and Gal, 2017). Неопределенность, возникающая из-за шума в наблюдениях, означающего, например, отсутствие измерений, нерелевантные данные или неправильно маркированные примеры, называется алеаторической неопределенностью. Другой тип неопределенности называется эпистемической неопределенностью.Это относится к неопределенности, которая является результатом модели. В частности, при классификации изображений можно применять и расширять такие подходы, как байесовское глубокое обучение, для обработки и объяснения неопределенностей.

Рисунок 4 . CAI переходная структура, использующая междисциплинарные концепции, подходы и меры для достижения следующего уровня ИИ.

Для включения таких концептуальных свойств необходима интеграция концепций, подходов, методов и показателей из различных дисциплин, как показано на рисунке 4.Мы ссылаемся на предложение Агентства перспективных исследовательских проектов Министерства обороны США (DARPA) и расширяем его, чтобы уточнить акцент на ИИ, показав соответствующие исследовательские дисциплины и его связь с ИИ (Ганнинг, 2016). В этом контексте акцент cAI определяется как перекрытие дисциплин AI, взаимодействия человека с компьютером (HCI) и объяснения конечного пользователя с его междисциплинарными методами и подходами, такими как визуальная аналитика, интерактивный ML и диалоговые системы. Кроме того, доменные требования, юридические и этические аспекты участвуют и способствуют общему пониманию CAI.

3. Основы перехода к ИИ в применении к медицине

Актуальность CAI становится очевидной, когда ОД применяется в медицине. Как правило, медицинские субдисциплины полагаются на высокую чувствительность и специфичность диагностических решений. Чтобы выбрать правильную терапию и избежать задержек в лечении, вызванных первоначальным ошибочным диагнозом, нежелательны ни ложные тревоги, ни пропуски. Несколько недавних исследований показывают, что ML может помочь повысить точность диагностики (Weng et al., 2017; Haenssle et al., 2018; Ху и др., 2019). Таким образом, применение машинного обучения может спасти жизни и ресурсы. Высокопроизводительные подходы, такие как сверточные нейронные сети, особенно могут быть полезны для дисциплин, основанных на обработке и классификации изображений, таких как гистология (Buetti-Dinh et al., 2019). Однако, поскольку эти подходы остаются «черным ящиком», медицинские эксперты не могут понять, почему была выполнена определенная классификация, и поэтому сверточные нейронные сети не следует применять в критически важных задачах, если их прогнозы не будут понятными и надежными. Несмотря на то, что подход ML демонстрирует высокую точность классификации, он все же может быть необъективным (Gianfrancesco et al., 2018). В следующих разделах мы представляем краеугольные камни, а также некоторые конкретные подходы к улучшению понимания экспертных компаньонов для медицинской области.

3.1. Генерация объяснений и визуальная аналитика

Методы визуальной аналитики, которые в нашей переходной структуре с рис. 4 расположены на пересечении ИИ и объяснения конечного пользователя, могут использоваться для предоставления визуализаций, которые помогают людям интерпретировать модели или их результаты.Следовательно, понятные для человека объяснения для конечного пользователя должны быть построены на основе формальных объяснений с учетом и использованием знаний, полученных в результате психологических и философских исследований. Они, среди прочего, стремятся к созданию объяснений, понятных людям, и к эффективной коммуникации путем передачи причинно-следственной истории объясняемых событий (Lewis, 1986). Как следствие, большинство современных генераторов объяснений пытаются использовать методы визуализации, чтобы генерировать объяснения, которые имеют отношение как к неявным вопросам объясняемых, так и к их ментальным моделям (Miller, 2019).Известный метод xAI, который позволяет проводить локальные, не зависящие от модели и апостериорные интерпретации путем локальной аппроксимации моделей черного ящика в окрестности интересующих прогнозов, был предложен Ribeiro et al. (2016). LIME использует модель локального линейного объяснения и, таким образом, может быть охарактеризована как метод аддитивной атрибуции признаков (Lundberg and Lee, 2017). Учитывая исходное представление x ϵ ℝ ^d экземпляра, который необходимо объяснить, x ′ ϵ {0, 1} ^{d ′} обозначает двоичный вектор для его интерпретируемого входного представления.Кроме того, пусть объяснение представлено в виде модели g ϵ G , где G — класс потенциально интерпретируемых моделей, таких как линейные модели или деревья решений. Кроме того, пусть Ω( g ) будет мерой сложности объяснения g ϵ G , например количество ненулевых весов линейной модели. Исходная модель, для которой мы ищем объяснения, обозначается как f : ℝ ^d → ℝ.Используется мера π _x ( z ), определяющая местоположение вокруг x, которая отражает близость между экземпляром z и x . Конечная цель LIME состоит в том, чтобы минимизировать меру L(f,g,πx(z)), которая оценивает, насколько неверно g при аппроксимации f в месте, определяемом π _x ( z ) . Стремясь как к интерпретируемости, так и к локальной точности, объяснение LIME получается путем минимизации L(f,g,πx(z)), а также сохранения Ω( g ) достаточно низким, чтобы быть интерпретируемой моделью:

Чтобы быть независимым от модели объяснителем, локальное поведение f должно быть изучено без каких-либо предположений о f . Это достигается путем аппроксимации L(f,g,πx(z)), взятия случайных выборок, взвешенных как π _x ( z ). Вытягивая ненулевые элементы x ′ равномерно случайным образом, получается возмущенная выборка z ′ ϵ {0, 1} ^{d ′} . Восстановление z из z ′ и применение f ( z ) затем дает метку, которая используется в качестве метки для модели объяснения. Последний шаг состоит в оптимизации уравнения (1) с использованием набора данных Z, который включает все возмущенные выборки с соответствующими метками.На рисунке 5 показан примерный процесс объяснения LIME в медицинской области, который объясняет, почему пациент был классифицирован как больной гриппом, изображая признаки чихание и головная боль как положительный вклад в наличие гриппа, в то время как отсутствие усталости считалось в качестве доказательства против гриппа. Другие методы генерирования объяснений, особенно для конкретных прогнозов нейронных сетей, включают распространение релевантности по слоям (LRP), которое определяет свойства, имеющие ключевое значение для определенного прогноза, а также методы извлечения правил нейронных сетей, такие как Neurorule, Trepan и Nefclass (Beasens). и другие., 2003; Лапушкин, 2019). Все эти подходы объединяет то, что они либо предоставляют объяснения с точки зрения визуализации, показывая наиболее важные функции, относящиеся к одному прогнозу, либо предоставляя правила, которые представлены в виде таблицы решений. Например, Биндер и др. (2018) разработали подход к прогностическому изучению морфологических и молекулярных профилей опухолей. Помимо сосредоточения внимания исключительно на точности предсказания, авторы применили LRP для анализа нелинейных свойств обучающейся машины путем отображения результатов предсказания на тепловую карту, которая выявляет морфологические особенности изучаемых патологических свойств.Хегеле и др. (2019) проанализировали гистопатологические изображения и применили LRP для визуальной и количественной проверки признаков, используемых для прогнозирования, а также для обнаружения различных скрытых, но важных предубеждений с помощью теплового картирования.

Из таких объяснений и визуализаций эксперты могут получить ценные интерпретации, но даже для улучшения интерпретируемости, особенно для неспециалистов, может быть полезно включить другие модальности объяснения. Например, сочетание визуальных объяснений с объяснениями на естественном языке, а также обеспечение большей интерактивности между системами машинного обучения и пользователями может еще больше повысить доверие к системе.Кроме того, по нашему мнению, процесс передачи и представления сгенерированных объяснений должен быть организован таким образом, чтобы семантический уровень детализации, а также семантический контекст были согласованы между системой ML, системой объяснений и пользователем-человеком. Таким образом, наша переходная структура включает междисциплинарную, психологически мотивированную исследовательскую область, которая касается Объяснений для конечных пользователей . Психологическое понимание процесса создания и передачи объяснений может быть получено из объяснительного понимания (Keil, 2011).В соответствии с этим объяснения обнаруживают транзакционный характер и сообщают о понимании между людьми. Кроме того, по мере того как люди адаптируют позиции или способы интерпретации (Dennett, 1987), которые формируют объяснения, последние обнаруживают интерпретативную природу и требуют от людей выполнения умственных вычислений, чтобы понять объяснения. Таким образом, авторы Sloman et al. (1998) и Ан и соавт. (2000) называют цикличность, релевантность и особенно согласованность дополнительными важными параметрами, которые определяют систематическую оценку объяснений.Согласованность в области объяснений описывает тот факт, что люди предпочитают объясняющие признаки в рамках индукции, которые наиболее причинно взаимозависимы от других и, следовательно, связны. Кроме того, объяснения считаются уместными и информативными, когда они представлены людям на правильном уровне семантической детализации. По сути, высококачественные объяснения слипаются и представляют собой внутренне непротиворечивый пакет, элементы которого образуют взаимосвязанную, поддерживающую друг друга реляционную структуру (Gentner and Toupin, 1986; Thagard, 2000).

Многие современные системы объяснения, особенно основанные на возмущениях, обнаруживают некоторые существенные недостатки. Одним из них является тот факт, что они отбирают экземпляры вокруг экземпляра, что объясняется однородным случайным отбором образцов. При этом они игнорируют зависимость признаков при выборке из маргинального распределения (Molnar, 2019). Таким образом, существует высокая вероятность того, что последующие стратегии объяснения придают слишком большое значение маловероятным точкам данных и, следовательно, могут быть экстраполированы.В таком случае объяснения могут быть легко неверно истолкованы. Как следствие, контекст между функциями объяснения не учитывается, что приводит к объяснениям, в которых люди должны выполнять множество шагов умственных вычислений, чтобы правильно интерпретировать и понимать объяснения. Еще одна потенциальная проблема описана авторами (Alvarez-Melis and Jaakkola, 2018), а именно потенциальная нестабильность объяснений, проявляющаяся в больших различиях для объяснений двух близких точек данных.Из-за шага случайной выборки часто нарушается одно из необходимых понятий нашей переходной структуры, а именно доверие. Авторы из Arrieta et al. (2020) называют уверенность обобщением надежности и стабильности, которые сами по себе также мотивированы проблемой отсутствия воспроизводимости прогнозов ML, а также соответствующих объяснений. Наконец, отсутствие контекста между функциями объяснения может привести к отсутствию семантической интерактивности между системой ML и пользователями-людьми, поскольку люди думают и объясняют с помощью семантических связных концепций, с которыми системы объяснения часто не в состоянии справиться.

Поскольку LIME является представителем систем объяснения, основанных на возмущениях, и представляет собой современный уровень техники в рамках xAI для классификации изображений и текста (оба из них имеют большое значение в области медицины), мы предлагаем архитектуру для преодоления некоторых из недостатки, упомянутые выше, особенно для классификации текста в сочетании с LIME. Поэтому мы предлагаем интеграцию (а) алгоритма классификации ML, (б) системы объяснения, такой как LIME, а также (в) семантического подхода .В текстовой области последний представлен как подход к текстовому моделированию, в частности, подход к моделированию темы, такой как скрытое распределение Дирихле (LDA), которое фиксирует семантическую и контекстную информацию входной области. Целью этой интегрированной архитектуры (как показано на рис. 6) является обеспечение основы для последовательных и, следовательно, интерпретируемых человеком, контекстуальных объяснений и обеспечение понимания поведения классификатора с концептуальной точки зрения. Использование семантической и контекстуальной метаинформации входной области путем изучения интерпретируемых человеком скрытых тем с помощью LDA позволяет генератору локальных объяснений на основе возмущений, такому как LIME, выбирать из реалистичного локального распределения с помощью возмущений на основе тем.В результате получаются закодированные по теме объяснения, которые позволяют людям распознавать корреляции (контекст) и выполнять интерпретации более интуитивно, согласовывая закодированные семантические понятия со своей ментальной моделью. Другим интересным свойством комбинации системы объяснения в сочетании с семантическим подходом является ее семантическая вопрошающая способность . Когда дело доходит до того, доверять ли классификатору ML, потенциальные вопросы, на которые нужно ответить, могут быть такими: «Ведет ли себя классификатор так, как ожидают люди?» или «Насколько классификатор похож на человеческую интуицию». Семантически обогащенная архитектура позволяет людям создавать документы, которые раскрывают определенное семантическое содержание (представленное как смесь определенных тем и соответствующих слов), а также семантическую структуру. Представляя эти указанные пользователем документы классификатору и получая соответствующие классификации, пользователи-люди могут взаимодействовать с классификатором через систему пояснений посредством семантических запросов . На них ответит система классификации с пояснениями по темам, позволяющими пользователю интерпретировать их с точки зрения семантических концепций человека.

Рисунок 6 . Интеграция алгоритма классификации ML, системы объяснений, такой как Local Interpretable Model-agnostic Explanations (LIME), а также семантического подхода : Черные стрелки представляют классический способ создания и передачи объяснений в модели-независимом и основанном на возмущении способе. , а синие пунктирные стрелки показывают процесс объяснения, объединяющий семантический подход.

Применение такой архитектуры к области медицины может помочь улучшить и объяснить автоматическое распознавание медицинских понятий в (не)структурированном тексте (т.э., истории болезни), что является сложной задачей из-за широкого использования синонимов и нестандартных терминов в медицинских документах (Arbabi et al., 2019). По сути, лучшая воспроизводимость объяснений может быть достигнута за счет уменьшения случайности во время возмущения путем интеграции семантической выборки , которая также позволяет генерировать контекстуальные объяснения, которые, в свою очередь, могут интерпретироваться людьми более интуитивно.

3.2. Устные объяснения

Как описано в предыдущем подразделе, предоставление визуальных объяснений и семантики помогает повысить интерпретируемость непрозрачных классификаторов.Кроме того, объяснения на естественном языке представляют собой важную модальность объяснения, поскольку благодаря своей выразительности они лучше, чем визуализация, отражают сложные отношения (Finzel et al. , 2019; Rabold et al., 2019; Schmid and Finzel, 2020) и повышают понятность ( Магглтон и др., 2018).

В нашу структуру перехода (см. рис. 4) мы включаем словесные пояснения на пересечении пояснений для конечного пользователя и человеко-компьютерного взаимодействия. В следующих абзацах мы покажем, что естественный язык играет ключевую роль в повышении понятности результатов классификатора и что это важная модальность, обеспечивающая осмысленное взаимодействие между классификатором и медицинским экспертом.Медицинская диагностика часто основывается на визуальном осмотре данных на основе изображений или видео, таких как микроскопические изображения, кардиограммы или поведенческие данные из видео (Schmid and Finzel, 2020). Во многих случаях диагностические решения принимаются не только на основании простого появления или отсутствия симптомов и аномалий. Анализ изображений и видео часто принимает во внимание пространственную информацию и пространственные отношения между интересующими объектами. Визуальные объяснения ограничены представлением отношений.Визуализации, такие как тепловые карты и основные моменты на основе суперпикселей, ограничены представлением объединений информации, то есть (совместного) появления интересующих объектов. Хотя отрицание может быть закодировано с помощью цветового пространства (например, в тепловых картах на основе LRP, где выделение цветом, противоположным положительной релевантности, указывает на отсутствие какого-либо важного свойства), интерпретация и семантическое встраивание того, какое свойство отрицается по сравнению с свойства контрастирующих классов, остается задачей человека-эксперта.Следовательно, улучшение понимания с помощью визуальных объяснений ограничено, поскольку последние могут быть интерпретированы только в отношении позиций объектов и заданных сочетаний бликов, закодированных цветовым пространством. Им не хватает выражения более сложных отношений, таких как пространственные отношения между двумя или более объектами. Произвольные отношения и частные случаи реляционных понятий, например рекурсия, могут быть лучше представлены на естественном языке. Следовательно, вербальные объяснения лучше подходят для понимания причинно-следственных цепочек, лежащих в основе классификации и, следовательно, диагностических проблем.Это особенно важно, поскольку экспертные знания часто неявны, а сделать их явными для экспертов может быть сложно или даже невозможно. Поэтому особенно интересны системы, способные обучаться реляционным правилам, которые затем могут быть переведены в выражения на естественном языке для создания вербальных объяснений. Как показано, например, в Schmid and Finzel (2020), пространственные отношения учитываются при анализе микроскопических изображений, чтобы словесно объяснить классификацию глубины инвазии опухолей толстой кишки.В этом случае использования необходимо учитывать не только наличие тканей, но и сложные пространственные отношения между различными типами тканей. Например, если опухолевая ткань выросла за пределы мышечной ткани и уже проникает в жировую ткань, класс опухоли является более важным по сравнению с опухолью, которая находится в ткани слизистой оболочки (Wittekind, 2016). Как далее указано в Schmid and Finzel (2020), подходы ML должны быть в состоянии выявить, какие отношения приводят к определенной классификации.Кроме того, отношения должны быть понятны медицинским экспертам, и это может быть достигнуто с помощью объяснений на естественном языке. В своем проекте авторы используют индуктивное логическое программирование (ILP) для реализации понятного интерфейса объяснения для Transparent Medical Expert Companion , системы, которая объясняет результаты классификации классификаторов черного и белого ящиков и позволяет взаимодействовать с медицинским экспертом. . ILP — это подход машинного обучения, который производит выходные данные, которые можно преобразовать в словесные объяснения результатов классификации.В Transparent Medical Expert Companion микроскопические сканы классифицируются либо экспертами-людьми, либо сквозной системой машинного обучения «черный ящик». В данном примере (см. фиг. 7) целевым классом является опухоль класса pT3 . Сканирования, которые классифицируются как pT3 , являются положительными примерами, сканы с другой классификацией являются отрицательными. Обучение может быть реализовано с помощью стратегии «один против всех» или разделено на разные подзадачи, например, выделение одного целевого класса из наиболее похожих альтернативных классов.Систему ILP теперь можно использовать для изучения приведенных примеров. На рисунке 7 дана иллюстрация для одного выученного правила. Новое сканирование классифицируется как pT3 , если оно удовлетворяет всем компонентам правила. Чтобы преобразовать такие правила в словесные объяснения, можно использовать методы, аналогичные тем, которые используются в контексте экспертных систем (Schmid and Finzel, 2020).

Рисунок 7 . Обучающие примеры и изученные правила для гипотетической диагностической области рака толстой кишки (Schmid and Finzel, 2020).

Кроме того, эксперты могут по-прежнему предоставлять свои знания алгоритму, как показано на рисунке 8, где примерное пространственное отношение касается определено в фоновых знаниях и, таким образом, может быть найдено алгоритмом в данных, если это имеет отношение к классификации. из рТ3 . Показано, что из-за имплицитности экспертных знаний и вариантов проявления симптомов здоровья эксперту легче определить, почему тот или иной пример относится к диагностическому классу, чем описывать класс в целом (Можина, 2018). .Правила, полученные с помощью ILP, можно отследить, что означает, что их можно применить к фоновым знаниям, которые содержат данные из примеров, таких как база данных. Таким образом, обученная программа, состоящая из изученных правил и базы данных, может объяснить свои рассуждения эксперту-человеку. Это делается путем отображения результатов цепочки логических рассуждений, как это было реализовано, например, в диагностической системе MYCIN (Clancey, 1983). Трассы могут быть переведены в выражения на естественном языке и затем использованы в объяснительном взаимодействии в виде диалога между системой и человеком-экспертом, где эксперт может поэтапно запрашивать разъяснения.Исследования того, как эти диалоги могут быть реализованы, связаны с аргументацией на основе правил (Možina et al. , 2007), схемами аргументации и формой аргументативного ввода [например, в свободной форме, структурированной или основанной на опросе (Krening et al. , 2017)]. Наконец, естественный язык является основой для более выразительной коррекции классификационных решений, о чем пойдет речь в следующем подразделе.

Рисунок 8 . Базовая теория с доменными правилами для гипотетического диагностического домена рака толстой кишки (Schmid and Finzel, 2020).

3.3. Интерактивное машинное обучение

Поскольку медицинские знания неуклонно меняются (что может привести к искажению моделей, построенных на устаревших данных), необходимы подходы МО, способные адаптироваться или легко адаптируемые медицинскими экспертами. Именно здесь вступает в игру интерактивное машинное обучение. Основная мотивация интерактивного машинного обучения на основе «человек в цикле» заключается в создании систем, которые улучшают результаты обучения с помощью человека-эксперта, который взаимодействует с ними (Holzinger, 2016). Человек-эксперт взаимодействует, например, с данными, чтобы улучшить результаты прогнозирования, и помогает сократить пространство поиска благодаря своему опыту. Концепция интерактивного машинного обучения заключается в том, чтобы «сделать то, что ни человек, ни компьютер не могут сделать сами по себе» (Holzinger, 2016). Тем не менее, в контексте понятных интерфейсов для машинных классификаторов объяснения в основном однонаправлены — от системы ИИ к человеку (Адади и Беррада, 2018). Таким образом, в медицинской сфере существует большой потенциал для улучшения диагностики с помощью разработки новых интерактивных подходов к машинному обучению.Современные подходы включают системы, в которых эксперт-человек маркирует пример, выбранный алгоритмом в соответствии с некоторым механизмом предпочтения. В соответствии с так называемой парадигмой активного обучения система учится на взаимодействии с пользователем и впоследствии может давать лучшие результаты прогнозирования. Точно так же эксперты могут изменять метки неправильно классифицированных примеров или могут постепенно добавлять новые примеры с новыми метками. Кроме того, существуют подходы, в которых пользователь имеет возможность указать, какие признаки относятся или не относятся к определенной классификации.Типовой системой является прототип EluciDebug (Kulesza et al., 2015) для категоризации электронных писем. После помещения входящего электронного письма в определенную папку система перечисляет слова, которые были сочтены релевантными. Пользователь может настроить веса, например, чтобы уменьшить важность слов, чтобы удалить их из правил принятия решений. С помощью активного обучения, в частности, человек-эксперт может контролировать смещение данных. Существуют подходы и предложения для систем, которые предлагают объяснимую классификацию и обеспечивают обратную связь с пользователем в виде исправлений, помимо перемаркировки и взвешивания признаков, которые на следующем этапе используются для адаптации модели машинного обучения.Одним из первых подходов является интерактивная система обучения Crayon, которая позволяет пользователю корректировать классификацию объектов на изображении, просто перекрашивая некоторые неправильно классифицированные пиксели (Fails and Olsen, 2003) для переобучения модели. Второй подход называется CAIPI (Teso and Kersting, 2019). Он сочетает в себе запрос примера изображения, создание локального прогноза с помощью обучающего устройства «черный ящик» и объяснение классификации с помощью подхода xAI, что позволяет пользователю давать обратную связь в виде перекрашивания пикселей и перемаркировки ложных срабатываний.Хотя оба подхода предлагают многообещающие способы взаимодействия с пользователем, они принимают во внимание только визуальную информацию на основе пикселей, опуская текстовую или реляционную информацию, которая может иметь значение для экспертного принятия решений.

Взаимодействие можно сделать еще дальше. В областях, где классовые решения основаны на сложных отношениях, взаимодействие, позволяющее корректировать реляционные модели, может улучшить партнерство человека и ИИ (Schmid and Finzel, 2020). В других областях ИИ также было показано, что объяснения можно использовать для пересмотра существующих моделей (Falappa et al., 2002). Двунаправленный обмен между системой ILP и человеком-экспертом реализован в примерной системе LearnWithME (Schmid and Finzel, 2020), которая объединяет принцип ME.

Целью приложения LearnWithME является предоставление медицинским экспертам сопутствующей системы для улучшения диагностики. Системы-компаньоны служат помощниками для поддержки людей в их повседневной или рабочей рутине. Адаптивное машинное обучение, которое включает взаимодействие с человеком и постепенное обучение, подходит для улучшения таких компаньонов (Зиберс и Шмид, 2019).Кроме того, следует учитывать когнитивные условия, обусловленные контекстом использования и пользователем (Cawsey, 1991, 1993).

Соответственно, концепция Взаимных объяснений представляет собой совместный, интерактивный и постепенный акт обмена информацией между людьми и машинами с целью улучшить совместную работу вовлеченных партнеров в задачах классификации. Процесс объяснения относится (1) к предоставлению аргументов, которые делают простые и сложные отношения, применимые к интересующей области, явными и (2) к интеграции корректирующих объяснений в существующие внутренние модели с целью их адаптации (Schmid and Finzel, 2020). ).Модель такой системы ME, которая допускает двустороннюю связь посредством объяснений, а также интерактивного ML (корректировки для адаптации модели), представлена ​​на рисунке 9: Начиная с начальной модели ILP, классифицируется новый экземпляр и . Решение класса для и представляется человеку, который может принять ярлык или попросить объяснения. Объяснение может быть принято или скорректировано с помощью определения ограничений на вербализованную модель на уровне класса или на уровне объяснения экземпляра.

Изучение выразительных, явных правил, а не классификатора черного ящика, имеет то преимущество, что генерация словесных объяснений довольно проста. Однако при медицинской диагностике на основе изображений явно желательно указывать решение системы непосредственно на изображении. Часто только сочетание визуального выделения и вербальных относительных объяснений позволяет передать всю информацию, имеющую отношение к оценке решения. Таким образом, мы считаем, что наша структура CAI обеспечивает руководство по разработке интерпретируемых систем для медицинской области путем интеграции визуальных и вербальных объяснений, а также интерактивного машинного обучения на уровне адаптации модели посредством корректирующей обратной связи.

4. Заключение

В ходе этой статьи мы описали, почему понятность и интерактивность будут ключевыми свойствами современных систем машинного обучения во многих областях применения и особенно для задачи разработки прозрачных экспертных компаньонов для медицинской области. Поскольку мысли об улучшенной интерпретируемости начали привлекать значительное внимание, а многие связанные понятия и термины еще не были четко определены, мы ввели термин и понятие Понятный искусственный интеллект .Описав и сопоставив основные когнитивные концепции для исследования и практики ИИ, мы смогли поставить и обсудить многие текущие вопросы, связанные с исследованиями, интегрированным образом с концептуальной точки зрения. Кроме того, мы дали краткий обзор связанных междисциплинарных областей исследований и их пересечений, что вместе позволило устранить многие из недостатков, упомянутых в современной литературе. Была представлена ​​интегрированная структура перехода cAI, раскрывающая руководящие принципы изучения и внедрения подходов ML, которым доверяют люди и с которыми они могут взаимодействовать. Наша структура может рассматриваться разработчиками и практиками как руководство для определения необходимых концепций и возможных решений для их индивидуального медицинского контекста. Насколько нам известно, это еще не было сделано за рамками обзора литературы. Мы построили нашу схему перехода на теоретической основе, вывели практические выводы и привели примеры возможных решений.

Следуя нашей структуре во время некоторых прототипов использования, мы определили семантическое согласование между классификаторами машинного обучения и людьми-пользователями, которое часто упускается из виду в текущих подходах, как необходимые предпосылки для понятности, а также интерактивности.Принимая во внимание психологические выводы из объяснительного понимания, мы предложили должным образом учитывать индивидуальные ментальные модели объясняемых, интегрируя семантический подход в конвейер классификации и представляя объяснения на соответствующем уровне семантических деталей. Особенно при использовании алгоритмов черного ящика и систем объяснения на основе возмущений такая архитектура может использоваться для обеспечения реалистичных возмущений, которые отражают лежащее в основе совместное распределение входных признаков, и для создания значимых, полезных и более воспроизводимых объяснений. Наше утверждение состоит в том, что семантическая и контекстуальная информация, предоставляемая входной областью, должна учитываться при генерации и представлении объяснений, чтобы были получены связные и интерпретируемые человеком объяснения, выявляющие как логические, так и причинно-следственные корреляции. Для задачи классификации и объяснения текстовых документов, состоящих из медицинских понятий, мы описываем процесс, который позволяет находить объяснения на основе локальных тем с использованием тематических моделей, таких как латентное распределение Дирихле, вместе с LIME.Чтобы даже повысить понятность объяснений с точки зрения выразительности, мы предлагаем включить и другие модальности объяснения. В дополнение к визуальному осмотру, который часто проводится в медицинской диагностике, словесные объяснения и соответствующие методы их непосредственного получения из систем классификации анализируются и демонстрируются в качестве образцов с помощью индуктивного логического программирования. Кроме того, мы предоставляем возможность семантических опросов для сравнения способности семантической классификации классификатора с семантическими понятиями человека.В качестве своего рода общей концепции реализации в этой статье представлены МЭ, которые, по нашему мнению, могут обеспечить ценную основу для обеспечения двунаправленного обмена информацией между людьми и машинами. Обобщение и интеграция всех упомянутых концепций в единую структуру должно служить руководством для практиков при попытке создать интерактивные, прозрачные и понятные системы машинного обучения, которые даже неспециалисты могут интерпретировать и доверять им.

Несмотря на то, что многие темы обсуждались в области медицины, основные моменты остаются актуальными для различных областей применения.Адаптация этих подходов к контексту индивидуальной проблемы, а также оценка качества объяснений как в количественном, так и в качественном отношении, являются пунктами, которые, по нашему мнению, составляют основные будущие требования к ИИ. Пытаясь предвидеть будущее машинного обучения в исследованиях и на практике, мы требуем более сильного междисциплинарного подхода к ИИ. Это подразумевает не только поиск формальных объяснений для систем и решений машинного обучения, но и попытку обеспечить эффективное создание и передачу артефактов интерпретации пользователям-людям с учетом таких дисциплин, как объяснительное понимание.Это позволит людям получить более глубокое понимание, ведущее к улучшенным интерпретациям, формирующим основу для прозрачного и понятного ИИ, который мы называем cAI.

Вклад авторов

SB, BF и US внесли существенный вклад в концепцию и разработку своего подхода. Все авторы, участвовавшие в составлении рукописи или ее критическом редактировании на предмет важного интеллектуального содержания, дали окончательное одобрение версии для публикации, прочитали и утвердили окончательный вариант рукописи.

Финансирование

Часть работы, представленной в этом документе, финансировалась грантом BMBF FKZ 01IS18056 B (проект ML-3 Transparent Medical Expert Companion).

Конфликт интересов

Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Благодарности

Мы выражаем огромную благодарность нашим партнерам по проекту из Fraunhofer IIS (Volker Bruns, Dr.Микаэла Бенц) и университетской больнице Эрлангена (доктор медицины Кэрол Гепперт, доктор медицины Маркус Экштейн и профессор доктор Арндт Хартманн, руководитель института патологии), которые предоставили нам данные и знания о микроскопии рака толстой кишки. .

Ссылки

Адади, А., и Беррада, М. (2018). Заглядывая внутрь черного ящика: обзор объяснимого искусственного интеллекта (XAI). Доступ IEEE 6, 52138–52160. doi: 10.1109/ACCESS.2018.2870052

Полнотекстовая перекрестная ссылка | Академия Google

Адебайо, Дж.А. (2016). FairML: набор инструментов для диагностики предвзятости в прогнозном моделировании (магистерская работа), Массачусетский технологический институт, Институт данных, систем и общества, Департамент электротехники и компьютерных наук, Кембридж, Массачусетс, США.

Академия Google

Альварес-Мелис, Д., и Яаккола, Т. С. (2018). О надежности методов интерпретируемости. arXiv 1806.08049.

Академия Google

Арбаби, А., Адамс, Д. Р., Фидлер, С., и Брудно, М. (2019). Идентификация клинических терминов в медицинском тексте с использованием машинного обучения на основе онтологий. ОМИР Мед. Сообщить. 7:e12596. дои: 10.2196/12596

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Арриета, А.Б., Диас-Родригес, Н., Сер, Дж.Д., Беннетот, А., Табик, С., Барбадо, А., и др. (2020). Объяснимый искусственный интеллект (XAI): концепции, таксономии, возможности и проблемы на пути к ответственному ИИ. Информ.Фьюжн 58, 82–115. doi: 10.1016/j.inffus.2019.12.012

Полнотекстовая перекрестная ссылка | Академия Google

Beasens, B., Setiono, R., Mues, C., and Vanthienen, J. (2003). Использование извлечения правил нейронной сети и таблиц решений для оценки кредитного риска. Управление. науч. 49, 312–329. doi: 10.1287/mnsc.49.3.312.12739

Полнотекстовая перекрестная ссылка | Академия Google

Биндер А., Бокмайр М., Хегеле М., Винерт С., Хейм Д., Хеллвег К. и др. (2018).На пути к вычислительной флуоресцентной микроскопии: интегрированное предсказание морфологических и молекулярных профилей опухолей на основе машинного обучения. архив 1805.11178.

Академия Google

Buetti-Dinh, A., Galli, V., Bellenberg, S., Ilie, O., Herold, M., Christel, S., et al. (2019). Глубокие нейронные сети превосходят возможности человека-эксперта в характеристике биовыщелачивающего состава бактериальной биопленки. Биотехнология. Респ. 22:e00321. doi: 10.1016/j.btre.2019.e00321

Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

Бурри, Т.(2016). «Машинное обучение и закон: пять тезисов», в конференции по системам обработки нейронной информации (NeurIPS) (краткий доклад) (Барселона). Доступно в Интернете по адресу: https://nips.cc/Conferences/2016