Одна из главных задач АРМИТ и проводимых ассоциацией форумов MedSoft – выработка прозрачных и проверяемых критериев оценки медицинских компьютерных систем (МКС). Важнейшим этапом (компонентом) этой работы (наряду с разработкой самих типовых требований) является создания методики проверки конкретных систем на соответствие указанным требованиям. Поэтому с 2012 года ассоциация активно занималась разработкой и совершенствованием процедуры проведения конкурсов на лучшие разработки. Мы продолжим эту работу и на MedSoft-2024.

На сегодняшний день разработана технология проведения конкурсов по 8-ми классам МИС (номинациям):

• МИС медицинской организации (МИС МО). До 2015 года эта номинация называлась КМИС (системы комплексной информатизации медицинских организаций),
• Системы для решения задач профилактики, диспансеризации, скрининга (МИС-профилактика),
• Лабораторные информационные системы (ЛИС),
• Системы архивирования и передачи изображений (PACS).
• Льготное лекарственное обеспечение (ЛЛО)
• Электронная аптека (ЭА)
• Мониторинг лекарственных средств (МЛС)
• Импортозамещение

Мы знаем, что результаты конкурсов MedSoft учитывалась при выборе МКС как на региональном уровне и на уровне медицинских организаций.

Возможно, в этом году в ряде номинаций мы несколько изменим формат конкурсов: будем оценивать системы не по ранее разработанным анкетам, а попробуем оценить принципиально новые, эксклюзивные решения, которые зададут перспективу на будущее и другим разработчикам.

Условия проведения конкурсов

Как правило, конкурс может быть проведен, если число заявок на участие в конкурсе больше или равно трем. Исключения допускаются, если были существенно изменены конкурсные анкеты или при проведении(появлении) новых конкурсов (с тем, чтобы стимулировать активность экспонентов).

Методика проведения конкурса на лучшую МКС

Определение победителей на конкурсе MedSoft-2020 будет максимально объективным:

• Оценивать разработки будут Экспертные комиссии (ЭК), которые создаются для каждой номинации конкурса и состоят из представителей организаций-разработчиков - участников конкурса и независимых экспертов - представителей здравоохранения, науки и т.д.
• Оценки экспертами выставляются не на основании общих впечатлений и расплывчатых предпочтений, а на основании предварительно сформулированных требований к данному классу систем - конкретных и проверяемых.

Подготовительный этап. Проводится до начала Medsoft

• Создаются новые или корректируются существующие Анкеты конкурсантов для проведения конкурсов (см. - https://medsoft.pro/page/ankets/)
• Формируются «Экспертные комиссии» (ЭК) для каждой номинации, в которые включаются представители фирм (организаций)-разработчиков (по одному от фирмы) и независимые эксперты – представители здравоохранения, науки и т.д. Положение о ЭК см. в прил. 1.
• Определяются Председатель ЭК и Секретарь ЭК, выполняющий организационно-технические функции при подготовке и проведении конкурса (прил. 1).
• Формируется список участников конкурса. Компании, желающие принять в участие в конкурсе, должны заполнить и прислать Председателю Оргкомитета MedSoft (на адрес info@armit.ru) «Заявку на участие в конкурсе» (прил. 2) и заполненную «Анкету конкурсанта», включающую информацию о представляемой системе.
• К заполненной анкете заявитель должен приложить копию регистрационных и правоустанавливающих документов на МИС, представляемую на конкурс. Данный документ должен подтверждать, что именно заявитель является правообладателем представленной разработки. Чаще всего - это должно быть «Свидетельство о государственной регистрации программ для ЭВМ», выданное Федеральной службой по интеллектуальной собственности.

  В случае, если по каким-то причинам такой документ не может быть предоставлен, может быть приложена копия лицензионного договора, устанавливающего право распространения и представления системы на территории Российской федерации.

1-й тур. Отборочный. Проводится в 1-й день работы Medsoft

• Члены ЭК получают на руки распечатанные анкеты всех конкурсантов
• Члены ЭК рассматривают поданные анкеты конкурсантов и выносят заключение о возможности допуска конкурсанта во 2-й тур.
• Конкурсанты, являющиеся призерами конкурса по данной номинации в 2013-2016 г.г., допускаются во 2-й тур без предварительного рассмотрения анкет ЭК (см. предыдущий пункт).

2-й тур. Обход стендов участников конкурса экспертной комиссией. Выбор финалистов

• ЭК обходит стенды участников конкурса (до 20 минут на стенд). Каждый член ЭК на основе анкеты участника и личного изучения системы выставляет оценки по 5-бальной шкале по всем установленным критериям (функционал, интерфейс, документация на систему, организация обучения и др.), предусмотренным «Протоколом оценки информационной системы» (прил. 4). После этого вычисляется Оценка эксперта, равная сумме значений критериев, умноженных на веса соответствующих критериев (прил. 5).
• Итоговая Оценка 2-го тура определяется путем суммирования среднего значения оценок экспертов (по всем экспертам).
• Трое участников, набравших максимальный результат, переходят в 3-й тур (если таковой предполагается).
• Кроме того могут быть рассчитаны средние значения по всем критериям, что позволяет определить победителей по каждому отдельно взятому критерию (например, за лучший интерфейс).

3-й тур. Финал: итоговые дебаты и определение победителей

На данном этапе финалисты в краткой форме рассказывают о своей системе и отвечают на вопросы аудитории и экспертов:

• Дебаты финалистов проводится гласно и прозрачно: в конференц-зале при полном стечении всех желающих
• На дебатах организацию-финалиста могут представлять до двух человек
• Представители организаций-финалистов в 5-минутных выступлениях кратко рассказывают об «изюминках» свой МИС, о том, чем она отличается от других МИС; т.е. пытаются объяснить, чем их МИС лучше, чем другие
• Вопросы представителям в этом туре могут задавать, как члены ЭК, так и зрители
• Для повышения объективности на этом этапе из ЭК исключаются представители организаций-финалистов
• После этого члены ЭК выставляют свои оценки за 3-й тур (по 5-ти бальной системе), которые с учетом веса данного критерия суммируются с баллами, набранными участниками во 2-м туре.

Необходимость проведения 3-го тура может зависеть от числа участников конкурса, целей и задач проведения конкурса на данном форуме.

Как правило, победители в каждой номинации получают призы MedSoft и дипломы в зависимости от числа конкурсантов:

При числе конкурсантов 7 и более:

• В 3-й тур выходят три претендента, набравшие наибольшее число баллов во 2-м туре
• Победителям вручаются «Золотой MedSoft» и два «Серебряный MedSoft»

При числе конкурсантов 4-6:

• В 3-й тур выходят три претендента, набравшие наибольшее число баллов во 2-м туре
• Победителям вручаются «Золотой MedSoft» и один «Серебряный MedSoft»

При числе конкурсантов 1-3:

• Победителем становится участник, набравший наибольшее число баллов во 2-м туре.
• Победителю вручается «Золотой MedSoft»

С 2015 г. помимо победителей (призеров) конкурса вводится звание «Дипломант конкурса»

Ими становятся фирмы, не ставшие призерами конкурсов, но набравшие во 2-м туре не менее определенного количества баллов (значение которого определяется ЭК на подготовительном этапе) по каждому из критериев (K1-K5 - см. прил. 4). Дипломанты конкурсов награждается соответствующим дипломом.

Для чего это сделано?

• Появляется функция квалификации. Спортивная аналогия: есть победители соревнований, и есть спортсмены, выполнившие определенные нормативы (например, мастер спорта).
• Повышается привлекательность участия в конкурсах. Значительно расширяется число потенциальных участников конкурса, имеющих разработки достаточно высокого качества, но не всегда рассчитывающих на возможность занять призовое место.

Возможно, предлагаемая нами технология неидеальна и 100-процентного ее одобрения мы не получим никогда: всегда кто-то чем-то будет недоволен. Ждем Ваши КОНКРЕТНЫЕ замечания и предложения. Не исключено, что вместе мы придумаем что-то еще более удачное.

Совместными усилиями предстоит доработать анкеты конкурсантов по всем номинациям (см. выше), что является самой трудной задачей подготовки к проведению конкурсов. Но, если мы сможем с ней справиться, то это будет важнейший шаг в направлении наведения порядка в нашей отрасли, и авторитет конкурса будет действительно высоким.