Машинное обучение в задаче прогнозирования неблагоприятных сердечно-сосудистых событий у пациентов после коронарного шунтирования

• Овчаренко Е.А.
• Клышников К.Ю.
• Кутихин А.Г.
• Фролов А.В.

Резюме

Актуальность. Несмотря на существующие алгоритмы прогнозирования, позволяющие стратифицировать риск развития неблагоприятных сердечно-сосудистых осложнений в послеоперационном периоде кардиохирургических операций, до сих пор нет единства в понимании того, какой из них является наиболее точным.

Цель - исследовать передовые алгоритмы машинного обучения в качестве прогностического инструмента для оценки риска развития неблагоприятных сердечно-сосудистых событий, возникающих в отдаленном периоде после коронарного шунтирования.

Материал и методы. На основе ретроспективного анализа 152 историй болезни пациентов, оперированных в 2004-2006 гг. по поводу ишемической болезни сердца, были выделены 59 факторов пред-, интра- и раннего послеоперационного периодов и проведено исследование алгоритмов или моделей машинного обучения по прогнозированию неблагоприятных сердечно-сосудистых событий в отдаленные сроки в виде инсульта, инфаркта миокарда в сочетании с его последующей реваскуляризацией, смерти и комбинированной конечной точки. Среди алгоритмов были анализированы такие, как логистическая регрессия, деревья решений, метод случайного леса, сверхслучайные деревья решений, градиентный бустинг, многослойные нейросети, метод К-средних соседей и ансамбль алгоритмов.

Результаты. Площадь под ROC-кривой как показатель эффективности используемых алгоритмов различных типов существенно варьировала. Многофакторная логистическая регрессия достигла значения 0,40-0,56, в то время как алгоритмы К-средних соседей, многослойные нейросети и одиночные деревья решений имели 0,74-0,75. Однако наибольшую площадь продемонстрировали продвинутые варианты моделей на основе комбинации деревьев решений, которые используют градиентный бустинг, особенно алгоритм ансамблирования, площадь под ROC-кривой для которого достигла 0,77-0,91. Для одиночных моделей с максимальной площадью были также отобраны и количественно оценены 4 предиктора (толщина межжелудочковой перегородки, фракция выброса левого желудочка, индекс массы тела и возраст), которые вносили наибольший вклад в их эффективность.

Заключение. Наиболее эффективными и точными моделями прогнозирования отдаленных неблагоприятных событий являются ансамблирующие модели, объединяющие несколько подалгоритмов, преимущественно на основе комбинации деревьев решений. При анализе одиночных алгоритмов в качестве наиболее значимого предиктора прогноза был выделен фактор толщины межжелудочковой перегородки. 

Ключевые слова:коронарное шунтирование; машинное обучение; прогнозирование; сердечно-сосудистые события

Коронарное шунтирование (КШ) остается одной из самых распространенных кардиохирургических операций в лечении ишемической болезни сердца (ИБС). Ежегодно более чем 100 клиник в Российской Федерации проводят суммарно около 40 тыс. таких вмешательств, и число их неуклонно растет [1]. Учитывая сложность и травматичность открытого вмешательства на коронарном русле, а также особенности состояния пациента, обусловленные возрастом, тяжестью основного заболевания, коморбидным фоном, задачи прогнозирования рисков при КШ являются актуальными даже для современной медицины. Безусловно, стоит отметить, что имеющиеся рекомендации по реваскуляризации миокарда уже определяют 2 шкалы, стратифицирующие риски подобных операций - EuroSCORE II [2] и STS Score [3]. Обе шкалы опираются на достаточно широкий перечень предикторов, характеризующих пациента, патологию и особенности предстоящего вмешательства, всего - 18 и 42 параметра соответственно. Тем не менее в процессе предоперационного планирования, на интраоперационном этапе и в госпитальном периоде возможно получать значительно больше количество информации для прогнозирования развития различных исходов (конечных или комбинированных точек), чем это предполагают упомянутые выше шкалы. Поэтому ряд исследователей активно изучают возможность использования дополнительных критериев в предиктивных моделях оценки риска возникновения неблагоприятных сердечно-сосудистых событий (MACCE) [4-6] или отдельных специфических исходов, например повторной госпитализации [7, 8], возникновения раневых инфекций [9].

С развитием алгоритмов машинного обучения и повышения их доступности за счет бесплатно распространяемых библиотек появляется все больше работ, исследующих возможность прогнозирования исходов КШ, используя более сложные модели в виде случайного леса, метода опорных векторов, К-средних [10], искусственных нейронных сетей [11], ансамблирования [12], наряду с применением классической многофакторной логистической регрессии. Все они ориентированы на оценку риска летальных исходов: 30-дневных [11] или отдаленных [10, 12]. В отдельных случаях авторы демонстрируют результаты, превосходящие рекомендованную для стратификации рисков шкалу, достигая площади под ROC-кривой 0,93 [11]. Однако структура MACCE более разнообразна и включает не только исход в виде смерти, поэтому задача прогнозирования после КШ может быть рассмотрена шире: как оценка риска возникновения инсульта, необходимости проведения дополнительного вмешательства на коронарных артериях, инфаркта миокарда (ИМ), и, наконец, смерти. Кроме этого, модель должна предполагать и прогнозирование комбинированной точки - в целом наступления хотя бы одного из событий MACCE. С другой стороны, современный набор методов машинного обучения, применяемого для задач прогнозирования, значительно разнообразнее, чем описанные в литературе подходы, и предлагает для работы с гетерогенными табличными данными более эффективные актуальные модели на основе деревьев решений с градиентным бустингом, например CatBoost, XGBoost и LightGBM [13].

Цель настоящей работы состояла в исследовании передовых алгоритмов машинного обучения в качестве прогностического инструмента для оценки риска развития неблагоприятных сердечно-сосудистых событий, возникающих в отдаленные сроки после КШ.

Материал и методы

В качестве материала для исследования стала доступной база данных, подвергнутая ретроспективному анализу 152 историй болезни пациентов, оперированных в 2004-2006 гг. по поводу ИБС в отделении сердечно-сосудистой хирургии на базе ГУЗ "Кемеровская областная клиническая больница" с лабораторией ГУ НППЛ РХСС СО РАМН. Возраст пациентов варьировал от 38 до 69 лет, с медианой 55 лет, подробная клинико-анамнестическая характеристика представлена рядом показателей, приведенных в табл. 1.

Всем пациентам была проведена хирургическая реваскуляризация миокарда методом КШ с характеристиками интраоперационного и раннего послеоперационного этапов, включая отделение реанимации, представленными в табл. 2.

В ходе анализа отдаленного послеоперационного периода были определены 4 целевых исхода, для которых оценивали точность прогнозирования их наступления с использованием алгоритмов машинного обучения:

а) инсульт (острое нарушение мозгового кровообращения ишемического генеза);

б) ИМ в сочетании с чрескожным коронарным вмешательством (ЧКВ) (острый ИМ и связанная с ним необходимость проведения повторного коронарного вмешательства в течение одной госпитализации);

в) смерть;

г) комбинированная точка (наличие хотя бы одного из описанных выше событий).

Работу с данными проводили с использованием программного обеспечения Python-3 в 5 последовательных этапов.

1. Предобработка данных с использованием библиотеки Pandas: удаление предикторов с заполняемостью менее 90%, форматирование, обработка недостающих данных.

2. Статистическое исследование групп с использованием библиотеки SciPy. Исходную выборку разделяли попарно в зависимости от исхода на 2 группы - с неблагоприятным исходом КШ и с благоприятным. Таким образом, формировали 4 пары групп: с развившимся инсультом и без него; с развившимся ИМ в сочетании с ЧКВ и без него; умерших и выживших; имевших комбинированную точку и без нее. После этого проводили статистическое сравнение выборок по 59 критериям, включающим пред- и интраоперационные характеристики, результаты наблюдения за пациентом в отделении реанимации и в раннем постоперационном периоде. Среди показателей были выделены интервальные (n=17) и номинальные (n=42) предикторы. Проведенная проверка на нормальность для интервальных данных с помощью критерия Шапиро-Уилка (p<0,05) продемонстрировала распределение, отличное от нормального, соответственно попарное сравнение групп проводили с помощью критерия Манна-Уитни, данные представляли как медиану (Ме; 25, 75-й процентили). Для номинальных факторов использовали сравнение групп точным критерием Фишера. Результат сравнения представлен как отношение шансов с указанием доверительного интервала (ДИ). Для обоих тестов попарного сравнения групп критическое значение уровня значимости p принимали равным 0,05.

3. Логистическая регрессия с использованием библиотеки Scikit Learn. Учитывая, что данный вид прогностического инструмента наиболее понятен для интерпретации, исследование зависимости входных предикторов и риска возникновения того или иного исхода начинали с однофакторной, а затем многофакторной логистической регрессии. В итоговую модель включали только те факторы, которые продемонстрировали статистически значимый вклад (p<0,05). Построение моделей логистической регрессии осуществляли в программе IBM SPSS Statistics 26 (IBM, США). Для многофакторной регрессии использовали метод пошагового включения переменных "Вперед".

4. Машинное обучение на основе 5-фолдовой кросс-валидации. В работе исследовали эффективность 8 алгоритмов машинного обучения, применяемых для анализа табличных данных в задачах классификации [14]:

4.1) деревья решений (DecisionTree);

4.2) метод случайного леса, использующий сочетание деревьев решений (Random Forest);

4.3) сверхслучайные деревья решений (Extra Trees);

4.4-4.5) продвинутые варианты на основе комбинации деревьев решений, использующие градиентный бустинг, - аналоги метода случайного леса (CatBoost и XGBoost) [15];

4.6) многослойные нейросети (Multilayer Perceptron);

4.7) метод К-средних соседей (K-Nearest Neighbor);

4.8) ансамбль алгоритмов - объединение наиболее эффективных одиночных моделей машинного обучения в единый блок.

Работу с данными алгоритмами осуществляли в интегрированной среде разработки PyCharm с использованием языка программирования Python-3 и библиотек: NumPy, Scikit Learn, Pandas, Matplotlib, CatBoost, XGBoost. Подбор гиперпараметров моделей осуществляли с использованием концепции случайного перебора в пределах заранее определенных диапазонов.

Оценку точности работы полученных предиктивных моделей проводили путем исследования площади под ROC-кривой при реализации концепции 5-кратной кросс-валидации, т.е. обучение модели проводили на случайно выбранных 4/5 набора данных, оценку эффективности модели (площадь под ROC-кривой) - на оставшейся 1/5 набора данных. Повторяли данную процедуру 5 раз и вычисляли среднее значение метрики (площади под ROC-кривой). Среди итогового набора моделей выбирали самые эффективные для своего класса.

5. Исследование значимости предикторов. Данный анализ проводили для оценки и ранжирования вклада переменных-предикторов в итоговый результат работы каждой модели. Чем больше определялась связь между каждой входной характеристикой и результатом прогноза, тем меньше была точность алгоритма при ее удалении и, следовательно, тем выше была значимость предиктора [16]. В настоящем исследовании показаны наиболее значимые предикторы для каждого исхода, которые были определены для более точных единичных алгоритмов машинного обучения.

Результаты

Статистическое исследование групп

Попарное сравнение групп пациентов продемонстрировало ряд статистически достоверных различий в исходных характеристиках, которые, таким образом, могут являться факторами, определяющими возникновение того или иного исхода. Так, при анализе исхода "Инсульт" показано, что группы достоверно различались по предоперационным характеристикам, ассоциированным с поражениями артерий: каротидного бассейна и периферических артерий. Наличие данных патологий статистически достоверно увеличивало риск возникновения инсульта, отношение шансов составило 3,75 (p=0,004) и 3,83 (p=0,04) соответственно. Кроме того, достоверные различия были получены и для предоперационных результатов эхокардиографического исследования, а именно размера межжелудочковой перегородки (p<0,001) и конечного диастолического объема (p=0,044).

При формировании групп по исходу "ИМ в сочетании с ЧКВ" статистически достоверных различий ни по одному фактору не наблюдали.

Для исхода "Смерть" показаны статистические различия между группами по параметру возраста - достоверные различия с p=0,012; рассчитанное отношение шансов для данного показателя составило 1,08, а 95% ДИ 1,001; 1,16. Также статистически достоверно группы различались и по параметру наличия сахарного диабета (СД) - отношение шансов 3,32 при 95% ДИ 1,21; 9,1; p=0,022. Конечный диастолический объем и в данном случае достоверно различался между группами c p=0,009.

Для исхода "Комбинированная точка" группы достоверно различались только по показателю конечного диастолического объема (p=0,017).

Логистическая регрессия

Учитывая результаты предыдущего этапа, видно, что все целевые исходы обладают незначительным (единичным) количеством достоверных предикторов, которые могут быть использованы в качестве прогностических параметров с точки зрения "классических" статистических методов. Более того, исход "ИМ в сочетании с ЧКВ" в целом не может быть достоверно предсказан ни одной исследованной характеристикой пациентов с помощью однофакторной логистической регрессии, так как не было получено ни одной статистически достоверной разницы в выборках, сформированных по данному исходу.

Использование многофакторной логистической регрессии значимо не изменило перечень факторов, обладающих предиктивной силой для выбранных исходов (табл. 3).

Для исхода "ИМ в сочетании с ЧКВ" также не удалось определить ни одного достоверно значимого показателя. Однако также видно, что выбранные факторы единичны и строить точные прогностические модели на их основе не представляется целесообразным. Количественная характеристика точности данной модели (площадь под ROC-кривой) стала референсным значением для оценки качества других, более продвинутых алгоритмов машинного обучения.

Машинное обучение

Всего в процессе исследования эффективности алгоритмов машинного обучения при оптимизации их гиперпараметров было обучено 672 отдельных модели и 8 ансамблей на их основе для всех исходов.

Количественно с позиции целевой метрики - площади под ROC-кривой модели разных типов продемонстрировали существенные различия в эффективности. Так, некоторые модели смогли достичь точности по данному показателю 0,74-0,75. Наиболее эффективными алгоритмами оказались продвинутые варианты на основе комбинации деревьев решений, которые используют градиентный бустинг: CatBoost и XGBoost. Наименее эффективные - "классические" алгоритмы машинного обучения: метод К-средних соседей, многослойные нейросети, одиночные деревья решений (рис. 1). Многофакторная логистическая регрессия, выбранная как референс, достигала значения площади под ROC-кривой 0,40-0,56, т.е. демонстрировала чрезмерно низкую прогностическую эффективность.

Стоит отметить, что удовлетворительные показатели площади под ROC-кривой были получены только для 3 исходов: "Инсульт", "Смерть" и "Комбинированная точка". Для исхода "ИМ в сочетании с ЧКВ" подобных значений не продемонстрировал ни один алгоритм - максимальное значение исследуемой метрики составило 0,62, что стоит расценивать как неудовлетворительное (см. рис.1).

Отдельно среди оценки эффективности подходов машинного обучения было выделено ансамблирование. Такая концепция позволила значительно повысить прогностическую результативность и достичь площади под кривой до 0,77-0,91 для 3 исходов. Однако исход "ИМ в сочетании с ЧКВ" даже при таком подходе достиг значения метрики только 0,69 (рис. 2). При этом раздельный анализ применения ансамблирования для каждого из классов (0 - отсутствие события, 1 - наступление события) не продемонстрировал различий, т.е. ансамбль моделей в каждом случае одинаково эффективно предсказывал оба таких варианта.

Исследование значимости предикторов

Помимо самой эффективности работы алгоритмов машинного обучения, был оценен набор предикторов, которые вносили наибольший вклад в прогностическую эффективность. Для моделей, которые продемонстрировали максимальную площадь под ROC-кривой в каждом исследованном исходе, из суммарно 59 входных параметров были отобраны и количественно оценены только 4 из них. Некоторые предикторы оказались важными для нескольких исходов сразу: например, размеры межжелудочковой перегородки по данным предоперационной эхокардиографии оказались ценными для прогнозирования "Инсульта", "ИМ в сочетании с ЧКВ" и при оценке "Комбинированной точки"; фракция выброса левого желудочка (ФВ ЛЖ) - для прогнозирования "ИМ в сочетании с ЧКВ", "Смерти" и также "Комбинированной точки" (табл. 4).

Однако значимость данных характеристик существенно различалась количественно в зависимости от исхода. Так, размер межжелудочковой перегородки обладал максимальным вкладом 0,8 единицы (в условном диапазоне [0; 1]) при прогнозировании исхода "Инсульт", а при исходе "ИМ в сочетании с ЧКВ" достигал значимости только 0,02. Поэтому, несмотря на то что некоторые показатели были выделены как прогностически ценные, существует необходимость оценивать и количественную характеристику данного показателя, которая во многих случаях не превышает 0,05, особенно, для исхода "ИМ в сочетании с ЧКВ".

С позиции исследования значимости предикторов, которые в случае ансамблирования вносят наибольший вклад в прогностическую эффективность, стоит отметить, что технические особенности такого подхода не позволяют выделить единый перечень "наиболее" ценных факторов. Ансамбль представляет собой сочетание нескольких моделей (от 2 до 10, в зависимости от исследуемого исхода), каждая из которых имеет собственное ранжирование и перечень наиболее значимых предикторов, поэтому данный тип анализа в настоящем случае не проводился.

Обсуждение

Задача поиска новых предоперационных предикторов и построения на их основе прогностических моделей для определения результатов кардиохирургических вмешательств представлена в литературе достаточно широко. Для наглядности можно привести несколько самых современных исследований за 2022 г., которые позволяют оценить разнообразие применения машинного обучения в этой области: прогнозирование исходов ЧКВ [17]; прогнозирование состояния на уровне отделения интенсивной терапии [18]; анализ физиологических сигналов [19]; оценка риска повреждения почек после вмешательств на сердце [20]. КШ не является исключением для подобных исследований. Исследователи активно используют инструменты машинного обучения [5, 6, 8, 21-24], в том числе ансамблирование [25], и при этом демонстрируют большую их эффективность по сравнению с логистической регрессией и в целом статистическими методами. Результаты настоящей работы показали схожие выводы: современные продвинутые модели на основе комбинации деревьев решений или техники ансамблирования значительно превосходят многофакторную логистическую регрессию по наиболее наглядному показателю эффективности классификации (ROC-кривая). Примечательно, что многослойные нейросети, которые получили широкое распространение в обработке данных, в данном исследовании продемонстрировали низкую прогностическую эффективность - на уровне 0,52-0,63. Такой результат ожидаем: алгоритмы глубокого обучения подразумевают высокую эффективность анализа табличных данных на больших объемах, а при относительно небольших выборках, характерных для медицинских исследований, нейросети явного преимущества не имеют [26]. С другой стороны, постоянное улучшение математического аппарата алгоритмов, построенных на деревьях решений, значительно увеличивает их эффективность и позволяет им успешно конкурировать с нейросетями. Поэтому акцент некоторых исследователей на использовании нейросетей в медицинских прогностических задачах [11, 27] может быть заведомо менее перспективной, чем рассмотрение всего пула алгоритмов машинного обучения.

Как было уже упомянуто выше, исследования, посвященные прогностическим моделям оценки риска осложнений после КШ на основе машинного обучения, широко представлены в литературе. Настоящий анализ призван расширить взгляд на такой подход за счет включения ряда дополнительных аспектов, которые редко освещены в работах, а именно в виде:

а) изучения наиболее ценных предикторов, на основе которых принимают решение эффективные алгоритмы машинного обучения как попытки повысить интерпретируемость работы моделей и снизить, таким образом, эффект "черного ящика";

б) изучения особенности концепции ансамблирования - объединения нескольких прогностических моделей, которая способна значительно повысить точность алгоритмов.

Важной особенностью доминирования логистических моделей в шкальных оценках послеоперационных рисков при кардиохирургических вмешательствах (EuroSCORE II, STS Score) является их высокая интерпретируемость. Логистическая регрессия представлена уравнением с набором коэффициентов, по значению которых возможно наглядно выбрать наиболее ценные с прогностической точки зрения предикторы того или иного исхода [26]. Более того, данные коэффициенты могут быть преобразованы в количественный статистический показатель - отношение шансов (если он более 1, вероятность наступления какого-либо события в основной группе выше в определенное количество раз, чем в контрольной, и наоборот), понятный для интерпретации.

Алгоритмы машинного обучения зачастую представляют концепцию "черного ящика" [28], детали работы которого скрыты от пользователя или клинического специалиста, который вынужден слепо доверять результатам прогнозирования без возможности понять его основу [29]. Кроме того, ряд алгоритмов, прежде всего многослойные нейросети, комбинирует входные предикторы друг с другом, и зачастую такие комбинированные характеристики могут не иметь клинической и логической интерпретации, так как являются сложным произведением или суммой некоторых показателей. Однако для некоторых алгоритмов, особенно построенных на деревьях решений, существуют средства повышения интерпретируемости, которые позволяют выделить и ранжировать предикторы по степени их вклада в итоговый результат прогностической модели [28]. Именно такие данные для наиболее эффективных моделей каждого из целевых исходов были продемонстрированы в настоящей работе.

Наиболее ценными предикторами, выделенными в результате анализа значимости, стали результаты предоперационного эхокардиографического исследования - измерение толщины межжелудочковой перегородки как критерия гипертрофии миокарда, и фракции выброса (ФВ) левого желудочка (ЛЖ) как характеристика функции миокарда. Стоит отметить, что ФВ уже используется при прогнозировании неблагоприятных событий в EuroSCORE II [2], а толщина межжелудочковой перегородки не включена в шкалы как самостоятельный критерий. При этом некоторые исследователи демонстрируют увеличение точности EuroSCORE II (прирост площади под ROC-кривой) при добавлении эхокардиографических характеристик состояния миокарда ЛЖ в эту шкалу [30], что потенциально может быть использовано в дальнейшем при создании более продвинутых и точных прогностических инструментов.

Другие предикторы (см. табл.4), которые были выделены в качестве значимых, не вносят достаточного вклада в прогноз, поэтому перспективы их использования в системах поддержки принятия решения стоит исследовать дополнительно. Примечательно, что авторы единственного схожего исследования оценки рисков после КШ [25] приводят в качестве наиболее значимого предиктора более экзотический показатель - уровень мочевины сыворотки на 4-й послеоперационный день. Однако предполагается, что такой подход выглядит менее обоснованным и неоднозначным с точки зрения патологической физиологии, чем использование более интерпретируемого для клинического специалиста показателя толщины межжелудочковой перегородки.

Другой освещаемый аспект в настоящем исследовании современного машинного обучения - это концепция ансамблирования наиболее эффективных машинных алгоритмов в единый блок, представленная еще в 2010 г. [31] и зарекомендовавшая себя как эффективный метод повышения точности прогностических моделей [32]. В настоящей работе при использовании ансамбля был ожидаемо получен существенный прирост по показателю площади под ROC-кривой: с 0,74-0,75 для одиночных алгоритмов до 0,77-0,91 - для данной техники. Однако стоит отметить, что такой подход теряет возможность быть интерпретируемым. Так, в настоящем исследовании в зависимости от прогнозируемого исхода каждый ансамбль состоял из 2-10 отдельных алгоритмов машинного обучения, каждый из которых, в свою очередь, ранжировал предикторы в собственном порядке, что не позволило выделить единый набор факторов, вносящих наибольший вклад в работу ансамбля.

Именно необходимость обеспечить максимальную точность с возможностью контроля и доступного понимания, на основании чего алгоритм принимает решения, является ключевым противоречием [28], не позволяющим машинному обучению вытеснить простые интерпретируемые модели по типу логистической регрессии из клинической практики. В проведенном исследовании данный эффект также имел место: при возможности получить высокую эффективность прогнозирования за счет ансамблирования терялась возможность оценить, какие предикторы вносили наибольший вклад в прогноз.

Заключение

Исследованные алгоритмы машинного обучения оценки 59 рутинно собранных пред-, интра- и ранних послеоперационных данных позволил достичь высокой прогностической точности возникновения 3 выбранных исходов КШ. Наиболее эффективные модели - ансамблирующие несколько подалгоритмов, преимущественно на основе комбинации деревьев решений, продемонстрировали наивысшую точность прогноза (0,77-0,91). Однако использование одиночных алгоритмов с более низкой, чем у ансамблей площадью под ROC-кривой, позволило выделить перспективный для продвинутых прогностических инструментов предиктор - толщину межжелудочковой перегородки, обладающую высокой значимостью для некоторых исходов. Подобные исследования, позволяющие идентифицировать модифицируемые факторы риска, могут стать первым шагом на пути к персонализированным клиническим вмешательствам для улучшения исходов КШ.

Литература

1.     Бокерия Л.А., Милиевская Е.Б., Кудзоева З.Ф., Прянишников В.В., Скопин А.И., Юрлов И.А. Сердечно-сосудистая хирургия. Болезни и врожденные аномалии системы кровообращения. Москва : ФГБУ "НМИЦССХ им. А.Н. Бакулева" МЗ РФ, 2019. 270 с.

2.     Nashef S.A.M., Roques F., Sharples L.D., Nilsson J., Smith C., Goldstone A.R. et al. EuroSCORE II // Eur. J. Cardiothorac. Surg. 2012. Vol. 41, N 4. P. 734-745. DOI: https://doi.org/10.1093/ejcts/ezs043  

3.     O’Brien S.M., Feng L., He X., Xian Y., Jacobs J.P., Badhwar V. et al. The Society of Thoracic Surgeons 2018 adult cardiac surgery risk models: part 2 - statistical methods and results // Ann. Thorac. Surg. 2018. Vol. 105, N 5. P. 1419-1428. DOI: https://doi.org/10.1016/j.athoracsur.2018.03.003  

4.     Xie W., Li D., Shi Y., Yu N., Yan Y., Zhang Y. et al. Serum FGF21 levels predict the MACE in patients with myocardial infarction after coronary artery bypass graft surgery // Front. Cardiovasc. Med. 2022. Vol. 9. Article ID 850527. DOI: https://doi.org/10.3389/fcvm.2022.850517  

5.     Kalyoncuoglu M., Ozturk S., Sahin M. Does CHA2DS2-VASc score predict MACE in patients undergoing isolated coronary artery bypass grafting surgery? // Braz. J. Cardiovasc. Surg. 2019. Vol. 34, N 5. P. 542-549. DOI: https://doi.org/10.21470/1678-9741-2018-0323  

6.     Hung D.Q., Minh N.T., Vo H.-L., Hien N.S., Tuan N.Q. Impact of pre-, intra-and post-operative parameters on in-hospital mortality in patients undergoing emergency coronary artery bypass grafting: a scarce single-center experience in resource-scare setting // Vasc. Health Risk Manag. 2021. Vol. 17. P. 211-226. DOI: https://doi.org/10.2147/VHRM.S303726  

7.     Shawon M.S.R., Odutola M., Falster M.O., Jorm L.R. Patient and hospital factors associated with 30-day readmissions after coronary artery bypass graft (CABG) surgery: a systematic review and meta-analysis // J. Cardiothorac. Surg. 2021. Vol. 16, N 1. P. 172. DOI: https://doi.org/10.1186/s13019-021-01556-1  

8.     Benuzillo J., Caine W., Evans R.S., Roberts C., Lappe D., Doty J. Predicting readmission risk shortly after admission for CABG surgery // J. Card. Surg. 2018. Vol. 33, N 4. P. 163-170. DOI: https://doi.org/10.1111/jocs.13565  

9.     Gatti G., Rochon M., Raja S.G., Luzzati R., Dreas L., Pappalardo A. Predictive models of surgical site infections after coronary surgery: insights from a validation study on 7090 consecutive patients // J. Hosp. Infect. 2019. Vol. 102, N 3. P. 277-286. DOI: https://doi.org/10.1016/j.jhin.2019.01.009  

10. Forte J.C., Wiering M.A., Bouma H.R., Geus F., Epema A.H. Predicting long-term mortality with first week post-operative data after Coronary Artery Bypass Grafting using Machine Learning models // Proceedings of the 2nd Machine Learning for Healthcare Conference / eds F. Doshi-Velez, J. Fackler, D. Kale, R. Ranganath, B. Wallace, J. Wiens. PMLR, 2017. P. 39-58.

11. Гельцер Б.И., Шахгельдян К.И., Рублев В.Ю., Котельников В.Н., Кригер А.Б., Широбоков В.Г. Методы машинного обучения в прогнозировании летальных исходов в стационаре у больных ишемической болезнью сердца после коронарного шунтирования // Кардиология. 2020. Т. 60, № 10. С. 38-46. DOI: https://doi.org/0.18087/cardio.2020.10.n1170  

12. Castela Forte J., Mungroop H.E., de Geus F., van der Grinten M.L., Bouma H.R., Pettilä V. et al. Ensemble machine learning prediction and variable importance analysis of 5-year mortality after cardiac valve and CABG operations // Sci. Rep. 2021. Vol. 11, N 1. P. 3467. DOI: https://doi.org/10.1038/s41598-021-82403-0  

13. Hancock J.T., Khoshgoftaar T.M. CatBoost for big data: an interdisciplinary review // J. Big Data. 2020. Vol. 7, N 1. P. 94. DOI: https://doi.org/10.1186/s40537-020-00369-8  

14. Uddin S., Khan A., Hossain M.E., Moni M.A. Comparing different supervised machine learning algorithms for disease prediction // BMC Med. Inform. Decis. Mak. 2019. Vol. 19, N 1. P. 281. DOI: https://doi.org/10.1186/s12911-019-1004-8   

15. Ke G., Meng Q., Finley T., Wang T., Chen W., Ma W. et al. LightGBM: a highly efficient gradient boosting decision tree // Advances in Neural Information Processing Systems 30 (NIPS 2017). 2017.

16. Díaz I., Hubbard A., Decker A., Cohen M. Variable importance and prediction methods for longitudinal problems with missing variables // PLoS One. 2015. Vol. 10, N 3. Article ID e0120031. DOI: https://doi.org/10.1371/journal.pone.0120031  

17. Niimi N., Shiraishi Y., Sawano M., Ikemura N., Inohara T., Ueda I. et al. Machine learning models for prediction of adverse events after percutaneous coronary intervention // Sci. Rep. 2022. Vol. 12, N 1. Article ID 6262. DOI: https://doi.org/10.1038/s41598-022-10346-1  

18. Mathis M.R., Engoren M.C., Williams A.M., Biesterveld B.E., Croteau A.J., Cai L. et al. Prediction of postoperative deterioration in cardiac surgery patients using electronic health record and physiologic waveform data // Anesthesiology. 2022. Vol. 137, N 5. P. 586-601. DOI: https://doi.org/10.1097/ALN.0000000000004345  

19. Kim R.B., Alge O.P., Liu G., Biesterveld B.E., Wakam G., Williams A.M. et al. Prediction of postoperative cardiac events in multiple surgical cohorts using a multimodal and integrative decision support system // Sci. Rep. 2022. Vol. 12, N 1. Article ID 11347. DOI: https://doi.org/10.1038/s41598-022-15496-w  

20. Petrosyan Y., Mesana T.G., Sun L.Y. Prediction of acute kidney injury risk after cardiac surgery: using a hybrid machine learning algorithm // BMC Med. Inform. Decis. Mak. 2022. Vol. 22, N 1. P. 137. DOI: https://doi.org/10.1186/s12911-022-01859-w  

21. Xie W., Li D., Shi Y., Yu N., Yan Y., Zhang Y. et al. Serum FGF21 levels predict the MACE in patients with myocardial infarction after coronary artery bypass graft surgery // Front. Cardiovasc. Med. 2022. Vol. 9. Article ID 850517. DOI: https://doi.org/10.3389/fcvm.2022.850517  

22. Alshakhs F., Alharthi H., Aslam N., Khan I.U., Elasheri M. Predicting postoperative length of stay for isolated coronary artery bypass graft patients using machine learning // Int. J. Gen. Med. 2020. Vol. 13. P. 751-762. DOI: https://doi.org/10.2147/IJGM.S250334  

23. Huang Y.-C., Li S.-J., Chen M., Lee T.-S., Chien Y.-N. Machine-learning techniques for feature selection and prediction
of mortality in elderly CABG patients // Healthcare. 2021. Vol. 9, N 5. P. 547. DOI: https://doi.org/10.3390/healthcare9050547  

24. Mori M., Durant T.J.S., Huang C., Mortazavi B.J., Coppi A., Jean R.A. et al. Toward dynamic risk prediction of outcomes after coronary artery bypass graft: improving risk prediction with intraoperative events using gradient boosting // Circ. Cardiovasc. Qual. Outcomes. 2021. Vol. 14, N 6. Article ID e007363. DOI: https://doi.org/10.1161/CIRCOUTCOMES.120.007363  

25. Castela Forte J., Mungroop H.E., de Geus F., van der Grinten M.L., Bouma H.R., Pettilä V. et al. Ensemble machine learning prediction and variable importance analysis of 5-year mortality after cardiac valve and CABG operations // Sci. Rep. 2021. Vol. 11, N 1. Article ID 3467. DOI: https://doi.org/10.1038/s41598-021-82403-0  

26. Sarker I.H. Machine learning: algorithms, real-world applications and research directions // SN Comput. Sci. 2021. Vol. 2, N 3. P. 160. DOI: https://doi.org/10.1007/s42979-021-00592-x  

27. Sen E., Seckiner S.U. The use of artificial neural networks to determine in-hospital mortality after coronary artery bypass surgery // J. Cardiothorac. Vasc. Anesth. 2021. Vol. 35, N 8. P. 2432-2437. DOI: https://doi.org/10.1053/j.jvca.2021.03.049  

28. Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: a review of machine learning interpretability methods // Entropy (Basel). 2020. Vol. 23, N 1. P. 18. DOI: https://doi.org/10.3390/e23010018  

29. Amann J., Vetter D., Blomberg S.N., Christensen H.C., Coffee M., Gerke S. et al. To explain or not to explain? Artificial intelligence explainability in clinical decision support systems // PLoS Digit Health. 2022. Vol. 1, N 2. Article ID e0000016. DOI: https://doi.org/10.1371/journal.pdig.0000016  

30. Zhu P., Dai Y., Qiu J., Xu H., Liu J., Zhao Q. Prognostic implications of left ventricular geometry in coronary artery bypass grafting patients // Quant. Imaging Med. Surg. 2020. Vol. 10, N 12. P. 2274-2284. DOI: https://doi.org/10.21037/qims-19-926  

31. Rokach L. Ensemble-based classifiers // Artif. Intell. Rev. 2010. Vol. 33, N 1-2. P. 1-39. DOI: https://doi.org/10.1007/s10462-009-9124-7   

32. Ganaie M.A., Hu M., Malik A.K., Tanveer M., Suganthan P.N. Ensemble deep learning: a review // Eng. Appl. Artif. Intell. 2022. Vol. 115. Article ID 105151. DOI: https://doi.org/10.1016/j.engappai.2022.105151