Управление рисками искусственного интеллекта по модели COSO

По материалам: COSO

Искусственный интеллект все сильнее проникает во все сферы человеческой деятельности, не минуя и бизнес. Никакой человеческий разум не способен настолько быстро анализировать большие объемы данных! При умелом использовании эти передовые технологии цифровой эры способны трансформировать бизнес-стратегии и операционные процессы. Как это случилось в свое время с решениями по автоматизации, так и бизнес-процессы рано или поздно ждет тотальная роботизация (RPA), поэтому избегать ИИ-решений бесконечно не выйдет, и гораздо раньше наступления критического момента начнет ощущаться отставание от коллег по отрасли (неважно, какой именно).

Тем более что самые передовые организации давно поняли, куда ветер дует, и инвестируют сегодня в мировом масштабе десятки миллиардов долларов в ИИ-проекты (через три года эта цифра должна удвоиться[i]). В отдельных случаях инвестиции в технологии искусственного интеллекта настолько масштабны, что они уже сейчас формируют собой основы бизнес-моделей (как в случае со многими технологическими стартапами). В результате организации даже вынуждены отойти от привычных моделей оценки кредитного рейтинга и использовать альтернативные параметры. Этот процесс, как правило, автоматизирован и более эффективен, что улучшает принятие деловых решений.

Но есть и обратная сторона медали. Возьмем управление рисками как пример: здесь также можно прикрутить технологии ИИ и сделать риск-менеджмент намного более эффективным. А если говорить о частностях, то искусственный интеллект обеспечивает организациям дополнительную стоимость благодаря своей способности:

• Сокращать расходы
• Ускорять реализацию процессов
• Проводить предиктивный анализ
• Менять взаимодействие человека с цифровыми системами
• Претворять в жизнь инновации

Но как управлять рисками самого ИИ? Ответ на этот вопрос пытаются дать авторы недавней публикации из Deloitte & Touche LLP, которые разъясняют особенности применения Основ управления рисками (COSO ERM Framework) от Комитета спонсорских организаций Комиссии Тредвея. Вкратце об этом рассказывалось в одной из недавних новостей, а подробности разберем прямо сейчас.

Чтобы понимать управление связанными с ИИ рисками, нужно в первую очередь хотя бы базово разобраться с ИИ-алгоритмами и их построением. На самом-то деле искусственный интеллект все равно пишется людьми с использованием программного кода (пока что, по крайней мере: развитие ИИ еще не достигло стадии самосознания, поэтому воспроизведение им самого себя на данный момент принадлежит области фантастики – GAAP.RU). Что из этого следует? Из этого следует наличие все того же человеческого фактора, которому требуются инструменты управления и контроля по аналогии с другими бизнес-процессами - например, подготовкой финансовой отчетности и разработкой программного обеспечения. Чтобы спроектировать эти инструменты контроля, опять же, нужно понимание того, как устроен и как функционирует искусственный интеллект.

Для иллюстрации, есть три распространенных типа алгоритмов машинного обучения как разновидности ИИ:

1. Неглубокое обучение
2. Глубокое обучение
3. Обучение с подкреплением

Их всех объединяет работа с данными – классификация, прогнозирование, генерация новых данных – просто каждый тип машинного обучения подходит для решения поставленных задач в разной степени. В случае обучения с подкреплением, например, испытываемая система обучается в процессе взаимодействия со средой, благодаря чему вырабатывается способность принимать последовательности решений, обеспечивающих наиболее эффективное решение задач. Соответствующие приложения на этой основе способны, например, выигрывать партию в шахматы у гроссмейстера.

Неглубокое обучение подразумевает обучение специализированным алгоритмам под конкретные задачи. Системы вполне способны проводить кластеризацию данных и построение регрессий, и они неплохо справляются с такими несложными задачами как прогнозирование спроса или классификация рисков. Но именно глубокое обучение за последние лет десять действительно стало фактором, меняющим условия игры в мире бизнеса! Визуализация, обработка естественных языков, обнаружение аномалий - с помощью нейронных сетей в этом удалось добиться поистине фантастических результатов. Проявления мы встречаем повсеместно: взять хотя бы простейшие чат-боты, оказывающие посетителям сайтов помощь в навигации по сайту. Вообще же возможности для применения ограничены разве что человеческим воображением.

Общую схему создания алгоритмов машинного обучения, таким образом, можно описать в следующих шести шагах:

1. Формулировка задачи - и то, каким образом с ней может справиться ИИ;
2. Профилирование данных – то есть определение источников данных для решения задачи и дополнительной информации, которая для этого будет нужна;
3. Подготовка данных - определение тех из них, которые требуют трансформации, нормализации и очистки;
4. Оценка алгоритма - использование наилучших подходов к выбору алгоритма для решения конкретной задачи. Иногда команды по работе с данными могут работать сразу над несколькими алгоритмами, чтобы по итогу выбрать наилучший;
5. Разработка модели - собственно, машинное обучение выбранного алгоритма или нескольких, их тестирование, проверка результатов;
6. Непосредственное использование модели, мониторинг ее работы, улучшение. Важно помнить, что результативность модели может со временем снижаться. Для примера, можно заставить алгоритм прогнозировать потребление электроэнергии, но модель со временем придется обновить, чтобы принять в расчет такой фактор как распространение солнечных панелей в некоторых странах. И конечно, весь пандемийный 2020 год стал одной большой иллюстрацией необходимости обновлений.

По мере распространения искусственного интеллекта и машинного обучения начинают вырисовываться основные преимущества этого, которые и называют участники опроса от известной исследовательской организации Gartner[ii]. Как выясняется, для большинства это:

1. Улучшение эффективности бизнес-процессов, и
2. Улучшение качества существующих продуктов и услуг.

А что касается двух основных причин для инвестирования в ИИ-инфраструктуру, то тут уже два самых популярных ответа - это желание добиться увеличения доходов/сокращения расходов и усиления конкурентных позиций (в том числе в форме защиты от быстрорастущих стартапов).

Другое дело, что далеко не всем удается по факту достичь поставленных целей. Согласно данным Deloitte, результативнее всего оказывается повышение эффективности бизнес-процессов (в принципе, это можно было предположить и так): среди примерно 30% опрошенных, кто называл это в качестве основной цели инвестирования в AI, значительное повышение эффективности зафиксировали около 40% организаций. Улучшение принятия деловых решений, улучшение качества продуктов и услуг, повышение производительности труда и получение новой полезной аналитики также относятся к целям, которых, согласно приведенным данным, удается достичь более чем в 36% случаев, хоть и не все из них являются популярными (скажем, повышение производительности труда называют менее одного респондента из пяти).

А вот ради чего в технологии искусственного интеллекта лучше не инвестировать вообще, так это ради, например, снижения численности сотрудников (иначе говоря, экономии на зарплатах): цель, в принципе, достижима чуть более чем в 30% случаев, но при этом ставится реже всего (примерно в 10%). Также маловероятными в плане реализации задачами можно назвать разработку новой бизнес-модели, снижение расходов (лишь в одном случае из трех), создание новых продуктов или услуг, улучшение отношений с клиентами. Маловероятность, впрочем – понятие относительное, и аналитики Deloitte берут в качестве линии отсечения 36% (как долю респондентов, зафиксировавших положительный исход), но у каждого могут быть свои оценки.

Алгоритмы ИИ действительно способны делать все то, что могут делать – и что делали раньше - обычные люди, просто намного быстрее и эффективнее. Как считают эксперты, в течение следующих 10 лет фокус будет постепенно смещаться на вещи, которые обычные люди делать вообще не в состоянии, просто потому что не способны обнаруживать нюансы, доступные для обнаружения ИИ. Примером можно привести фармацевтику: ИИ сможет интерпретировать микроскопические изображения, недоступные даже глазу обладателя ученой степени. Искусственный же интеллект сможет быстро сопоставлять между собой микроизображения пораженных и здоровых клеток и разрабатывать на основе этой информации специфические медикаменты для борьбы с болезнью. Конечно, с достаточной квалификацией в медицине это сопоставление смогут делать и врачи, просто это будет для них очень трудозатратно.

Риски AI

Искусственный интеллект в свете таких перспектив представляться чуть ли не панацеей в плане бизнес-трансформации, однако стоит помнить о рисках, которые несут с собой технологии их внедрение. Именно эти риски предстоит минимизировать с помощью базовых основ COSO ERM. Какие именно это риски?

1. Смещение, ненадежность результатов вследствие неподходящих или нерепрезентативных данных
2. Невозможность трактовки/объяснения результатов модели ИИ
3. Ненадлежащее использование данных
4. Уязвимости перед кибератаками с целью получения данных и/или манипуляций с ними
5. Социальные последствия быстрой трансформации в результате перехода на технологии ИИ

Практические последствия материализации этих рисков могут принять самых разные формы: ущерб для репутации, уменьшение организационной стоимости, штрафы, судебные издержки. Риски пугают организации, по причине чего более половины (56%) респондентов признались, что внедрение технологий искусственного интеллекта в их случае идет медленными темпами. Однако этот аргумент не сможет долго оставаться превалирующим, ведь иначе организации рискуют утратить свои конкурирующие возможности. Вместо того чтобы постоянно давить на тормоза, лучше использовать более продуманные подходы к внедрению, предполагающие эффективный риск-менеджмент.

Проведенный Deloitte опрос “State of AI in the Enterprise” иллюстрирует подчас серьезные расхождения между “обеспокоенностью” организаций в отношении различных видов ИИ-рисков и фактической готовностью к ним. Для ускорения внедрения технологий искусственного интеллекта необходимо постепенное устранение этого расхождения, чего на данный момент пока не наблюдается.

Если взять для примера риски регулирования, то здесь беспокойство вызывает не только сегодняшнее законодательство: пока что оно находится на стадии зарождения, хотя тот же Общий регламент по защите персональных данных (GDPR), действующий с 2018 года, уже оговаривает очень серьезные материальные последствия за неправомерное обращение с данными. Однако можно лишь гадать, какие еще требования могут быть введены в скором будущем по мере распространения применения технологий искусственного интеллекта в бизнесе.

Модель COSO ERM: согласованное с бизнес-моделью и стратегией управление ИИ-рисками

Проблему управления ИИ-рисками усложняет тот факт, что системы искусственного интеллекта, как правило, не изолированы в рамках отдельного бизнес-направления (например, ИТ), но в большинстве случаев охватывают собой множество организационных систем. Хорошей новостью является то, что искусственный интеллект с точки зрения систем корпоративного управления, риск-менеджемента и внутреннего контроля не отличается от других технологических составляющих. Это значит, что здесь можно применять уже хорошо известную в течение многих лет (с 2017 года, собственно, когда была представлена ее последняя версия) модель COSO ERM Framework, которая “вписала” управление рисками в организационную структуру, органично распределив ее по пяти основным составляющим. Рассмотрим их теперь детально

Организационное управление, корпоративная культура

Это то, что лежит в самой основе управления рисками. Корпоративное руководство обеспечивает функционирование ERM, а корпоративная культура находит свое отражение в принятии деловых решений на всех организационных уровнях. По мнению Комитета спонсорских организаций Комиссии Тредвея, перечисленные компоненты должны отражать собой миссию организации и ее ключевые ценности. Последние очень важны для адекватного осуществления надзора за всеми связанными с AI инициативами и разработанными моделями в контексте реализации общей корпоративной стратегии и достижения целей бизнеса.

Сам управляющий совет при этом может и не участвовать в AI-инициативах напрямую и быть не в курсе всех подробностей, но при этом обязан уметь задавать правильные вопросы менеджерам. Если директоры понимают AI и его последствия, они задают правильный тон на самом верху.

Данные проводимых сегодня опросов свидетельствуют, что лишь одна организация из четырех (26%) имеет отдельного топ-менеджера, ответственного за управление ИИ-рисками. Хорошо это или нет - зависит от конкретных условий. Какие-то инициативы могут быть связаны с использованием довольно простых моделей искусственного интеллекта с незначительными профилями рисков, но другие инициативы могут иметь сложную структуру и затрагивать критически важные сферы бизнеса. В любом случае, по аналогии с другими ключевыми элементами бизнеса, члены управляющего совета обязаны иметь четкое представление о том, какое место в их организационной структуре занимают на данный момент активные проекты, связанные с ИИ.

Важно убедиться также, что мониторингом ИИ-рисков при этом занимаются люди соответствующей подготовки, с опытом в области анализа данных и/или разработки технологий искусственного интеллекта (если это не так, следует задуматься о привлечении специалистов нужной квалификации по аутсорсингу). Эти люди будут оказывать управляющим советам консультативную помощь с принятием решений, связанных с внедрением и использованием AI.

Руководители также должны понимать, как именно им определять успешность разработки, внедрения, использования, мониторинга и улучшения ИИ-инфраструктуры. Для определения успешности нужны подходящие показатели и индикаторы. Все эти аспекты очень важны, поскольку имеют прямое отношение к увязыванию ИИ-инициатив с ключевыми ценностями организации, что с практической точки зрения подразумевает подотчетность, для которой организации потребуется документирование и фиксация процессов.

Для большей эффективности управления рисками со стороны руководства компании также потребуется руководство в отношении данных, использующихся ИИ-системами: организациям необходимо сначала определить, какие именно данные нужны для успешного внедрения искусственного интеллекта. Алгоритмы ИИ используют базовые данные для получения новых моделей, способных прогнозировать будущие события, но если изначальные данные для этого не подходят, прогнозы будут ошибочными. Данные должны быть репрезентативны по отношению к общей популяции, и в отношении данных должны действовать четкие правила по их использованию и раскрытию (оговаривающие, в том числе, вопросы приватности).

Чтобы системы искусственного интеллекта и модели работали, мониторинг за ними необходимо обеспечивать на всех организационных уровнях. В Deloitte различают шесть ключевых характеристик систем, при наличии которых можно быть спокойными за соблюдение этических принципов и надежность стратегии в отношении ИИ. И хотя пока еще не существует единого универсального руководства по вопросам этики в AI, однако их модель Trustworthy AI™ (что примерно можно перевести как “Заслуживающий доверия искусственный интеллект”) служит неплохой основой для понимания и оценки этической составляющей в отношении искусственного интеллекта, поэтому способна дополнить собой модель управления рисками от COSO.

Стратегия и постановка целей

У каждой организации в идеале есть своя стратегия, в соответствии с которой ведется бизнес. Система управления рисками обязана быть в эту стратегию интегрирована, поскольку только так можно обеспечить мониторинг и управление рисками, связанными с реализацией стратегии.

Внедрение технологий искусственного интеллекта - это тоже часть стратегии. В прошлом году Deloitte провела опрос среди стратегических руководителей, больше половины из которых (51%) заявили, что AI теперь является важной составляющей их организационной стратегии, но лишь 17% при этом выразили уверенность в наличии адекватных возможностей для реализации связанных с искусственным интеллектом стратегий. Понимание своего бизнеса в стратегическом ключе означает для организационного руководства понимание внешних и внутренних факторов, способных повлиять на риски ИИ-инициатив.

Если уже использующиеся модели не согласованы с ключевыми ценностями, они способны навредить достижению стратегических целей. Для примера, гендерное равенство является одной из главных ценностей для многих современных организаций, но практика уже показала немало подчас скандальных примеров, когда модели искусственного интеллекта проявляли признаки дискриминации по половому или расовому признаку. Такие примеры раз за разом подчеркивают важность своевременной идентификации проблем с прозрачностью и справедливостью представления (две из шести ключевых характеристик в модели Trustworthy AI™ от Deloitte).

Еще одна сторона этого - определение собственной склонности к риску, поскольку только так можно согласовать свои подходы к определению, оценке и принятию мер в ответ на риск с организационной стратегией. Подробнее про склонность к риску можно почитать в работе[iii] от Комитета спонсорских организаций Комиссии Тредвея.

Одним из важных соображений в определении собственной склонности к риску является калибровка на других представителей отрасли. Итоговый результат будет иметь важнейшее решение для принятия взвешенных решений, в том числе, в отношении проектов искусственного интеллекта. Полностью избежать все риски невозможно, но организации должны иметь четкое представление о подходящем для них уровне с учетом потенциальных выгод, которые это может принести.

Взаимное влияние текущей склонности к риску и разработки стратегий является важнейшим фактором в оценке риска. На основе оценки риска организация определяет действия в ответ на риск. Уже после их принятия необходимо определить, удалось ли достигнуть поставленные задачи с теперь уже более низким риском. Подход достаточно формальный и строгий, однако, по данным опроса Deloitte, лишь одна треть (34%) опрошенных являются сторонниками формализма в отношении любых проектов с внедрением искусственного интеллекта, без чего невозможно адекватно отслеживать и оценивать потенциальные ИИ-риски в каждом из случаев.

На основе склонности к риску в дальнейшем можно определить ключевые показатели эффективности и показатели риска, чтобы с их помощью далее отслеживать работу алгоритмов в течение времени. Разработка показателей на более раннем этапе создания алгоритмов поможет задать ориентиры, на которые можно будет ориентироваться. Отчетность по этим показателями повышает прозрачность и облегчает участие в реализации проектов всех вовлеченных сторон.

Эффективность и результативность

ИИ-риски (как и любые риски в целом) имеют разные источники, и в отношении каждого из них в организации должны быть выработаны свои меры реагирования. Внедрять приложения на основе искусственного интеллекта, если они при этом не заслуживают доверия, категорически недопустимо, а для этого необходимо принимать в расчет соображения эффективности и результативности, чтобы AI-система была надежной и безопасной в плане сохранности данных.

Разные ИИ-модели имеют разные профили риска, поэтому проводить оценку придется отдельно по каждому случаю. Результаты определения риска могут впоследствии пригодиться на случай расширения применения AI-моделей. Кроме того, помимо непосредственного определения рисков, организациям может потребоваться их приоритезация путем оценки каждой модели с точки зрения ее точности, надежности и прозрачности. Если модель требует высокой точности, надежности или прозрачности, весьма вероятно, что приоритет в ее случае будет выше. Кроме того, на приоритет риска будет также влиять и глобальность выполняемой задачи: сравните, для примера, определение уровня продаж на следующий квартал и выбор песни для проигрывания через динамики в фойе, где ожидают встречи клиенты.

Серьезность и приоритет риска должны рассматриваться в контексте бизнеса, его задач и поставленных перед ИИ-моделью целей. Ответные действия могут быть разными: принять риск как он есть, без каких-либо действий по его снижению, избегать (что может означать полный отказ от применения ИИ-модели), минимизировать (риск принимается, но при условии снижения его серьезности), использовать (случай, когда риск находится ниже допустимого предела склонности к риску - по сути, речь идет об увеличении риска ради больших возможностей), либо же разделить, например, с помощью аутсорсинга.

Ключевые подходы к оценке эффективности систем ИИ могут быть следующими (хотя только лишь ими список возможных действий не ограничивается): анализ рисков с целью определения актуальных на данный момент факторов риска; анализ данных, помогающий оценить их качество, целостность и влияние на модели ИИ; тестирование самих моделей (как на адекватность заданных на данный момент параметров, так и на основе реальных данных для выявления скрытых смещений и корреляций); изучение качества внедрения модели; периодические пересмотры алгоритмов уже после внедрения.

Не стоит забывать, что ИИ-модели поддаются взлому, в связи с чем неудивительно, что данные опроса Deloitte показали обеспокоенность киберрисками в связи с применением искусственного интеллекта у 62% респондентов, но при этом лишь 39% фактически готовы к отражению (см. выше). Жесткая политика необходима и для обеспечения сохранности персональных данных, которые могут быть скомпрометированы в результате хакерской атаки извне, либо по недосмотру собственными, что называется, силами. Здесь, опять же, до сих пор сохраняется значительное расхождение между выставленным риску высоким приоритетом в 57% случаев и наличием адекватных механизмов обеспечения сохранности персональных данных (37%).

Мониторинг и корректировка

Ни одно деловое окружение не пребывает в стабильном состоянии вечно, но постоянно меняется. Добавление искусственного интеллекта в эту среду все только усложняет. Для организаций это означает необходимость постоянного пересмотра используемых подходов к управлению рисками и их корректировка по мере необходимости.

В начале статьи уже говорилось о том, что организации ожидают значительных структурных изменений в результате распространения внедрения ИИ как на микроуровне, так и на уровне целых отраслей и экономик. Изменения неизбежно коснутся в этой связи и сферы регулирования, и все эти изменения в совокупности могут оказать в дальнейшем очень значительное влияние на функциональность уже применяемых ИИ-моделей, порождая новые и меняя старые риски. Это, в свою очередь, неизбежно скажется на способности организаций к достижению поставленных бизнес-целей, реализации стратегий – а значит, и на системе управления рисками в организации, которая должна соответствующим образом реагировать.

Пересмотр использующихся подходов к риск-менеджменту, принимая в расчет изменения в эффективности и результативности, помогает отслеживать, как внедренные проекты на основе искусственного интеллекта обеспечивают создание организационной стоимости. Менеджерам необходимо постоянно отслеживать и тестировать активные ИИ-проекты, чтобы убедиться, что они по-прежнему функционируют как надо. Важную роль в этом играют ключевые показатели эффективности и показатели рисков, которые помогают ориентироваться в долгосрочном периоде, ведь задействованные алгоритмы могут и будут постепенно корректироваться. Даже самые отточенные алгоритмы не застрахованы от смещения, и их постоянное тестирование и мониторинг необходимы, поскольку тренды имеют способность с течением времени изменяться.

Модель “Трех линий защиты” вполне может использоваться и здесь, если каждый из ее участников знает и правильно играет свою роль в отношении приложений на основе искусственного интеллекта и проверки их на эффективность и риски.

Информация, коммуникации, отчетность

Современные организации вынуждены постоянно учиться работе с колоссальными объемами данных, беспокоясь при этом по поводу обеспечения необходимой прозрачности, приватности и информационной безопасности. В этой связи очень важно, чтобы нужная информация доводилась до сведения нужных людей в правильной форме, к тому же вовремя. И именно поэтому коммуникационный аспект является еще одной важной компонентой модели управления рисками, в том числе связанными с технологиями AI.

Отчетность по рискам, организационной культуре, результатам деятельности сегодня почти неизбежно основывается на информационных системах, использующихся для получения и обработки данных. На основе этих данных менеджеры принимают решения в отношении управления рисками, включая ИИ-риски. Они - внутренние пользователи отчетности, при этом не единственные. Помимо них, есть еще и внешние пользователи отчетности (например, акционеры и инвесторы), которым также может оказаться важна информация об эффективности применяющихся моделей ИИ, потенциальных выгод от этого, рисках. Отчетный процесс определяет также частоту и способ доведения интересующей их информации до ключевых стейкхолдеров.

С целью повышения устойчивости организаций в Deloitte рекомендуют выработать унифицированный отчет по рискам, на основе которого менеджеры и члены управляющего совета директоров будут осуществлять контроль за рисками, включая ИИ-риски. Отчет может отражать собой важные обновления в ключевых показателях эффективности и показателях риска по моделям ИИ, а также результаты мониторингового процесса. Своевременность доведения этих сведений до ключевых пользователей (в том числе с учетом непредвиденного развития событий) критически важна для разрешения проблем, прежде чем они перерастут в проблемы необъятных размеров и спровоцируют кризис. Впрочем, на случай по-настоящему кризисных ситуаций рекомендуется задействовать свой отдельный протокол реагирования.

Основы управления организационными рисками COSO ERM вполне позволяют идентифицировать и управлять связанными с технологиями ИИ рисками и вырабатывать наилучшие практики в целях оптимизации результатов, снижая угрозы до приемлемого уровня.

[i] Данные International Data Corporation (IDC) – “Worldwide Spending on Artificial Intelligence Is Expected to Double in Four Years, Reaching $110 Billion in 2024, According to New IDC Spending Guide”

[ii] 2019 Gartner, AI in Organizations Survey

[iii] “Risk Appetite – Critical to Success: Using Risk Appetite to Thrive in a Changing World”