“Сотрудничество” AI и человеческого интеллекта: преимущества и ограничения

Software
Источник: GAAP.RU
Опубликовано: 21 Ноября 2019


Источник: Compliance Week

Kreller Group, специализирующаяся на проведении процедур due diligence в международных группах компаний S&P 100 и 500, представила на днях отчет по результатам изучения возможностей использования в этой работе автоматизированных систем, функционирующих на искусственном интеллекте в контексте антиотмывочной деятельности и антикоррупционого комплайенса. Машинное обучение и AI уже вносят свой существенный вклад в данной области благодаря способности быстро обрабатывать колоссальные объемы данных и обнаруживать в них транзакции с аномальными характеристиками, что могло бы сигнализировать о потенциальном мошенничестве. Вместе с тем авторы пишут и про сохраняющиеся весомые ограничения машинного обучения, в том числе проблему ошибочно-положительных результатов, усиление смещения из-за плохо сконструированных алгоритмов, или же применение AI в нарушение этических норм.

Авторы из Kreller берутся утверждать, что даже самые передовые технологии глубокого обучения и нейронные сети все равно не способны принимать решения в новых ситуациях, которым их еще не “обучили”, и это значительное ограничение для применения AI в корпоративных проверках due diligence. Человеческий интеллект, с другой стороны, по-прежнему незаменим во многих ситуациях, поскольку обладает инструментарием, способным разрешить создаваемые AI проблемы и ограничения. В новых ситуациях именно он способен лучше ориентироваться, поэтому лучше подходит для анализа уникального геополитического контекста и инновационных методов обхода международного антикоррупционного законодательства. Тем не менее, “гибридная"’ модель вполне имеет право на существование, опираясь одновременно на сильные стороны AI и преимущества человеческого интеллекта, обеспечивая эффективный и экономный вариант проведения всесторонних проверок. В сегодняшней публикации рассматривается, как именно это выглядит.

Американские реалии

Где-то год назад несколько американских агентств, среди которых Федеральный резервный банк, Федеральная корпорация по страхованию вкладов и департамент Министерства финансов по расследованию финансовых преступлений (FinCEN) выпустили совместное заявление, в котором призвали финансовые институты опробовать в своей практике инновационные методы обеспечения соблюдения антиотмывочного законодательства и Закона о банковской тайне 1970 г. Для стимулирования “экспериментаторского” подхода банкам предоставили достаточно свободы с пилотными проектами (для примера, регуляторы пообещали не вмешиваться, если пилотные программы окажутся неудачными либо выявят недостатки применяющисях сегодня традиционных протоколов соблюдения антиотмывочного законодательства и Закона о банковской тайне). Также инноваторам пообещали свободу от дополнительного регулирования. Рекомендуя банкам опробовать у себя что-то новое, агентства в первую очередь подразумевали искусственный интеллект.

Результаты не заставили себя ждать, хотя тенденции внедрения ИИ наблюдались и до этого. В своем апрельском докладе “Artificial intelligence in Finance”, подготовленном в сотрудничестве с Институтом Алана Тьюринга, Бонни Бьюкенен (Bonnie Buchanan - профессор корпоративных финансов и глава кафедры финансов и бухгалтерского учета Университета Суррей) отмечает целую волну инноваций с применением AI в финансовой отрасли за последние годы. Она оперирует определением интеллекта (искусственного или любого другого) от Джерри Каплана (Jerry Kaplan), американского ученого-футуриста. Интеллект в этом понимании - это способность делать обобщения в ограниченное время на основе имеющихся данных. Бьюкенен в своей публикации заключает, что искусственный интеллект и его составляющие (машинное обучение и глубокое обучение) идеально подходят для целей обработки информации в отрасли финансовых услуг.

Алгоритмическая торговля, портфельная оптимизация, робоконсультанты, обнаружение хищений - лишь некоторые из множества примеров приложений, функционирующих на основе AI. Машинное обучение, под которым подразумевается способность искусственного интеллекта брать данные и алгоритмы и применять их в новых сценариях без необходимости прямого программирования, а также глубокое обучение уже показали свою действенность и в обнаружении и предотвращении хищений.

Сегодня банки уже научили свои ИИ-приложения обнаруживать потенциально опасные транзакции на основе исторических данных, благодаря чему даже транзакция по покупке кофе с пирожным с помощью кредитки может быть отклонена, если вы не сообщили своему банку о предстоящем путешествии в Азию: “спасибо” машинному обучению, покупки кофе с пирожным в этой ситуации могут посчитать аномалией. Со временем, после обработки множества транзакций, машинное обучение позволит системе перекалиброваться и далее не вешать ярлык подозрительности на кофе и пирожные в кондитерской, однако скорость, с которой система изучает потребительские предпочтения того или иного клиента, будет иметь огромные последствия для эмитентов кредитных карт и их клиентов. Проблема ошибочно-положительных результатов почти неизбежная, если речь идет о политике предотвращения мошенничества, но грамотно настроенные инструменты прогнозирования позволяют минимизировать количество отклоненных транзакций, что сохраняет репутацию эмитента в глазах клиента.

Словарь основных терминов

  • Искусственная нейронная сеть (Artificial neural network - ANN) - алгоритм ИИ, попытка имитации человеческого мозга: аналогия взаимосвязанных “нейронных” сетей, посылающих информацию друг другу
  • Алгоритмы “черного ящика” (Black box algorithms) – ситуация, когда процесс принятия решений или его итоги не могут быть объяснены компьютером или человеком, но используются как данные
  • Компьютерное видение - область ИИ, касающаяся обучения машин восприятию и интерпретации визуального мира
  • Глубокое обучение – совокупность взаимосвязанных искусственных нейронных сетей, обеспечивающих более глубокое машинное обучение
  • Генеративно-состязательная сеть (Generative adversarial networks) – две нейронные сети, “обученные” работать с одним и тем же набором данных - в этом случае, когда одна пытается создавать похожий контент, вторая сверяет его на соответствие изначальному варианту и тем самым заставляет создающую сеть вносить коррективы. Принцип может использоваться в компьютерном творчестве (создание рисунков, написание музыки)
  • Машинное обучение - алгоритм, подразумевающий обучение компьютерных систем на основе данных с целью выполнения определенных задач. Именно в этой области сегодня наблюдается настоящий исследовательский бум
  • Обработка естественного языка (Natural language processing) – направление, связанное с обработкой и синтезом естественных языков, письменных и устных
  • Контролируемое обучение - техника машинного обучения решению специфических задач на основе набора данных, которые предварительно были размечены живым человеком. Прогнозирование погоды - самый подходящий пример этому
  • Неконтролируемое обучение - машинное обучение на основе неразмеченных данных. В этом случае ИИ сам должен обнаружить во всем этом смысл

Еще одной причиной, почему машинное обучение приобрело такую впечатляющую популярность в финансовой сфере, стала способность ИИ-приложений обрабатывать огромные объемы данных, выявляя в них необычные транзакции, которые потенциально могут сигнализировать о фактах отмывания денежных средств и мошенничества с платежами - например, ситуациях, когда злоумышленник “маскируется” под легального поставщика товаров и пытается направить платеж себе вместо него. Технологии машинного обучения (особенно грамотно сочетающие в себе элементы контролируемого и неконтролируемого обучения) показали себя более эффективными против таких схем перенаправления платежей, чем традиционно применявшиеся до той поры инструменты противодействия. Кроме того, на преимущества AI обратили внимание и бухгалтеры-криминалисты.

Способность ИИ обрабатывать обширные объемы данных и быстро осуществлять рутинные задачи оказалась полезной не только в предотвращении мошенничества с кредитными картами и платежами, но и с обнаружением деятельности, связанной с отмыванием - теперь это используется составной частью банковского протокола “Знай своего клиента” (Know-your-customer, KYC). Более того, как пишет Бонни Бьюкеннен, антиотмывочная деятельность на самом-то деле была одной из первых сфер применения AI, имея в виду использование департаментом Министерства финансов по расследованию финансовых преступлени (FinCEN) еще в 1993 году! За первые два года Системы искусственного интеллекта FinCEN (FAIS) смогли обнаружить примерно 400 потенциально связанных с отмыванием инцидентов на общую стоимость около $1 млрд.

Сегодня, по мере развития такого направления ИИ как обработка естественного языка, идет разработка большого числа различного рода приложений, способных сканировать регистрационные документы клиентов на самых разных языках мира в поисках признаков отмывания еще при регистрации. Для примера, деловое издание Wall Street Journal недавно сообщало о релизе компанией Fair Isaac Corp. (FICO) двух AI-решений, которые обеспечивают выполнение протокола “Знай своего клиента” без необходимости проведения персональной идентификации: первое использует распознавание лица для соотнесения “селфи” клиента с его идентификационным фотом, второе проверяет “цифровую идентичность” клиента через поведенческие биометрические данные (скорость набора текста или частота использования мобильного устройства).   

Недостатки искусственного интеллекта

Выше было показано, насколько хорошо ИИ уже “вписался” в систему финансового комплайенса благодаря своей способности извлекать полезную информацию из данных по миллионам индивидуальных транзакций. В марте 2018 года информагентство Reuters писало в одном из своих материалов о том, что традиционные системы антиотмывочного комплайенса в банковской отрасли сегодня анализируют данные, преимущественно используя методы обнаружения, “заточенные” под необычные паттерны поведения (такие как слишком быстрые перенаправления денег с одного счета на другой, аномально высокие остатки на счетах, сложно структурированные транзакции). После подключения к ним ИИ удалось сделать обнаружение более эффективным, однако даже с искусственным интеллектом у систем обнаружения на основе принятых клиентами решений все еще слишком много недостатков.

В статье Reuters ее авторы напоминают, что основанная на поведенческих аспектах модель уже показала себя недостаточно эффективной, в результате чего американские регуляторы накладывали рекордные штрафы на финансовые институты, оказавшиеся неспособными обнаружить террористическую деятельность, наркокартели, даже просто масштабный уход от налогов довольно известными людьми. Корневая причина именуется “ошибочно-положительными результатами”: согласно приведенной в статье статистике, лишь 2% сигналов системы приводят к составлению банками требуемых от них в таких случаях отчетов о подозрительной деятельности (suspicious activity report - SAR) В то же время “ложные тревоги” стоят представителям финансовой отрасли немало средств и времени на расследование. А опытные мошенники, между тем, уже научились так проектировать свои транзакции, чтобы система обнаружения не срабатывала вовсе. Это значит, что финансовые институты по-прежнему очень уязвимы перед финансовыми преступниками.

Cхемы отмывания, разрабатываемые сегодня международными преступными группировками, становятся все более сложными, причем разные группировки используют разные методы, в зависимости от того, что именно это за группировка, каковы источники ее средств, и какие она применяет методы конвертации “грязных” денег в легальные счета. Методы обнаружения на основе анализа поведенческих аспектов фокусируются на красноречивых внешних признаках связанных с отмыванием транзакций, тогда как надзорная деятельность федеральных агентств фокусируется на другом - на операционных и организационных факторах каждой преступной группировки. В центре находится сам “агент” (правонарушитель, потенциальный или фактический), благодаря чему удается засветить гораздо больше “красных флажков” по сравнению с подходом, фокусирующемся на аномальных транзакциях. Кроме того, то же издание Reuters напоминает, что каким бы совершенным ни было машинное обучение (пусть даже оно неконтролируемое) - все равно оно разрабатывается техническими специалистами, которые могут и не иметь глубоких познаний в области финансового регулирования, а значит - понятия не иметь о современных трендах и рисках в сфере отмывания преступных доходов.  

Возникает резонное предположение: что если интегрировать сфокусированные на самом “агенте” (а не проводимой транзакции) протоколы обнаружения в KYC - не снизятся ли в результате регулятивные риски для банков? Очевидно, что так. Не менее важно и то, анализ клиента (“агента”) является неотъемлемой частью процедур due diligence, что особенно актуально в случае всесторонних проверок международных компаний, работающих в высокорисковых отраслях.

Показательной стала история 2017 года с одним модным бутиком в Майами, работавшим в сфере домашнего декора: оказалось, что он связан с международной контрабандой золота, доходы от которой шли перуанским наркокартелям. Бутик домашнего декора работал по одному адресу с компанией MVP Imports LLC - обе организации принадлежали бизнесмену их Южной Флориды, Джеффри Химмелю (Jeffrey Himmel), сколотившему состояние на обновлении устаревших, некогда популярных брендов. MVP Imports LLC фигурировала (хотя официально обвинения против компании не выдвигались) в криминальном расследовании против NTR Metal – компании-торговце золотом из г. Дорал (шт. Флорида); по утверждению некоторых, он находится в центре едва ли не крупнейшего случая отмывания с ценными металлами в истории США.

Материнская по отношению к NTR Metal организация, Elemental LLC, в марте 2018 г. была признана виновной в нарушении Закона о банковской тайне, из-за того что не придерживалась строгих антиотмывочных протоколов, каких требуют от торговцев ценными металлами. Согласно выводу офиса Федерального прокурора США по южному округу Флориды, пренебрежение антиотмывочными протоколами в NFT было столь очевидным, что они без вопросов принимали золото от поставщиков из Южной Америки, даже несмотря на публично доступную информацию о причастности этих поставщиков к криминальным сделкам с золотом. Как писала в том году газета Miami Herald, Elemental была признана виновной после признания трех своих трейдеров в участии в схемах отмывания и контрабанды, в ходе которых у криминальных структур из Южной Америки было закуплено золота на $3,6 млрд., добытого, предположительно, с незарегистрированных шахт в перуанских лесах, находившихся под управлением местных наркокартелей. Помимо нелегальной золотодобычи, наркокартели еще и наносили непоправимый вред окружающей среде через массовую вырубку лесов и грязные технологии добычи с использованием тяжелых металлов, включая ртуть. Очень многое из только что описанного уже было отражено в публичных источниках до совершения покупки NTR Metal.

В ходе реализации преступной схемы NTR оказалась под давлением перуанских властей, поэтому контрабандный экспорт из Перу в полной мере запустился в конце 2013 года. Одной из близлежащих стран для экспорта оказались США. Вопрос - какой была роль во всем этом Джеффри Химмеля и его MVP Imports? Скорее всего, роль “фигового листика”, чтобы NTR имела возможность скрыть уже свою роль в качестве конечного получателя золотых поставок в глазах таможенников. Впрочем, по утверждению Химмеля, он был не в курсе участия MVP Imports во всей этой схеме, по причине чего чувствует себя преданным и клянет себя за то, что “не углядел акул, плававших под водной поверхностью ”.

Какой вывод напрашивается из всей этой истории? Расследования, основанные на изучении самого “агента”, а не отдельных транзакций - верный инструмент для бизнеса, желающего получить адекватное представление о рисках, скрывающихся под поверхностью. Осведомленность о наличии связей между наркоторговлей и контрабандой золота в Латинской Америке, вкупе со всесторонней проверкой источников дохода и транзакций компании NTR, наверняка обеспечила бы эффективную систему противодействия отмыванию.

В то же время использующиеся сегодня в финансовой индустрии модели обнаружения хищений, основанные при этом на жестких правилах и установках, даже в сочетании с машинным обучением характеризуются серьезным недостатками, и самый существенный из них - относительное бессилие в абсолютно новых ситуациях. В некоторых случаях это “слепое пятно” искусственного интеллекта может иметь трагические последствия, как это произошло с беспилотным автомобилем в г. Темпе (шт. Аризона) в мае 2018 года. Беспилотный автомобиль Uber двигался по плохо освещенному участку улицы, когда ее стал пересекать пешеход в темной одежде, ведя за собой рядом велосипед. Пешеход пересекал улицу в неположенном месте, поэтому перехода на этом участке улицы программа не распознавала. Компьютерная система авто зарегистрировала препятствие примерно за шесть секунд до столкновения на скорости 43 м/ч (ок. 60 км/ч), но не смогла правильно его классифицировать. Отчет Национального совет по безопасности на транспорте (NTSB) свидетельствует, что сначала препятствие было идентифицировано как неизвестный объект, далее как транспортное средство, и уже затем как велосипед, при этом определить траекторию движения система не смогла или не успела. Из-за задержки с идентификацией беспилотник применил механизм торможения лишь за 1,3 секунды до столкновения, приведшего к смерти пешехода. Как это отражено в более позднем отчете NTSB уже этого года, автоматизированная система в беспилотном автомобиле, который насмерть сбил пешехода в г. Темпе, просто не была запрограммирована на распознавание людей, пересекающих улицу вне пешеходного перехода, что и затруднило быстрое распознавание препятствия на дороге и фатально задержало принятие команды на экстренное торможение.

Пример очень показателен в том плане, что он иллюстрирует собой множество ситуаций, когда искусственный интеллект может “обдумывать” различные вещи совершенно иначе, чем это делал бы человек. Человек на дороге в неположенном месте - довольно распространенная ситуация, если подумать, но AI оказался к ней совершенно не готов. В более общем случае, столкнувшись с чем-то новым для себя, системы на ИИ будут перебирать среди множества ответных действий, что приведет к контрпродуктивным, а иногда - как в только что рассмотренном случае - даже трагичным исходам.

Такое противоречащее “человеческому” здравому смыслу поведение ИИ также стоит за известным биржевым феноменом, которые имеет название “flash crash” (“вспышка”, “молниеносный обвал”): цены на акции очень резко проседают перед последующим отскоком. Мэтт Левайн (Matt Levine), бывший инвестиционный банкир Goldman Sachs, рассказал в своей авторской колонке Bloomberg 3 января этого года, что такие молниеносные обвалы обычно объясняются поведением ИИ-систем, работающих в соответствии с прописанными алгоритмами или командами. Иногда эти команды могут очень сильно отличаться от поведения человека в реальном мире.

Он объяснил ситуацию на реальном примере: “Многие люди, которые владеют, например, акциями Tesla, продали бы их, если бы цена удвоилась. Многие люди, которые ими не владеют, купили бы их, если бы цена упала на 50%; очень немногие из этих людей при этом потрудились проинформировать брокеров о своих пожеланиях. Просто нет такой надобности, понимаете? Если цена упадет на 50%, вы можете подать заявку на покупку; если удвоится, вы можете продать - думать об этом прямо сейчас нет нужды... Но если слишком много людей захочет продать одновременно - или если один человек захочет продать сразу много - возникнет небольшая, чисто техническая проблема. График рыночного спроса, заложенный в компьютерную систему, очень примерный и ограниченный: он отражает не фактический спрос на что-либо в мире, но заявки людей, которые люди потрудились заложить в компьютерные системы на основе текущей цены”.

Неорганизованный характер запрограммированного графика рыночного спроса, вкупе со многими другими сложными алгоритмическими факторами может приводить к таким сценариям неожиданного обвала. По мнению Левайна, это не тот случай алгоритма “черного ящика”, когда поведение не имеет логичного объяснения для человека, а, скорее, это обратный случай: поведение людей становится непостижимым для компьютера. Машинное обучение позволяет ИИ выучить многие элементы поведения человека довольно эффективно - покупать и продавать акции по определенной цене, даже вести машину по улицам города самостоятельно. Однако эта эффективность имеет значительный изъян: ИИ не может полностью изучить все возможные аспекты. У современных систем ИИ возникают сложности в неожиданных и незапрограммированных заранее ситуациях, и даже в случае с неконтролируемым и глубоким машинным обучением этот процесс все равно идет на основе проб и ошибок. А ошибки могут означать серьезные потери для человека.

Ограничения AI в новых ситуациях ограничивает его применение в сфере корпоративного комплайенса. Международные преступные синдикаты могут иметь очень комплексную, хорошо организованную структуру, позволяющую им находить обходные пути вливания “грязных” денег в финансовые системы стран мира. Компьютер не может учесть и коррупционный фактор. Ушлые дельцы из преступного мира всегда найдут лазейки в системе, поэтому самым эффективным способом противодействия отмыванию будет использование не менее адаптивного подхода к анализу рисков и расследованиям, который искусственный интеллект самостоятельно обеспечить не сможет.

Эта мысль привела к росту скептицизма в отношении перспектив массового распространения технологий AI. Есть мнение, что искусственный интеллект всегда будет инструментом усиления социального неравенства и дискриминации, причем примеры этого действительно были. В октябре прошлого года агентство Reuters сообщило о приостановке использования инструмента рекрутинга на основе ИИ компанией Amazon, после того как выяснилось, что компьютер явно отдавал предпочтение анкетам от мужских кандидатов на топовые позиции в компании. Запущена программа была в 2014 году. Элемент машинного обучения основывался на анализе всех предыдущих резюме, однако по причине засилья сотрудников-мужчин в технологическом секторе на протяжении всего десятилетия, предшествующего разработке программы, компьютер обучался в основном именно на “мужских” анкетах, что привело к тому, что более низкие баллы программа ставила, например, выпускницам женских колледжей (какими бы одаренными они ни были), или даже просто анкетам, содержащим упоминания слова “женский” в каком-либо контексте (например, “капитан женского клуба по шахматам” в разделе хобби и дополнительных интересов). Программа даже научилась “дискриминировать” на основе словесных оборотов, более характерных для представителей мужского рода. Хотя Amazon эти ошибки исправила, от проекта пришлось отказаться, так как при его колоссальном объеме с технической точки зрения уже нельзя было быть уверенными в том, что в систему не закрались какие-либо еще элементы социального неравенства. Однако Amazon - далеко не единственная компания, которая сегодня использует такие инструменты в своей практике, и любая такая организация рискует нарушить раздел VII Закона о гражданских правах 1964 г. (это если говорить о правовой системе США).    

По аналогии с растущим спросом на применение ИИ в рекрутинге на основе анализа данных резюме растет интерес к применению ИИ в качестве инструмента прогнозирования рисков. Постепенно такие ИИ-инструменты находят свой путь в судебную систему и иногда даже используются для вынесения приговоров - но и здесь без проблемы смещения дело не обходится.

В мае 2016 года некоммерческая организация журналистов-расследователей ProPublica оценила эффективность системы прогнозирования рисков по 7000 арестованных в период с 2013 по 2014 г.; место действия - округ Бровард во Флориде. Согласно данным Propublica, для оценки рисков использовалсь разработка компании Northpointe, которая носила название “Correctional Offender Management Profiling for Alternative Sanctions” (“COMPAS”)

Исследователи сопоставили результаты анализа риска правонарушений по COMPAS с фактическими данными повторных правонарушений в следующие два года, чтобы оценить качество прогнозирования по алгоритму COMPAS. Выяснилось, что этот инструмент очень ненадежен в плане предсказания, поскольку лишь 20% людей, по которым было спрогнозировано совершение преступление, фактические его совершили впоследствии. Более того, данный инструмент показал системное смещение в сторону чернокожего населения: афроамериканцы на 77% чаще относились к рисковой категории в плане совершения серьезного преступления в будущем, и на 44% - в плане совершения любого правонарушения, притом что факторы возраста, половой принадлежности, криминальной истории все были занесены в программу и учитывались. Что в данном случае, что в предыдущем случае с корпоративным рекрутингом ситуацию осложняет низкая прозрачность вокруг систем машинного обучения. Даже в случае с COMPAS адвокаты, хоть и имеют доступ к отчетам системы, не имеют представления о том, как данные по их подзащитным конвертируются в количественный прогноз. А корпорации свои подходы к найму нового персонала тем более будут скрывать.

Основные выводы

  • Применение AI в анализе транзакций, как это часто делается сегодня в финансовой сфере, ведет к ошибочно-положительным результатам, что отвлекает фокус внимание на случаи, которые на самом деле не содержат высокого уровня риска
  • Несмотря на то, что AI-приложения способны пропускать через себя огромные объемы данных, обнаруживая в них аномалии, регулирующие и правоохранительные органы акцентируются на “агентах” и организациях, от имени которых те действуют. Таким образом, они могут обнаружить риски и нарушения, ускользнувшие от внимания систем ИИ
  • Машинное обучение, которое фокусируется на анализе транзакций, упускает важную информацию, более заметную в уникальном бизнес-контексте. Социально-политические аспекты - тому пример
  • Излишняя зависимость от использования алгоритмов “черного ящика” в оценке, особенно в таких сферах как рекрутинг, может иметь серьезные регулятивные последствия
  • У машинного обучения серьезные ограничения в обработке новых форм данных и поиске новых, незапрограммированных заранее вариантов решений  

Окончание в следующем выпуске

Теги: AI  ИИ  искусственный интеллект  машинное обучение  Kreller Group  due diligence  автоматизированные системы  антиотмывочная деятельность  антикоррупционный комплайенс  ошибочно-положительные результаты  глубокое обучение  нейронные сети  человеческий инт