Искусственный интеллект и дефектные модели

Искусственный интеллект и дефектные модели

С методологиями «ДатаОпс» и «ДевОпс» многие уже знакомы, но на смену им приходит очередной «опс» — «МоделОпс». Эксперты прогнозируют, что в ближайшее время она займет лидирующие позиции среди ключевых тенденций сферы информационных технологий.

Для чего людям потребовалось создавать очередной метод, особенно в сегодняшних условиях, когда экономика переживает тяжелые времена? Ответ кроется в искусственном интеллекте. Методика ModelOps необходима, чтобы иметь возможность держать его под контролем.

«МоделОпс» представляет собой метод, с помощью которого можно управлять стадиями развития систем обучения машинного алгоритма и аналитики, создавать способы и инструментарий для получения реального результата от внедрения систем в производственный процесс.

Россия и искусственный интеллект

В 2020 году провайдер «Ростелеком» и агентство Tadviser организовали опрос среди ста крупнейших отечественных компаний, представляющих важнейшие сектора экономики. Это предприятия добывающей и обрабатывающей отраслей, телекоммуникационные, финансовые, транспортные, торговые и госсектора.

Опрос касался того, какой эффект они получили в результате использования систем, созданных на основе искусственного интеллекта. Это весьма любопытное исследование, поскольку мы привыкли наблюдать за результатами изучения иностранных организаций, не особо понимая, применим ли их опыт к российским реалиям.

Казалось бы, тема вполне перспективная, ведь общий «выхлоп» от внедрения и использования искусственного интеллекта в шестидесяти двух отечественных организациях за девятнадцатый год составил шестьдесят миллиардов рублей.

Большинство опрошенных компаний уже закончили с пилотной стадией, начав активно внедрять программы с применением ИИ-технологий. Свыше семидесяти процентов из них уже имеют положительные экономические результаты от реализации подобных проектов. Девяносто компаний из ста не боятся, что эффект от применения ИИ-решений сократится, несмотря на коронавирусную пандемию.

Однако в исследовании присутствует такая оговорка: только у восемнадцати процентов предприятий-респондентов финансовый эффект от ИИ-проектов реально подтвержден экономистами компаний. Среди причин, мешающих развитию подобных программ в организациях, можно выделить невысокую рентабельность ИИ-решений и отсутствие понимания того, приносят ли они реальную финансовую выгоду компании или нет.

Итак, в 2019 году общий результат от проектов внедрения машинного интеллекта у опрошенных организаций составил порядка 60 миллиардов рублей. Причем 27 миллиардов — это увеличение дохода, а 32 миллиарда — сэкономленные средства. Особо стоит отметить, что четыре пятых респондентов оценивали эффект не на основе каких-то цифр, а субъективно. Примерно 33% респондентов вообще затруднились дать оценку эффекта, полученного благодаря внедрению AI-решений, поскольку либо еще не занимались этим вопросом, либо это, по их мнению, невозможно сделать.

А консалтинговая компания Gartner прогнозирует довольно скромные результаты: до 2022 года успехом увенчаются лишь пятнадцать процентов случаев применения моделей искусственного интеллекта — таких как DNNs и ML. Также эксперты считают: к указанному году не менее половины проектов на основе ИИ не получат полноценного промышленного исполнения.

Как видно из исследования «Ростелекома», в нашей стране бизнес относится к искусственному интеллекту позитивно, не обращая внимания на неутешительный прогноз специалистов из «Гартнер».

Тут полезно напомнить про другое исследование, проведенное в 2019 году корпорацией «Майкрософт». В нем участвовало восемьсот голландских, американских, французских, немецких, российских, британских, итальянских и швейцарских топ-менеджеров — по сто респондентов из каждого государства.

Оказалось, что РФ обгоняет американцев и европейцев по темпам использования ИИ. Эксперты сделали вывод, что топ-менеджеры компаний России пользуются возможностями AI в бизнес-сфере с большей активностью в сравнении с зарубежными коллегами. Тридцать процентов из них заняты активным внедрением ИИ. Что касается остального мира, то в среднем эта цифра составляет лишь 22%, а, допустим, во Франции — вообще десять процентов.

Внедрять или не внедрять?

На самом деле с помощью статистических данных, в том числе по искусственному интеллекту, можно доказать что угодно. Допустим, нам хочется показать, что инструментарий AI не приносит никакого положительного результата. Для этого у нас есть показатель в пятнадцать процентов от «Гартнер».

А есть другие показатели. Та же компания «Гартнер» осенью 2019 года провела опрос и выяснила, что крупнейшие компании планируют к следующему году вдвое увеличить число ИИ-программ. Если бы эти технологии не работали и не приносили отдачу, вряд ли бизнесмены стали бы тратить на них средства.

Консалтинговой компанией IDC в том же году было проведено свое исследование на аналогичную тематику. Она хотела выяснить, что мешает ИИ-проектам демонстрировать по-настоящему выдающиеся результаты. Выяснилось, что где-то 65% организаций сталкиваются с большими трудностями, когда пытаются сделать уже созданные системы частью своих бизнес-процессов и внедрить AI-решения в производство.

Методологию ModelOps создали именно для того, чтобы не стать заложником статистики, способной подтвердить или опровергнуть любое мнение. Необходимо получить контроль над рисками, связанными с применением ИИ, а модели ML требуется подвергать проверке, сравнению, переобучению, а также мониторить изменения, которые в них вносятся, и управлять модельными рисками.

Модельные риски и как с ними бороться

Любая модель со временем становится неактуальной. Она могла быть построена на данных и алгоритмах, которые уже устарели. Как раз это мы видим сегодня, в пандемийный период. Многим моделям сначала приходилось использовать в своей работе исторические данные, хотя ситуация в мире поменялась кардинально. Что касается актуальных данных, то начать их быстрое использование иногда невозможно.

Даже если бы кризиса не было, модели все равно нуждались бы в тщательном контроле, поскольку интерес к искусственному интеллекту невероятно вырос, а модели стали очень сложными и функционируют на непрозрачных алгоритмах. Чтобы такой контроль стал эффективнее, необходимо использование специальных платформ и инструментария по управлению модельным риском. Американская компания SAS предложила свой вариант решения этой проблемы — модель MRM.

С помощью этой системы можно оптимальным образом организовать:

- построение бизнес-процессов данного управления;

- проведение мониторинга;

- хранение всех моделей в едином месте;

- отслеживание связей между этими моделями;

- пересмотр качественных характеристик и актуальности;

- автоматическую валидацию.

К достоинствам платформы относится то, что разработка моделей может проводиться с использованием любого языка, в том числе на ПО с открытым исходным кодом.

Модели могут вас разорить

Компания должна контролировать модель на всех стадиях ее жизненного цикла. Если этого не делать, тогда и нечего удивляться, что эксперты указывают на очень малый процент выведения ИИ-решений на промышленный уровень. Дефектные модели, во-первых, не функционируют как надо и отрицательно сказываются на эффективности компании. К примеру, если валидация модели не осуществляется на должном уровне, это в среднем увеличивает нагрузку на службу риск-менеджмента на пятнадцать человеко-дней ежемесячно.

Однако это лишь полбеды. Испорченные модели оборачиваются значительными финансовыми убытками. Достаточно привести такой пример: в 2019 году искусственный интеллект, созданный в интеграции с суперкомпьютером K1, который разработала фирма AI-42 Market Intelligence (Австрия), за один торговый день потерял более $20 миллионов, проводя автоматическую торговлю на фондовом рынке.

После этого его владелец, бизнесмен из Гонконга Ли Кин-кан, начал судебную тяжбу с разработчиками этого торгового робота. Он заявил, что робот все время играл в минус, проявлял низкую активность, открывая лишь одну заявку в день, а порой вообще бездействовал по несколько суток.

В общем, гонконгец уверен, что торговая система с самого начала базировалась на ошибочных алгоритмах. Истец намеревается отсудить у разработчиков $23 миллиона в качестве компенсации. Кстати, эта история стала первым случаем, когда судят, по сути, искусственный интеллект.

Надзор и регулирование

Поскольку модели могут оказаться не только бесполезными, но и опасными, эта проблема заинтересовала регулирующие органы. В апреле 2011 года американский надзорный орган издал директиву SR 11-7, которая касается управления модельным риском. Позднее соответствующие директивы появились в Европе.

Все ждали, что Центробанк России использует зарубежный опыт и выпустит аналогичные указания для российских кредитных организаций, но пока ничего подобного не произошло. В 2018 году данный вопрос был затронут регулятором в докладе для общественных консультаций. В нем рассматривались практики использования надзорных (SupTech) и регуляторных (RegTech) технологий.

И хотя наш Центробанк не спешит внедрять строгие требования в области моделей и искусственного интеллекта, работы в этом направлении, безусловно, уже ведутся. Так что методологию «МоделОпс» создали очень своевременно. Пока к ней можно присмотреться и не спеша изучить. Когда же эта сфера подпадет под жесткое регулирование, поезд уже может уйти

Подробнее ознакомится с информацией об управлении модельными рисками, а также скачать официальную документацию можно по адресу https://www.sas.com/ru_ru/landing/mrm.html