ИИ — это не только мощный инструмент, но и очень рискованная технология при неправильном использовании. Независимо от того, насколько вы заботитесь о себе, может существовать какой-то скрытый риск, который либо неизвестен, либо не поддается контролю, а это означает, что вам нужен другой способ управления рисками.

Если вы проведете тщательный предварительный анализ, убедитесь, что обучение и тестирование завершены, и проведете стресс-тестирование всех систем с помощью красных команд, вы можете быть почти уверены в производительности системы. Однако может существовать некоторый неустановленный или идентифицированный риск, который нельзя предвидеть или контролировать. С таким остаточным риском можно справиться посредством переноса.

Передача риска — это стратегия управления рисками и контроля, которая включает договорное переложение чистого риска с одной стороны на другую. Одним из примеров является покупка страхового полиса, по которому страхователь передает указанный риск убытков страховщику.

Доступные в настоящее время параметры и их ограничения

Если у вас есть ИТ-решение, наиболее близкое к ИИ-решению, на рынке уже доступно несколько вариантов переноса некоторых рисков.

Страхование ответственности за информационные технологии (ответственность за ИТ) [1] покрывает претензии, возникающие в связи с отказом продуктов, услуг и/или рекомендаций в области информационных технологий. [2]

Индустрия информационных технологий (ИТ) имеет уникальные риски ответственности из-за пересечения между предоставлением профессиональных услуг и поставкой товаров. Более того, многие поставщики услуг в этой отрасли сочетают в себе и то, и другое. Это еще более осложняется правовой неопределенностью в отношении консультаций и разработки программного обеспечения, а также того, является ли это на самом деле предоставлением услуги или продажей товаров.

Полисы Традиционного страхования профессиональной ответственности часто содержат обременительные исключения, связанные с поставкой товаров. Напротив, традиционные политики в отношении государственной ответственности и ответственности за качество продукции часто содержат исключения, касающиеся предоставления профессиональных услуг.

Многие страховщики разработали ряд вариантов страхования для решения этих проблем, обычно называемых политиками ответственности ИТ. Эти полисы представляют собой комбинацию страхования профессиональной ответственности и страхования гражданской ответственности и ответственности за продукцию, объединенных в один продукт. Эти полисы были разработаны, чтобы свести к минимуму вероятность возникновения незастрахованной претензии из-за того, что она «попадает между промежутками» между двумя традиционными страховыми продуктами.

Однако дополнительная сложность решений ИИ обусловлена ​​сложными алгоритмами и данными, принимаемыми или обрабатываемыми. Со временем изменения в данных могут существенно изменить характеристики продукта или решения. Добавьте к этому облачные сервисы. Это просто увеличивает разрыв между существующими вариантами, а вместе с этим значительно возрастает вероятность провала.

Отсюда и страховка от ИИ

Прежде чем мы даже подумаем о страховании ИИ, давайте посмотрим, есть ли в нем необходимость. Эта необходимость может стать очевидной только при наличии множества проблем значительной сложности.

За последние полвека постоянно поступали предупреждения о том, что нужно снизить скорость и держать машины на коротком поводке. [3]

Многие лидеры мнений задавались важными вопросами, например, кто берет на себя ответственность, когда ИИ дает сбой, и последствия для страховой отрасли, когда это происходит.

Автономные или беспилотные автомобили являются наиболее важным фактором для страховой отрасли. В июне 2016 года британская страховая компания Adrian Flux начала предлагать первый полис, специально предназначенный для автономных и частично автоматизированных транспортных средств.[4] Этот полис покрывает типичные варианты страхования автомобилей, такие как повреждение, пожар и угон. Кроме того, он также охватывает несчастные случаи, характерные для ИИ, — потерю или повреждение в результате сбоев в работе беспилотных систем автомобиля, вмешательства хакеров, невозможности установки обновлений программного обеспечения автомобиля и исправлений безопасности, сбоя спутников или сбоев, влияющих на навигационные системы, или сбоя операционная система автомобиля производителя или другое авторизованное программное обеспечение, говорится в статье.

Volvo заявила, что Volvo несет ответственность за то, что происходит, когда один из ее автомобилей находится в автономном режиме. [5]

Я думаю, что это важный шаг. Тем не менее, это не дает ответа на вопрос, кто несет ответственность за любые несчастные случаи? Кто виноват, если машина вышла из строя и наехала на кого-то?

Когда автономное оборудование выходит из строя на заводе и прерывает производство, кто несет за это ответственность? Это человек-оператор, который имеет тонкое управление, или руководство купило неправильную систему? Может быть, это должен быть производитель, который недостаточно тщательно тестировал автономную технику.

Нам необходимо установить специальные меры защиты для потенциальных жертв инцидентов, связанных с ИИ, будь то предприятия или частные лица, чтобы дать им уверенность в том, что они смогут обратиться в суд, если что-то пойдет не так.

Самый важный вопрос с точки зрения клиента: кто оплачивает счета, когда робот или интеллектуальная система искусственного интеллекта совершает ошибку, вызывает аварию или ущерб или выходит из строя? Производитель, разработчик, человек, контролирующий ее, или сама система? Или это вопрос распределения и распределения риска и ответственности?[6]

Журналист Дрю Терни в одной из своих статей утверждает: Мы не сажаем в тюрьму родителей убийц или казнокрадов. Мы предполагаем, что каждый несет ответственность за свои решения, основанные на опыте, памяти, самосознании и свободе воли, накопленных на протяжении всей их жизни.[7]

Есть много примеров, когда возникали сложные ситуации, из-за которых возникала необходимость страховки от ИИ.

ИИ теряет состояние инвестора

Ранее австрийская компания 42.cx, специализирующаяся на искусственном интеллекте, разработала суперкомпьютер под названием K1. Он просматривал онлайн-источники, такие как новости в режиме реального времени и социальные сети, чтобы оценивать настроения инвесторов и делать прогнозы по фьючерсам на акции США. [8] На основе собранных данных и их анализа (на основе этих данных) он затем отправлял инструкции брокеру для совершения сделок, корректируя свою стратегию с течением времени на основе того, что он узнал.

В мае 2019 года гонконгский магнат в сфере недвижимости Саматур Ли Кин-кан решил подать в суд на компанию, которая использовала ИИ для исполнения сделок для управления его счетом, в результате чего он потерял миллионы долларов. Начался первый в своем роде судебный процесс, который может помочь определить, кто должен нести ответственность, когда ИИ заедает. [9]

Хотя это первый известный случай, когда люди обращаются в суд из-за инвестиционных потерь, вызванных автономными машинами, он также ярко подчеркивает проблему черного ящика ИИ. Если люди не знают, как ИИ принимает решения, кто несет ответственность, когда что-то идет не так?

Судебная тяжба — это признак того, что грядет, когда ИИ будет внедрен во все аспекты жизни, от беспилотных автомобилей до виртуальных помощников.

Каришма Пароха, лондонский юрист, специализирующийся на ответственности за качество продукции, придерживается интересной точки зрения. Она говорит: «Что происходит, когда компании используют автономных чат-ботов для продажи товаров клиентам? Даже подать в суд на продавца может быть невозможно. Введение в заблуждение касается того, что человек сказал вам. Что происходит, когда нас не продает человек?”

Рискованный цифровой помощник для пациентов

В середине 2019 года крупная консалтинговая фирма начала развертывание цифровых помощников с голосовым управлением для пациентов больниц. Идея заключалась в том, чтобы цифровое устройство было прикреплено к экрану телевизора в палате пациента, и пациент мог обратиться за помощью.

Фирма хотела заменить старую службу кнопки вызова из-за присущих ей ограничений. Одно из упомянутых существенных ограничений заключалось в том, что у медсестер недостаточно контекста для определения приоритетов пациентов на основе запроса на звонок. Возможно, при старой системе кнопок вызова два пациента обратились за помощью, и одному из них нужна срочная помощь, а другие могут подождать. Однако по одному лишь указанию просьб о помощи медсестры не могут определить, кому требуется немедленная помощь. Компания и больница ожидали, что с голосовыми цифровыми помощниками они смогут расставлять приоритеты для визитов медсестер с большим контекстом из командного текста.

Система была развернута с расстановкой приоритетов на основе слов, произнесенных пациентами. Например, если пациент просил пить воду, эта просьба была отмечена как низкоприоритетная, а если кто-то жаловался на боль в груди, ему присваивался наивысший приоритет. Различные другие высказывания были соответственно приоритетными. Идея, лежащая в основе этих назначенных приоритетов, заключалась в том, что пациент, нуждающийся в воде для питья, может подождать несколько минут, тогда как пациент с болью в груди может подвергаться риску приступа и нуждается в немедленной помощи. Вообще говоря, эта логика будет работать в большинстве сценариев.

Однако эта система не была связана с базой данных информации о пациентах. Кроме получения номера комнаты запрашивающего система больше ничего не знала. Самое главное, что не понимали, в каком состоянии пациенты и почему они находятся в больнице.

В некоторых случаях незнание состояния или болезни пациента может оказаться серьезным препятствием. Эти случаи могут находиться в конце распространенных сценариев, и я думаю, что это делает их более опасными.

Например, если пациент запросил воду, система отнесет его к низкоприоритетным запросам, а другим запросам присвоит относительно более высокий приоритет. Однако что делать, если пациент плохо себя чувствует и, следовательно, просит воды. Возможно, несвоевременное получение воды могло ухудшить их состояние. Возможно, они задыхались или кашляли и поэтому просили воды. Непрерывный кашель может быть признаком неминуемой опасности. Не зная болезни и состояния пациента, трудно определить, является ли простой запрос воды высоким или низким приоритетом. В таких сценариях я вижу значительные риски. Эту систему можно назвать благонамеренной, но плохо реализованной.

Теперь вопрос: в сценарии, когда запрос с высоким приоритетом помечается как низкоприоритетный из-за ограниченного доступа к информации в системе, кто несет ответственность? Если состояние пациента ухудшится из-за этой оплошности, кого они привлекут к ответственности?

Кто (или что) может нести ответственность за такие сбои в обслуживании или производительности, является основным скрытым вопросом. Возможно, страховка ИИ может покрыть конечных пользователей во всех таких сценариях, когда возникнет необходимость в компенсации?

Многие регуляторы быстро готовятся

С 2018 года европейские законодатели, юристы и производители ведут споры о высоких ставках: машины или люди должны нести окончательную ответственность за свои действия.

Эти дебаты относятся к абзацу текста, глубоко скрытому в отчете Европейского парламента от начала 2017 года. В нем предполагается, что самообучающимся роботам можно предоставить «электронных личностей». Этот статус может позволить роботам быть застрахованными по отдельности и нести ответственность за ущерб, если они станут мошенниками и начнут причинять вред людям или имуществу.

В одном из абзацев [10] говорится: «Европейский парламент призывает комиссию при проведении оценки воздействия своего будущего законодательного инструмента исследовать, анализировать и рассматривать последствия всех возможных правовых решений, таких как как — создание схемы обязательного страхования, когда это уместно и необходимо для определенных категорий роботов, посредством чего, аналогично тому, что уже происходит с автомобилями, производители или владельцы роботов должны будут получить страховое покрытие за ущерб, потенциально причиненный их роботами;”

Проблемы страхования ИИ

Несмотря на то, что рынок быстро склоняется к тому, чтобы оправдать страховые продукты с использованием ИИ, все еще существует несколько бизнес-задач. Эти проблемы являются явными препятствиями для любого игрока, который может взять на себя инициативу и проложить путь.

Общий бассейн

Поскольку страхование в основном работает с общим пулом, первая проблема, по-видимому, заключается в отсутствии достаточного кворума для запуска этого пула. Несколько компаний или сторонников ИИ-решений могут объединиться и преодолеть этот барьер, внося свой вклад в общий пул.

Справедливость

Вторая проблема заключается в том, что этот общий пул является достаточно справедливым. Из-за решений ИИ и характера клиентской базы не каждая компания будет иметь эквивалентный доход и представлять сопоставимый риск. Справедливость, хотя поначалу она может и не быть обязательной, вскоре станет препятствием для роста, если ею не управлять должным образом.

Страхование облачного ИИ

В случае несовершеннолетних (детей) родители несут ответственность за их поведение в общественном достоянии. За любой проступок с их стороны платят родители. Однако по мере того, как они растут и становятся взрослыми, ответственность полностью переходит на них.

Точно так же ответственность за неправильные действия ИИ должна со временем перейти от поставщика к пользователям, что повлияет на ежегодную оценку премий. Любые обновления программного обеспечения ИИ могут отбросить это на несколько шагов назад для поставщиков, поскольку теперь есть новые входные данные ИИ. Если ИИ будет работать непрерывно без каких-либо обновлений, ответственность будет постепенно перекладываться на конечных пользователей.

Однако с точки зрения облачного ИИ (облачного ИИ-решения) такого перехода может не произойти, поскольку поставщики всегда будут иметь полный контроль.

Если клиенты или пользователи ИИ будут постоянно предоставлять обучающие данные, то будет общая ответственность с точки зрения решения и результата.

Атрибуция

Однако самой большой проблемой при страховании ИИ может быть атрибуция неудач. В этой книге несколько случаев показали нам, насколько сложным и неоднозначным может быть выявление факторов, способствующих ошибкам, во всей цепочке создания ценности ИИ.

ИИ обычно использует обучающие данные для принятия решений. Когда клиент покупает алгоритм у одной компании, но использует свои обучающие данные или покупает их у другой компании, и он не работает должным образом, в чем виноват ИИ и в чем виноваты обучающие данные?

Без решения проблемы атрибуции страховое предложение может оказаться невозможным.

Когда я брал интервью у нескольких экспертов страховой отрасли в прошлом году, все они настаивали на том, что хорошая модель страхового бизнеса требует правильного профиля рисков и истории.

К сожалению, этой истории пока нет. Проблема в том, что его не будет, если никто никогда не проявит инициативу и не заставит маховик вращаться. Так что вопрос теперь в том, кто сделает это первым?

Что может заставить его работать?

В то время как делать это в первую очередь в технологической отрасли является нормой, в секторах, не склонных к риску, таких как финансовая отрасль, все как раз наоборот. Так что, пока этого не произошло, может существовать промежуточная альтернатива.

Как насчет того, чтобы страховщики покрывали не весь риск, а только затраты на устранение ущерба? Например, если что-то пойдет не так с вашей системой искусственного интеллекта и приведет к остановке вашего процесса, вы понесете два финансовых бремени. Один будет из-за потери доходов, а другой - для исправления системы. В этом случае, хотя потеря дохода может быть значительной, затраты на исправление системы могут быть относительно ниже, и страховые компании могут начать с предложения только этой части покрытия.

Страховщики также могут использовать параметрическое страхование для покрытия некоторых известных или фиксированных затрат.

Агрегаторы могут объединять риски кластера из нескольких компаний, соответствующих определенным критериям. Часть этих рисков они могут покрыть сами, а часть рисков передать страховщикам.

В любом случае, это не полный тупик.

Приближается страховка от ИИ. Вот почему

Внедрение ИИ-решения означает, что вы можете делать вещи в гораздо большем масштабе. Если вы производили x виджетов в день без ИИ, вы можете создать 1000x виджетов с ИИ.

Этот тип массового масштаба также означает, что, когда что-то терпит неудачу, они также великодушно терпят неудачу. Проблемы, которые 1000-кратный сбой может принести бизнесу, могут быть возмутительными. Как правило, они приводят к потере доходов и усложняют их ремонт, принятие альтернативных мер во время ремонта и так далее.

Этот масштаб опасен, и поэтому имеет смысл иметь страховку от ИИ. Кроме того, это также сделает людей более ответственными за разработку и внедрение решений ИИ с этой опцией. Эти варианты также будут способствовать разработке и использованию парадигмы ответственного ИИ.

И что еще более важно, каждый человек-потребитель или пользователь в какой-то момент времени захочет получить определенный уровень компенсации, если решения ИИ пойдут не так. Они не примут это, если вы скажете, что ИИ виноват. Это справедливое ожидание компенсации.

Вопрос в том, кто будет оплачивать компенсационный счет?

Этот вопрос — основная причина, по которой я считаю, что страховка от ИИ будет необходима. Пока это может быть расплывчатой ​​концепцией, но скоро она станет весьма актуальной.

Ключ к лучшему управлению рисками

Получение страховки от ИИ может быть хорошей идеей, но это не должно быть вашей целью. Вместо этого вы должны сосредоточиться на структурированном подходе к разработке и развертыванию. Делая это, вы можете минимизировать риски до такой степени, что оно (решение ИИ) будет безопасным, полезным и под контролем.

Если вы будете следовать моим трем основным принципам хорошего решения проблем, то есть делать правильные вещи, делать это правильно и охватывать все свои основы, это поможет.

Учитывая, что почти все, что вы бы смягчили или планировали сделать, вряд ли найдется что-то, что можно было бы квалифицировать как остаточный риск. Управление остаточным риском больше похоже на оставшийся хвост, когда весь слон прошел через дверь.

Однако, если в вашем решении есть какая-либо неопределенность или неизвестный риск, передача риска должна быть более легкой, поскольку вы уже выполнили требуемую комплексную проверку.

Всегда полезно иметь дело с проблемами и рисками в их мельчайших проявлениях. Стич вовремя спасает девять!

[1] https://www.cna.com/web/wcm/connect/b7bacbf0-b432-4e0c-97fa-ce8730b329d5/RC_Guide_RiskTransferStrategytoHelpProtectYou+Business_CNA.pdf?MOD=AJPERES

[2] https://www.bric.com.au/information-technology-liability-insurance.html

[3] https://channels.theinnovationenterprise.com/articles/paying-when-ai-goes-wrong

[4] https://www.theguardian.com/business/2016/jun/07/uk-driverless-car-insurance-policy-adrian-flux

[5] https://fortune.com/2015/10/07/volvo-liability-self-driving-cars/

[6] https://www.theaustralian.com.au/business/technology/who-is-liable-when-robots-and-ai-get-it-wrong/news-story/c58d5dbb37ae396f7dc68b152ec479b9

[7] https://bluenotes.anz.com/posts/2017/12/LONGREAD-whos-liable-if-AI-goes-wrong

[8] https://www.insurancejournal.com/news/national/2019/05/07/525762.htm/

[9] https://www.bloomberg.com/news/articles/2019-05-06/who-to-sue-when-a-robot-loses-your-fortune

[10] http://www.europarl.europa.eu/doceo/document/A-8-2017-0005_EN.html?redirect

Примечание. Эта статья является шестой в серии из 12 статей об искусственном интеллекте. Эта серия была впервые опубликована журналом EFY в прошлом году и теперь также доступна на моем веб-сайте по адресу https://www.anandtamboli.com/insights.