По итогам расследования названы следующие причины трагедии:
1) автоматизированная система заметила пешехода за 5,6 секунд до столкновения, однако несмотря на то что система продолжала отслеживать объект, она не смогла ни идентифицировать его как пешехода (не ожидала встретить пешехода в неположенном месте), ни предсказать траекторию его движения;
2) если бы оператор автомобиля была более внимательна (она в тот момент отвлеклась на мобильный телефон), то, возможно, она бы смогла быстрее определить опасность столкновения и избежать его либо смягчить удар (это обстоятельство названо было «непосредственной причиной» аварии);
3) неэффективный надзор компании за процессом тестирования усугубился решением удалить второго оператора из машины во время тестирования автоматической системы вождения.
Председатель НСТБ Роберт Л. Сумвалт сказал: «Столкновение было последним звеном в длинной цепочке действий и решений, принятых организацией (Uber ATG), которая, к сожалению, не сделала безопасность главным приоритетом». Другими словами, виноват не конкретный человек за рулем (спустя год обвинения оператору так и не предъявлены, в том числе и потому, что это не водитель в прямом смысле слова, а присматривающий за машиной оператор), а компания, создающая новый интеллектуальный продукт.
Авторов программного кода обвинить в этом сложно, потому что продукт комплексный и экспериментальный. Менеджеры и разработчики знают, что создание «идеального», безошибочного кода невозможно, и поэтому тестирование и обкатка могут повлечь за собой ЧП. Эти зачастую невербализованные «издержки» ощущаются всеми общественными группами, консенсуса относительно них пока нет, есть же молчаливое намерение терпеть ситуацию до того момента, когда накопится критическая масса вопросов и будет уже невозможно не принимать в расчет новые обстоятельства. Тогда начнется перестройка системы общественных отношений. А пока же бизнес получает «гандикап» для развития новых технологий, а разные общественные и государственные институции точечно и реактивно (постфактум) высказывают пожелания или требования к процессу разработок по разным направлениям. Выглядит это, скорее, как косметические штрихи. И это уже не «их нравы и обычаи», это общемировая реальность.
В России 10 октября 2019 года президент В.В. Путин подписал указ №490 «О развитии искусственного интеллекта в Российской Федерации». Значимого общественного резонанса или дискуссии появление этого документа не вызвало, как, видимо, и предполагалось разработчиками документа, потому что ни общество, ни широкое научное и философское сообщество в его разработке серьезного участия не принимало. Как часто бывает в случае появления таких документов, мнения специалистов и общественных деятелей разделились.
Разделительных линий было несколько. Претензии части научного сообщества заключались в основном в том, что документ разрабатывали представители бизнеса (в основном коллеги Г. Грефа из Сбербанка) без привлечения Российской академии наук, и поэтому там учтены только интересы бизнеса, а значит, развитие искусственного интеллекта пойдет по прикладному пути — ради извлечения прибыли, а фундаментальные вопросы останутся в стороне. Бизнес-сообщество и представители относительно небольших компаний со скепсисом относятся к перспективе получить доступ к возможностям и данным, которые точно будут предоставляться консорциуму сверхкрупных компаний. Они считают, что разработка искусственного интеллекта не должна быть монополизирована.
Есть и более тонкие и профессиональные разделительные линии, однако мне показалась особенно интересной реакция одного моего знакомого предпринимателя из «физиков». Прочитав стратегию, он сказал: «Все, тема искусственного интеллекта стала публичной, и ничто ее теперь не защитит от гуманитариев и церковников». Поразительно, что тема, которая в общественном сознании плотно «застолблена» за математиками и предпринимателями, в глазах одного из их ярких представителей перестала быть такой.
Для подобного понимания в стратегии есть достаточно оснований. Во-первых, статья 9[i] выводит проблематику из-под технической монополии: «…Создание универсального (сильного) искусственного интеллекта <…> является сложной научно-технической проблемой, решение которой находится на пересечении различных сфер научного знания — естественно-научной, технической и социально-гуманитарной» (здесь и далее выделено мной — П.Т.-С.). Сильный искусственный интеллект, в отличие от слабого (который решает узкие профильные задачи), способен максимально приблизиться к человеческим способностям и даже превзойти их по части параметров. Несмотря на то что многие специалисты по искусственному интеллекту (например, Ник Бострем) скептически относятся к возможности создания сильного интеллекта раньше конца столетия, именно универсальный искусственный интеллект, который невозможен без социально-гуманитарной составляющей, объявлен ориентиром работ. В статье 30 прямо говорится, что «фундаментальные научные исследования должны быть направлены на создание принципиально новых научных результатов, в том числе на создание универсального (сильного) искусственного интеллекта, и решение иных задач, предусмотренных настоящей Стратегией»[ii]. Это же подтверждается статьей 32 — необходима «реализация междисциплинарных исследовательских проектов в области искусственного интеллекта в различных отраслях экономики»[iii].
Во-вторых, важно отметить, что авторы и разработчики документа ушли вперед в понимании сотрудничества с представителями — условно — гуманитарного лагеря, и на алармистский пафос или осторожные предостережения из этого лагеря они смотрят как на неактуальные. Значимость, возможно, самого крупного в истории науки сотрудничества специалистов из разных областей уже в повестке дня: «…В целях развития перспективных методов искусственного интеллекта приоритетное значение приобретает конвергентное знание, обеспечиваемое в том числе за счет интеграции математического, естественно-научного и социально-гуманитарного образования»[iv]. Математикам нужен уже даже не спарринг-партнер для диалога и размышлений на тему искусственного интеллекта, а соратник, тот, кто также будет развивать своими компетенциями важные направления и возьмет на себя за это ответственность.
В-третьих, в стратегии принципиально очерчиваются зоны ответственности и их значимость: «…Прогнозирование социальных и этических аспектов их (технологий искусственного интеллекта — П.Т.-С.) использования. Результаты <…> должны учитываться при принятии управленческих решений»[v]. Стратегия исходит из того, что «для стимулирования развития и использования технологий искусственного интеллекта необходима адаптация нормативного регулирования в части, касающейся взаимодействия человека с искусственным интеллектом, и «выработка соответствующих этических норм»[vi]. Следующее предложение в этой же статье — «При этом избыточное регулирование в этой сфере может существенно замедлить темп развития и внедрения технологических решений» уже вызвало споры и подозрения. Разработчиков подозревают в том, что они всеми силами будут стремиться создать себе условия для наиболее удобной разработки, чтобы было как можно меньше ограничений, в первую очередь в работе с персональными данными. Часто приводится в пример европейский Общий регламент по защите данных (GDRP)[vii], который, по мнению части исследователей, уже заставил часть компаний-разработчиков искусственного интеллекта сменить европейскую юрисдикцию, а многие рассматривают для себя такую возможность. Эти подозрения вполне оправданы. Действительно, зарегулированность может тормозить разработки, когда она излишняя, а вот определить, где она достаточная, а где избыточная формально должны помочь юристы. К ним есть большой запрос на формирование комплексной системы регулирования общественных отношений, возникающих в связи с развитием и внедрением технологий искусственного интеллекта. Концептуально же понять, где сущностно проходит эта граница, можно как раз с этической точки зрения, и авторы стратегии про это говорят открыто в нескольких статьях.
Имеется в виду вопрос, как сделать так, чтобы «защита прав и свобод человека: обеспечение защиты гарантированных российским и международным законодательством прав и свобод человека, в том числе права на труд, и предоставление гражданам возможности получать знания <…>; безопасность: недопустимость использования искусственного интеллекта в целях умышленного причинения вреда гражданам и юридическим лицам, а также предупреждение и минимизация рисков возникновения негативных последствий использования технологий искусственного интеллекта»[viii] не были преградой для разработки искусственного интеллекта.
«Топливо» для искусственного интеллекта — данные. Они должны собираться в больших объемах, правильно структурироваться и размечаться, а доступ к ним должен быть предоставлен отечественным разработчикам[ix]. Причем качество этих данных, а также регламентированный доступ к ним — основные конкурентные преимущества для российских разработчиков. Однако среди этих данных значительный сегмент составляет хранение персональных данных людей и наборов данных «звуковых, речевых, медицинских <…> систем видеонаблюдения[x]». Даже поставлен срок исполнения этой задачи — десять лет: «К 2030 году объем <…> данных должен быть достаточным для решения всех актуальных задач в области искусственного интеллекта, в том числе <…> речевых, медицинских <…> и данных систем видеонаблюдения»[xi]. Как собирать и хранить их, какими должны быть этические нормы в этом отношении, как обработка персональных данных и основанные на них технологии могут формировать или влиять на внутренний мир человека — задачи, которые должны решать специалисты в духовных вопросах. Приоритетная задача — определить, какой набор данных о человеке может свидетельствовать о его духовной жизни, психологической стороне его личности, и какие должны быть принципы работы с этими наборами данных.
В стратегии выделена отдельная область, где у Церкви накоплены наибольшие «компетенции». Говоря языком документа, это разработка этических правил взаимодействия человека с искусственным интеллектом[xii]. Ключевым вопросом взаимодействия, видимо, станет переопределение человеческого интеллекта, чтобы показать его разницу с искусственным, а далее — новые определения человека и человечности. В стратегии прямо определено, что именно от того, как будут разработаны этические правила, будет зависеть «формирование комплексной системы безопасности при создании, развитии, внедрении и использовании технологий искусственного интеллекта»[xiii]. Об этом же 9 ноября 2019 года говорил президент России на конференции Artificial Intelligence Journey в Москве: «Предлагаю профессиональному сообществу, компаниям подумать над формированием свода этических правил взаимодействия человека с искусственным интеллектом. Мы с вами должны обязательно помнить: нельзя изобретать технологии ради самих технологий, наша главная цель — это устойчивое гармоничное развитие, рост качества жизни и новые возможности для людей, для граждан. Безусловно, потому что человек является высшей ценностью. Из этого мы и будем исходить, из этого будет исходить и российское государство, надеюсь, и то профессиональное сообщество, которое занимается и будет заниматься этой важнейшей темой, в том числе и люди, которые собрались сегодня здесь»[xiv].
Далее, в стратегии прописано, что необходимо создание площадки: «Для координации деятельности бизнес-сообщества и научных организаций по реализации настоящей Стратегии создается объединение, в которое входят представители организаций, осуществляющих деятельность по развитию и внедрению технологий искусственного интеллекта»[xv]. Одна из задач этого объединения — постоянная аналитическая и экспертная поддержка принятия решений по реализации стратегии. К тому же в рамках этой работы предусмотрено проведение различных исследований для прогнозирования именно социальных и этических аспектов использования искусственного интеллекта[xvi]. Таким образом, эта деятельность не только видится желательной, но под нее создаются рабочие форматы и определяются инструменты работы. Времени на раскачку практически нет — стратегия предусматривает уже через четыре года создание необходимых правовых условий, которые должны учитывать все этические аспекты, о которых говорилось выше, для достижения целей, решения задач и реализации предусмотренных мер[xvii].
Итак, текст стратегии содержит достаточно оснований, чтобы считать его приглашением богословам к участию в развитии искусственного интеллекта в России. При этом дистанцирование от этой работы может быть воспринято обществом как отказ богословов от того, чтобы взять на себя часть ответственности за этическую сторону взаимодействия искусственного интеллекта с человеком. Мировая конкуренция в области искусственного интеллекта будет проходить не только по линии технических достижений, но также и по линии этических аспектов. Православное богословие имеет уникальный фундаментальный потенциал, а благодаря научному богословскому подходу могут быть выработаны логические и достаточные ответы на этические вопросы, возникающие при создании искусственного интеллекта. Плодотворный круглый стол по вопросам искусственного интеллекта, состоявшийся в Сретенской духовной семинарии в ноябре 2019 года с участием представителей бизнес-сообщества, технических специалистов, философов и членов Межсоборного присутствия Русской Православной Церкви, свидетельствует о том, что читающееся в стратегии приглашение к совместной работе богословами получено, а российский искусственный интеллект сможет в перспективе получить не только технические, но и этические преимущества в глобальной конкуренции.
Ссылки:
Пресс-релиз Национального совета по транспортной безопасности США о завершении разбирательства: https://www.ntsb.gov/news/press-releases/Pages/NR20191119c.aspx.
Официальное расследование смертельного ДТП в Аризоне: https://www.ntsb.gov/news/events/Documents/2019-HWY18MH010-BMG-abstract.pdf.
Текст Стратегии развития искусственного интеллекта: http://static.kremlin.ru/media/events/files/ru/AH4x6HgKWANwVtMOfPDhcbRpvd1HCCsv.pdf .
[i] Статья 9. «Создание универсального (сильного) искусственного интеллекта, способного, подобно человеку, решать различные задачи, мыслить, взаимодействовать и адаптироваться к изменяющимся условиям, является сложной научно-технической проблемой, решение которой находится на пересечении различных сфер научного знания – естественно-научной, технической и социально-гуманитарной. Решение этой проблемы может привести не только к позитивным изменениям в ключевых сферах жизнедеятельности, но и к негативным последствиям, вызванным социальными и технологическими изменениями, которые сопутствуют развитию технологий искусственного интеллекта».
[ii] Статья 30. «Фундаментальные научные исследования должны быть направлены на создание принципиально новых научных результатов, в том числе на создание универсального (сильного) искусственного интеллекта, и решение иных задач, предусмотренных настоящей Стратегией…»
[iii] Статья 32. «Для развития фундаментальных и прикладных научных исследований в области искусственного интеллекта необходима реализация следующих мер: <…> в) реализация междисциплинарных исследовательских проектов в области искусственного интеллекта в различных отраслях экономики».
[iv] Статья 45. «Основными направлениями повышения уровня обеспечения российского рынка технологий искусственного интеллекта квалифицированными кадрами и уровня информированности населения о возможных сферах использования таких технологий являются: а) разработка и внедрение образовательных модулей в рамках образовательных программ всех уровней образования, программ повышения квалификации и профессиональной переподготовки для получения гражданами знаний, приобретения ими компетенций и навыков в области математики, программирования, анализа данных, машинного обучения, способствующих развитию искусственного интеллекта. При этом в целях развития перспективных методов искусственного интеллекта приоритетное значение приобретает конвергентное знание, обеспечиваемое в том числе за счет интеграции математического, естественно-научного и социально-гуманитарного образования».
[v] Статья 57. «В целях аналитической поддержки реализации настоящей Стратегии проводятся научные исследования, направленные на прогнозирование развития технологий искусственного интеллекта, а также на прогнозирование социальных и этических аспектов их использования. Результаты этих исследований должны учитываться при принятии управленческих решений».
[vi] Статья 48. «Для стимулирования развития и использования технологий искусственного интеллекта необходимы адаптация нормативного регулирования в части, касающейся взаимодействия человека с искусственным интеллектом, и выработка соответствующих этических норм. При этом избыточное регулирование в этой сфере может существенно замедлить темп развития и внедрения технологических решений».
[viii] Статья 19. «Основными принципами развития и использования технологий искусственного интеллекта, соблюдение которых обязательно при реализации настоящей Стратегии, являются:
а) защита прав и свобод человека: обеспечение защиты гарантированных российским и международным законодательством прав и свобод человека, в том числе права на труд, и предоставление гражданам возможности получать знания и приобретать навыки для успешной адаптации к условиям цифровой экономики;
б) безопасность: недопустимость использования искусственного интеллекта в целях умышленного причинения вреда гражданам и юридическим лицам, а также предупреждение и минимизация рисков возникновения негативных последствий использования технологий искусственного интеллекта».
[ix] Статья 37. «Основными факторами развития технологий искусственного интеллекта являются увеличение объема доступных данных, в том числе данных, прошедших разметку и структурирование, и развитие информационно-коммуникационной инфраструктуры для обеспечения доступа к наборам таких данных».
[x] Статья 38. «Основными направлениями повышения доступности и качества данных, необходимых для развития технологий искусственного интеллекта, в соответствии с требованиями законодательства Российской Федерации являются:
а) разработка унифицированных и обновляемых методологий описания, сбора и разметки данных, а также механизма контроля за соблюдением указанных методологий;
б) создание и развитие информационно-коммуникационной инфраструктуры для обеспечения доступа к наборам данных посредством:
создания (модернизации) общедоступных платформ для хранения наборов данных, соответствующих методологиям описания, сбора и разметки данных;
хранения наборов данных (в том числе звуковых, речевых, медицинских, метеорологических, промышленных данных и данных систем видеонаблюдения) на общедоступных платформах для обеспечения потребностей организаций - разработчиков в области искусственного интеллекта».
[xi] Статья 41. «К 2030 году объем опубликованных на общедоступных платформах наборов данных должен быть достаточным для решения всех актуальных задач в области искусственного интеллекта, в том числе за счет публикации звуковых, речевых, медицинских, метеорологических, промышленных данных и данных систем видеонаблюдения».
[xii] Статья 49. «Основными направлениями создания комплексной системы регулирования общественных отношений, возникающих в связи с развитием и внедрением технологий искусственного интеллекта, являются:
а) обеспечение благоприятных правовых условий (в том числе посредством создания экспериментального правового режима) для доступа к данным, преимущественно обезличенным, включая данные, собираемые государственными органами и медицинскими организациями;
б) обеспечение особых условий (режимов) для доступа к данным, включая персональные, в целях проведения научных исследований, создания технологий искусственного интеллекта и разработки технологических решений на их основе;
в) создание правовых условий и установление процедур упрощенного тестирования и внедрения технологических решений, разработанных на основе искусственного интеллекта, а также делегирования информационным системам, функционирующим на основе искусственного интеллекта, возможности принятия отдельных решений (за исключением решений, которые могут ущемлять права и законные интересы граждан), в том числе при исполнении государственными органами государственных функций (за исключением функций, направленных на обеспечение безопасности населения и государства);
г) устранение административных барьеров при экспорте продукции (работ, услуг) гражданского назначения, созданной на основе искусственного интеллекта;
д) создание единых систем стандартизации и оценки соответствия технологических решений, разработанных на основе искусственного интеллекта, развитие международного сотрудничества Российской Федерации по вопросам стандартизации и обеспечение возможности сертификации продукции (работ, услуг), созданной на основе искусственного интеллекта;
е) стимулирование привлечения инвестиций посредством совершенствования механизмов совместного участия инвесторов и государства в проектах, связанных с разработкой технологий искусственного интеллекта, а также предоставления целевой финансовой поддержки организациям, осуществляющим деятельность по развитию и внедрению технологий искусственного интеллекта (при условии, что внедрение таких технологий повлечет за собой существенные позитивные эффекты для отраслей экономики Российской Федерации);
ж) разработка этических правил взаимодействия человека с искусственным интеллектом».
[xiii] Статья 25. «Пункт е) формирование комплексной системы безопасности при создании, развитии, внедрении и использовании технологий искусственного интеллекта».
[xv] Статья 54. «Для координации деятельности бизнес-сообщества и научных организаций по реализации настоящей Стратегии создается объединение, в которое входят представители организаций, осуществляющих деятельность по развитию и внедрению технологий искусственного интеллекта».
[xvi] Статья 57. «В целях аналитической поддержки реализации настоящей Стратегии проводятся научные исследования, направленные на прогнозирование развития технологий искусственного интеллекта, а также на прогнозирование социальных и этических аспектов их использования. Результаты этих исследований должны учитываться при принятии управленческих решений».
[xvii] Статья 50. «К 2024 году должны быть созданы необходимые правовые условия для достижения целей, решения задач и реализации мер, предусмотренных настоящей Стратегией».