Риски и роботы.
Технологические риски как социальная проблема при разработке и внедрении интеллектуальных автономных роботов.
Автор: В.Г. Горохов, М. Декер
Центр внимания современных исследований техники сместился с рассмотрения техники самой по себе на процесс ее взаимодействия с обществом. Именно под знаком этого тренда в начале двадцать первого столетия появилась новая стадия развития науки, получившая название технонауки. Технонаука — это не техническая наука, а новая форма организации науки, интегрирующая в себе многие аспекты как естествознания и техники,так и гуманитарного познания. Причем технонаука пытается дать новые ответы даже на традиционные философские вопросы. Однако справедливо считается, что хотя основательные знания могут быть получены в полемике между учеными и инженерами, последние часто являются невежественными в философии.
Новые технологии создают не только новые возможности, но и новые риски. Многие авторы считают возможным возникновение новой глобальной угрозы существованию человечества и видят ее именно в развитии конвергентных технологий, среди которых они выделяют ведущую в этом отношении нанотехнологию. «Реальная опасность может заключаться в том, что мы просто “не успеем” вовремя провести оценки и выработать меры предосторожности», а общественная дискуссия о таких опасностях, по мнению многих экспертов, отстает примерно на пять лет от их внедрения в нашу жизнь.
С развитием нанотехнологии появились новые возможности точечного видоизменения структур на молекулярном и атомном уровнях, вживления в организм человека новых микроприборов, усиливающих или даже расширяющих возможности человеческого восприятия и органов чувств. Никто, однако, не только не исследовал, но даже не поставил вопрос о том, что будет с человеческой психикой после нанотехнологической корректировки тонких нейронных структур или после добавления новых органов чувств, о чем уже пишут как о вполне реализуемом в недалеком будущем проекте. Конечно, человек способен приспосабливаться в определенных пределах к изменившимся внешним условиям, в том числе некоторым внешним по отношению к его психике телесным изменениям (например, в органах восприятия). Но это все же внешние факторы.
Вмешательство во внутренние нейропсихические процессы может привести к некоторым трудно предсказуемым последствиям — и не только для самой индивидуальной человеческой психики, но и для общества в целом. Вопрос заключается в том, что станет с личностью, как ее психика будет сочетаться с этой новой телесностью и не приведет ли эта корректировка «божественного замысла» к самоуничтожению человечества. Однако перспектива, возникающая в связи с вышесказанным, — не отказ от техники вообще, от технического отношения к миру, без которого невозможно существование человеческой цивилизации, а поиск новых, более гуманных форм этого отношения. Мы находимся только в начале пути, и задача наша заключается в том, чтобы изменить саму внутреннюю установку науки и инженерной деятельности. В этом смысле более перспективным представляется не видоизменение человеком своей собственной природы, а разработка новых автономных вспомогательных устройств, к которым относятся и автономные интеллектуальные роботы. В данной статье мы рассмотрим результаты исследования технологических рисков как социальной проблемы при создании автономных роботов на примере конкретного проекта «Роботика. Проблема возможности замены человека машиной».
При обсуждении проблемы замены человека машиной речь идет фактически о замене человеческой деятельности, точнее, отдельных ее фрагментов, машинными компонентами. Для этого роботы должны обладать целым рядом основополагающих способностей, к которым принадлежит, например, возможность перемещения, что обычно осуществляется с помощью комбинации колес. Эту проблему пытался решать еще великий Леонардо да Винчи, который конструировал такого рода колесные механизмы, аналогичные по принципу действия часовым механизмам. Сам Леонардо построил несколько таких автоматов. Чтобы их построить, он тщательно изучал природные объекты: строение человеческого организма и механизм движения животных, рассматривая живой организм как умную машину. Одним из наиболее интересных достижений Леонардо да Винчи были проекты автоматических саморегулирующихся устройств, создаваемые на основе сходства с деятельностью человека или животного.
Одним из примеров такой машины была разработанная им модель автомата-барабанщика. Барабан, как музыкальный инструмент, и барабанщик играли тогда важную социальную роль — как в военное, так и в мирное время. Во время войны и военных учений барабанщик передавал определенные сообщения войскам о нападении, отступлении или задавал ритм марша или битвы. В мирное время барабанщик также выполнял важную роль при дворах герцогов, королей и др. вельмож, аккомпанируя во время парадов, фестивалей, балов. Да и сами дворы высокопоставленных вельмож тогда напоминали театр. Одной из самых распространенных легенд в Италии того времени был рассказ о погибшем юном барабанщике. Леонардо, чтобы построить модель такого автомата, тщательно изучал сам этот инструмент и игру (деятельность) барабанщика на нем. Изучая человеческое тело, «он пришел к построению удивительной гуманоидной машины». Современными учеными реконструирован даже «робот Леонардо» — «человекоподобный механизм, технология которого была разработана Леонардо да Винчи приблизительно в 1495 году. Чертежи робота были найдены в документах Леонардо, обнаруженных в 1950-х годах. Неизвестно, была ли разработка осуществлена. На каркас робота была надета германо-итальянская рыцарская броня, он был запрограммирован имитировать человеческие движения (приподниматься и садиться, двигать руками и шеей) и имел анатомически правильное строение челюсти. Технология частично основывалась на исследованиях Леонардо в анатомии…».
Механические роботы снабжались иногда даже «программным обеспечением» с помощью простейших механических приспособлений типа барабанов с прорезями или колковых механизмов с веревками. Они часто использовались в театрализованных представлениях. Такое «программное обеспечение» мы находим в конструкции театральных автоматов у Герона Александрийского. «Труд Герона “Автоматический театр” описывает театральные конструкции, которые движутся посредством грузов, приводимых в движение обернутой вокруг барабана веревкой». Это, по сути дела, первый программированный механизм, в котором валки с шипами и накрученными на них веревками выполняют роль своеобразных «перфокарт». Они приводят в движение сложный театральный механизм по заранее заданной технологии — «записанной» в механизме программе действий или отдельных процедур, которая разыгрывает действие на сцене кукольного театра, например драматические сцены окончания Троянской войны. Силой падающих грузов с помощью колес, блоков и рычагов приводятся в движение фигуры, точнее, этот остроумный механизм создает различные движения. «В своих автоматических театрах Герон, по сути, использовал элементы программирования: действия автоматами выполнялись в строгой последовательности, декорации сменяли друг друга в нужные моменты. Примечательно, что основной движущей силой, приводившей в движение механизмы театра, была гравитация (использовалась энергия падающих тел); также использовались элементы пневматики и гидравлики». Театральный автомат замещает процедуры человеческой деятельности работой механических устройств, созданных на основе математики. Алгоритм функционирования системы как бы сливается с алгоритмом этой деятельности.
Аналогичная ситуация наблюдается и при создании человекоподобных роботов, алгоритм функционирования которых описывает автоматизируемую человеческую деятельность. Но суть дела здесь та же, что и в древнегреческом «автоматическом театре» или музыкальных автоматах более позднего времени. Последовательность операций, задающих динамику поведения системы или ее элемента, составляет операционный алгоритм (правило действий) процесса деятельности. Функционирование системы деятельности, таким образом, представляет собой наложение динамики событий (операционного алгоритма) на статическую структуру каждого ее состояния. Операционное представление тесно связано с понятием автоматизации и тем самым с машинизированным представлением системы, причем под автоматизацией понимается замена того или иного аспекта человеческой деятельности машинными элементами.
Такого рода машинизацию человеческой деятельности продолжили средневековые монастыри. Монахи вели синкретический образ жизни, занимаясь как духовными видами деятельности, так и физическим трудом, рассматривавшимся как форма служения Господу. Необходимость экономии физического труда для высвобождения времени для духовных занятий вызывала стремление к техническим усовершенствованиям, замещающим труд человеческий работой машин. «Стремясь уравновесить opus Dei (молитвенное служение) и opus manuum (ручной труд), монахи, более чем кто-либо, были заинтересованы в техническом прогрессе». Книгопечатание было также призвано облегчить труд переписчиков библейских текстов.
В эпоху Ренессанса согласие между божественным планом и новыми математическими истинами достигалось пониманием Господа как Инженера, действующего в своем космологическом проектировании в соответствии с им же установленными математическими законами. Исследуя эти продукты божественной технической деятельности в природе, чтобы воссоздать математические принципы их построения в искусственных сооружениях, эти мастера-инженеры провозглашали необходимость особой новой «scienza activa» (деятельностной науки), т.е. фактически технонауки, изучающей функции строения человеческого организма и структуры машины, как основы технической практики.
В современных роботах механическая часть, имитирующая движения организма, дополняется искусственными «органами восприятия» (камерой и сенсорами), т.е. становится электромеханической системой, оснащенной к тому же микропроцессором (как, например, современный робот-барабанщик). Кроме того, важной особенностью современных автоматов является способность к обучению. При этом различают способность к обучению движениям, обучение способности строить интерпретационную модель мира и обучение рефлексивному подходу к действительности, например, тому, чтобы робот мог сам организовывать окружающую его среду.
Такого рода роботы и получили название автономных. Они в состоянии формировать на основе данных от сенсоров своеобразную карту местности близлежащих окрестностей с целью расчета оптимальной траектории движения. Таким образом они способны сформировать план предстоящей деятельности и корректировать его в процессе выполнения конкретного действия на основе включения альтернативных планов. Кроме того, программа такого рода робота может оценивать и аккумулировать данные об успешных и неуспешных действиях. В результате выполнения аналогичной работы в течение длительного времени они «обучаются» выбирать и применять наиболее успешные стратегии поведения. Это обеспечивает им известную автономию поведения. Именно поэтому часто невозможно заранее предсказать их действия в конкретных ситуациях. В этом смысле они становятся похожими на человеческую деятельность. Однако тогда возникает вопрос, каким образом эта их деятельность встраивается в социальную систему и соотносится с уже существующими социальными структурами.
С точки зрения роботики можно оценить лишь техническую возможность такого рода замены. Основой этой оценки является в общем некоторый каталог требований, предъявляемых к специальным приложениям. Например, робот-пылесос должен в первую очередь засасывать пыль. В этом состоит его главная цель. Но кроме того он должен удовлетворять еще целому ряду критериев. Однако функционирующая техника не является больше чисто технической, а своеобразной социотехнической системой, а технологические риски ее использования преобразуются в социальные риски, требующие особого социально-гуманитарного, а не только научно-технического исследования.
С точки зрения роботики как особой научно-технической дисциплины прежде всего оценивается техническая возможность и необходимость замены человека машиной. В основе такой оценки находится некоторый каталог требований к специфической сфере применения данного типа роботов.
Однако самого начала должна быть сформулирована экономическая оценка целесообразности такой замены человеческой деятельности машиной. Важно провести расчет полных совокупных затрат, поскольку робот не бывает болен, не требует перерыва на отдых, но для него необходимы ремонтные и профилактические работы и он является достаточно дорогостоящим.
Затем должны учитываться также юридические аспекты той деятельности, которую призван выполнять робот за человека, — например, вопросы юридической ответственности за возможный ущерб, причиненный роботом людям или другим социальным объектам (скажем, автомобилям, строениям и т.п.), находящимся в собственности других. Юридические науки решают, кто несет ответственность за выполнение работы искусственным агентом, что может иметь важное значение при определении вопросов материальной ответственности, при которой несущий ее обязан возместить возможные убытки, если, например, такой автономно движущийся робот случайно наедет на что-то или на кого-то и нанесет повреждения. Какую роль в этом случае играет обучающий алгоритм? Если робот обучаем, то это означает, что его разработчик после того, как робот покинет производственный цех, где он был изготовлен, не может предсказать линию его поведения в каждом конкретном случае, поскольку он не может знать, чему робот за это время научился. Должен ли тогда покупатель нести полную ответственность за «обученного» робота, хотя он не является экспертом в области робототехники? Как смогут эти люди определить, что предпримет данный робот в следующий момент времени? С точки зрения юриспруденции формулируется вопрос о том, как автономные системы роботов будут рассматриваться в категориях права. Обычно для этого используются категории «автомат», «человек/личность», «животное», «вещь», «исполнитель чужой воли» и т.п. Это значит, что и исследователь в области искусственного интеллекта, и специалист в области роботики обязаны отвечать на вопросы, поставленные правовой наукой, и так описывать роботосистемы, чтобы юристы смогли его соотнести с релевантными для них категориями. Все вышеназванные вопросы непосредственно связаны с моральными аспектами, исходя из которых могут быть разработаны этические нормы, с помощью которых может быть оценена замена человека машиной. Существуют ли области, в которых мы — люди — не хотели бы, чтобы человек был заменен роботами? Какое можно дать этому обоснование?
Таким образом, параллельно должны предусматриваться этические проблемы и моральные аспекты, связанные с эксплуатацией такого рода искусственных устройств, которые не всегда легко артикулируются и не всегда могут получить юридическую оценку, но реально существуют или могут возникнуть. В особенности это касается так называемых сервисных роботов, где должны учитываться и вторичные способности человека в сервисной сфере, т.е. наряду с функциональностью, рентабельностью, надежностью и безопасностью функционирования также дружественность в общении, приветливость, коммуникабельность и способность понимания, что пока вряд ли можно требовать от машины. Наиболее интересными для такого рода исследования являются сервисные роботы в медицинской практике (например, в сфере протезирования, вплоть до соединения с нервными волокнами, ухода за пациентами, где требуется языковая коммуникация, или при хирургических вмешательствах), где вышеназванные проблемы встают особенно остро. Во всех этих случаях возникает необходимость создания адаптивных и обучающихся систем, если робот используется различными людьми и для обслуживания разных пациентов. В рассматриваемом нами проекте с этой целью были созданы междисциплинарные группы исследователей и разработчиков, а также выработаны некоторые рекомендации к проводимым исследованиям.
Интеллектуальные роботы должны обладать гуманоидными способностями к взаимодействию с окружающей средой, для чего их необходимо снабдить соответствующими сенсорами (органами «чувственного» восприятия, аналогичными зрению, слуху и осязанию) и актуаторами (рабочими и двигательными органами), обеспечивающими свободу перемещения и движения отдельных частей «тела». В настоящее время разрабатываются также вестибулярные системы и системы языкового общения. В рамках уже вполне конкретных проектов исследуется вопрос о разработке роботов, которые смогут вести себя подобно людям и взаимодействовать с людьми.
Уже на ранних стадиях проектирования все вышеназванные проблемы определяют параметры системы, ограничительные условия и главные проектные критерии. В особенности это касается использования сервисных роботов в военной сфере, поисково-спасательных службах и в области безопасности. Эти роботы в отличие от используемых в производственной сфере непосредственно вторгаются в нашу жизнь, и поэтому характер и риски такого вторжения должны специально исследоваться не только техническими, но и социально-гуманитарными науками, поскольку здесь возникает множество чисто социальных и психологических проблем. Причем эти проблемы возникают уже в процессе конструирования таких гуманоидных роботов, поскольку они подобно маленьким детям должны уметь учиться социальному поведению, взаимодействуя с окружающей природной и социальной средой, что заставляет разработчиков обращаться к исследованиям по детской и социальной психологии.
Таким образом, проблема конструирования гуманоидных роботов переходит из сферы фантастики в сферу науки и технологии, и в связи с этим вполне реальными представляются обществу те опасности, которые они потенциально вносят в наш веками формировавшийся социум. «Международная неправительственная организация Human Rights Watch совместно с Гарвардской школой права опубликовала доклад об опасности использования полностью автономных боевых роботов и роботизированных вооружений и призвала правительства всех стран отказаться от их разработки». Однако в США, например, создание такого рода интеллектуальных автономных роботизированных систем рассматривается как одно из приоритетных направлений исследований и разработок. Например, предполагается, что перспективный американский истребитель шестого поколения будет беспилотным гиперзвуковым аппаратом. Учитывая, что на скоростях полета более пяти тысяч километров в час и при большом объеме поступающих данных… оператор просто не сможет вовремя принимать необходимые ситуационные решения, получается, что эту работу придется переложить на «плечи» искусственного интеллекта. Но при этом открытым остается важный вопрос: этично ли передавать право на решение вопросов о жизни и смерти в условиях боя искусственному механизму?
Прорабатывается также вполне реальная возможность «дооснащения» человека с помощью современных технологий новыми возможностями, например ночного видения, что в конечном счете превращает такого солдата в человекоробота. Институт солдатских нанотехнологий Массачусетского технологического института уже получил на такого рода исследования 50 млн долларов от армии США и 30 млн долларов от фирм. Нанотехнологии предлагают для будущего воина различные усовершенствования не только его обмундирования и вооружения, но и его самого, в результате чего солдат рассматривается как своего рода «кентавр-система».
Остается открытым вопрос, как поведут себя такого рода полностью автономные роботы-убийцы или человекороботы в различных ситуациях, например по отношению к мирному населению, в том числе и после окончания военных действий.
Все это ставит новые проблемы и перед эпистемологией и методологией науки исследовать языки, которые бы могли в единой концептуальной структуре выразить новые типы исследуемых и проектируемых систем. В этом смысле конвергентные технологии дают новый импульс для анализа проблемы редукции физического и биологического языков в рамках биотехнологического и нанотехнологического исследования. Причем в этом случае не ставится проблема провести одностороннюю редукцию биологического языка к физическим представлениям, как этого требовали неопозитивисты, считая физическое знание наиболее развитым и поэтому основополагающим по отношению к другим видам знания. Например, две исследовательские группы физиков и биологов попытались совместно изучить механизм действия биологического наномотора, что потребовало в ходе такого меж-дисциплинарного исследования решать проблему концептуального диалога в нанобиотехнологии, причем с ориентацией на получение, по сути дела, инженерных результатов. В ходе исследования были выделены два типа биомоторов: мотор-турбина, приводимый в движение потоком протонов, и мотор — высокоэффективный преобразователь химической энергии в механическую. Оба биомотора связаны, но движутся в противоположных направлениях, а размер их на три порядка меньше, чем современные искусственные ротационные машины. В данном случае физический подход и подход структурной биологии к исследованию одной и той же гибридной нанобиосистемы выступают как рядоположенные, а не как соподчиненные. Если к этому добавить еще элементы химических описаний, то общая картина исследуемого явления выглядит весьма эклектично, что особенно рельефно видно из попыток схематического изображения функционирования данной гибридной системы, в котором причудливо сочетаются элементы инженерно-физических схем с химическими формулами и картинными изображениями биосистем.
В практической плоскости это означает необходимость взаимопонимания,постоянного обмена знаниями различных дисциплинарных групп ученых, вынужденных работать в одной междисциплинарной исследовательской группе над решением единой поставленной перед ними задачи. «Совместная работа двух исследовательских групп, использующих физический и биохимический подходы, поддерживалась при постоянном обмене знаниями серией совещаний и обсуждений…». Такого рода представления можно назвать синкретическими. Поэтому, чтобы дать описание функционирования «биологического мотора», которое было бы совместимо как с его инженерно-физическим рассмотрением, так и с его представлением с точки зрения структурной биологии, необходимо приподняться на уровень методологической рефлексии, т.е. выйти в сферу системно-кибернетической онтологии.
Кроме того, такого рода междисциплинарность наблюдается сегодня даже в рамках отдельных, казалось бы, узкоспециализированных областей науки. Например, применение протонной терапии требует подготовки специалистов, имеющих представление не только о физических процессах, но и о человеческом организме. Последний невозможно рассматривать как простой физический объект, обладающий константными свойствами. Он дышит, деформируется, постоянно меняет положение. Его здоровые клетки могут быть повреждены при ошибочном облучении, которое должно уничтожать лишь больные, например, раковые клетки. Здесь уже речь идет не об абстрактном «физическом теле», а о вполне конкретном человеке — пациенте. Основным принципом тогда становится медицинская заповедь «не навреди». Все это требует особых междисциплинарных исследований и формирования языка междисциплинарного общения физиков и медиков, чтобы использовать и аккумулировать имеющийся у обоих научных сообществ опыт для решения общей задачи.
Проблема же выработки общего языка, понятного всем включенным в развитие конвергентных технологий исследовательским группам, является уже не частнонаучной, а общенаучной или даже методологической проблемой, поскольку предполагает выход на более высокий (по сути дела, философский) уровень абстракции. А поскольку каждый специалист выступает по отношению к специалистам из других областей исследования как дилетант, то эта проблема становится уже не только проблемой междисциплинарной, но и трансдисциплинарной. Иными словами, возникает сложная проблема, каким образом наука может эффективно коммуницировать с общественностью, что становится жизненно необходимым в современном обществе, поскольку именно конвергентные технологии активно внедряются в социальную жизнь и затрагивают интересы простых, далеких от науки людей. И здесь опять мне кажется важной роль философской рефлексии.
Рефлексивность современности, характерная для начала двадцать первого века, требует от науки вместо дифференцировки в большей степени развития рефлексивных и интегративных механизмов для наведения мостов, как внутри самой науки, так и между различными социальными системами не только в рамках национальных государств, но и в глобальном масштабе. Мы обладаем сегодня дисциплинарными и междисциплинарными знаниями, но у нас недостаточно трансдисциплинарных знаний, т.е. знаний о том, как перевести наши знания в конкретные действия. Причем поддержка инновационной деятельности понимается как поддержка технологических инноваций, а вызванные ими социальные инновации почти совсем не исследованы. Мы живем сегодня в обществе риска и побочных непланируемых последствий, многие из которых инициированы научно-техническим развитием. Поэтому сама наука должна стать более рефлексивной, она больше не может отстраняться от просчитывания возможных последствий своей деятельности.
Бурный прогресс конвергентных технологий ставит перед учеными по-новому многие старые философские проблемы и выдвигает на первый план целый ряд новых методологических, социальных, когнитивных и т.п. проблем, осмысление которых требует высокого философского уровня, т.е. должно проводиться с участием профессионалов в этой области. Однако и сама философия науки не может существовать без активного взаимодействия с развивающейся наукой. Поэтому философы, особенно философы науки и техники, обязаны в тесной кооперации и диалоге с учеными-специалистами осмысливать вновь возникающие философские проблемы в этой новой научно-технической сфере. Здесь возникает великое множество вопросов, на которые не так просто ответить, но в каждом конкретном случае отвечать необходимо. Именно этой цели и служит философская рефлексия.
Конфиденциальность гарантирована