Человеческое знание и его компьютерный образ. Глава 4. И.Ю.Алексеева

СОДЕРЖАНИЕ

Глава 4. КОМПЬЮТЕР КАК КВАЗИСУБЪЕКТ ЗНАНИЯ

1. Субъект или инструмент?

С момента появления систем ИИ значительное число усилий ученых посвящается сравнению интеллектуальной системы и человеческого разума. Сравнение это проводится по различным линиям: сравниваются механизмы и результаты работы компьютерной системы и человеческого мышления, их эффективность в решении тех или иных типов задач. Вопрос о сходстве и различии между интеллектуальной системой и человеческим разумом нередко связывается с вопросом о перспективах ИИ как научного направления. При этом одни исследователи считают, что стратегической линией должно быть все большее приближение возможностей компьютерной системы к возможностям человеческого разума, другие, напротив, отстаивают точку зрения, согласно которой целью ИИ является не моделирование человеческого мышления, а изобретение способов обработки информации, принципиально отличных от человеческих и применяемых там, где человеческое мышление неэффективно или где использование его нецелесообразно. Время от времени высказываются мнения о принципиальной нецелесообразности сравнений
интеллектуальной компьютерной системы и человеческого интеллекта. Тем не менее сравнение систем ИИ с естественным интеллектом не толькоявляется реализацией неустранимой потребности человека в соотнесении «я» с тем, что в каком-то отношении подобно мне, принадлежа к области «не-я», но и играет важную роль в создании новых типов интеллектуальных систем, в формировании подходов и парадигм ИИ.

В сравнении естественного и искусственного интеллектов заметное место принадлежит вопросам о том, может ли машина мыслить, знать, понимать. Вопрос «Может ли машина знать?» не приобрел той популярности, которую имел вопрос «Может ли машина мыслить?». Это объясняется в значительной степени тем обстоятельством, что интерес ИИ к знанию проявился в период, когда «кибернетический бум» уже миновал. Кроме того, задачи построения баз знаний, обусловившие этот интерес ИИ к знанию, были связаны главным образом с построением систем, имеющих практическое применение (информационно-поисковые, экспертные системы), а не с демонстрацией принципиальной возможности машины имитировать работу человека со знаниями или быть субъектом знания. Интересной особенностью оценки людьми возможности для машины обладать тем, что называют интенциональностью (знать, мыслить, понимать, принимать решения), являются различия в степенях вероятности, которые один и тот же человек склонен приписывать этим возможностям. Например, человек, полагающий, что ответ на вопрос, «Может ли машина мыслить?», пока не найден, уверен, тем не менее, в том, что следует признать за машиной способность принимать решения. Однако некоторые склонны признать способность машины мыслить, но отвергают ее способность знать или понимать. По-видимому, источники таких расхождений — в различиях субъективных смыслов соответствующих терминов. Происхождение и обоснование таких различий — отдельная и весьма интересная проблема. Здесь, однако, мы не будем углубляться в ее исследование, но рассмотрим проблемы машинного знания, мышления и понимания как однопорядковые проблемы интенциональности, исходя из предпосылки, что эти когнитивные способности тесно связаны между собой и многие из соображений, высказанных в ходе (уже довольно длительного) обсуждения вопроса «Может ли машина мыслить?», могут быть спроецированы на обсуждение проблемы «Может ли машина знать?».

Обратившись к истории обсуждения вопроса «Может ли машина мыслить?», нетрудно различить в этом обсуждении по крайней мере две стратегические линии. Одна из них связана со стремлением определить мышление (или сформировать, разработать такое понятие мышления), которое давало бы возможность говорить о наличии мышления у машины. Другая линия характеризуется стремлением выявить такие характеристики мыслительной деятельности человека, которые никак не могут быть приписаны компьютеру и отсутствие которых не позволяет говорить о мышлении в полном смысле этого слова. (Употребляя слово «стремление», мы имеем в виду скорее то, что может быть названо «объективной логикой обсуждения проблемы» , чем собственно индивидуальные намерения.) Пример решения проблемы в рамках первой из обозначенных линий — определение М.М.Ботвинником мышления как решения задач: «Условимся, что будем оценивать интеллект с кибернетической точки зрения. А как тогда его можно оценить? Это способность принимать решение — хорошее решение — в сложной ситуации при экономном расходовании ресурсов. Если подойдем с этой точки зрения, то не усмотрим различий между естественным и искусственным интеллектом» [10, с.82]. Широко трактуемая способность принятия решений может служить основанием для приписывания интенциональности не только компьютерам, но и другого рода машинам. Так, один из крупнейших авторитетов в ИИ Дж.Мак-Карти утверждает следующее: «Такая простая машина, как термостат, может считаться имеющей определенные взгляды, мнения, и обладание взглядами является, по-видимому, характерной чертой большинства машин, способных осуществлять решения проблем». Такой подход, однако, может быть поставлен (и ставится) под сомнение. Во-первых, подвергается сомнению правомерность признания за компьютером способности принятия решений, поскольку принятие решений предполагает интенциональность. Во-вторых, отвергается сама стратегия «определения мышления таким образом, что от мышления в результате ничего не остается». Тем не менее способы истолкования мышления, позволяющие говорить о мышлении компьютера, отнюдь не случайны. Они не являются лишь порождением ситуации, созданной непосредственно появлением ЭВМ и первых работ по ИИ. Трактовки мышления, о которых идет речь, имеют глубокие корни в характерной для западной философии традиции рассмотрения интеллектуальной деятельности. Фундаментальное исследование этой традиции с целью метафизического обоснования идеи «подлинно искусственного интеллекта» предпринято Дж.Хогеландом. Идея, что мышление и вычисление есть, по существу, одно и то же, положена в основу его книги «Искусственный интеллект: основная идея». Такой взгляд на мышление согласуется, по мнению Дж.Хогеланда, с центральной для западной философии традицией рассмотрения умственной деятельности как рациональной манипуляции с ментальными символами (идеями).

Трактовка интеллектуальной деятельности как манипулирования символами предполагает, что интеллект зависит только от организации системы и ее функционирования как манипулятора: спецификации же более низкого уровня (например, материал, из которого сделаны символы и их конкретная форма) не имеют значения для решения вопроса о том, может ли система быть названа интеллектуальной. При этом не важно также, является ли лежащая в основе структура электронной или психологической (равно как гидравлической, фиброоптической или какой-либо еще). Современная компьютерная технология оказывается предпочтительной только по экономическим причинам: электронные схемы оказались в настоящий момент наиболее дешевым средством для построения гибких систем, манипулирующих символами. Основными вехами на пути к пониманию деятельности разума как манипулирования символами в соответствии с некоторыми строго определяемыми правилами (в книге Хогеланда такое понимание разума называется современным) он считает учения Коперника, Галилея, Гоббса, Декарта и Юма.

Первый импульс формированию современного понятия разума, считает Дж. Хогеланд, был дан коперниканским различением между видимостью и реальностью. В отличие от платоновских представлений о подобии между подлинной реальностью (идеей) и ее проявлениями (объектами человеческого восприятия) учение Коперника предполагало, что астрономические явления (видимости) не могут считаться подобиями реальности. (Иллюзия, что Солнце восходит на востоке, не является бледной тенью или несовершенной картиной вращения Земли — это нечто совершенно иное). Это означало бы решительное разделение разума и мира, что в конечном счете изменило наше понимание мышления и нас самих. Заслуга Галилея в формировании современного понятия разума состояла в том, что его работы показывали возможность абстрагирования дедуктивной системы Евклида от ее геометрической формы и применения ее к движению. Дж.Хогеланд называет Гоббса «дедушкой Искусственного Интеллекта». Его утверждение о том, что рациональное рассуждение есть вычисление, было пророческим предвидением Искусственного Интеллекта в 1650 г. Лозунг Гоббса предполагает две фундаментальные идеи. Во-первых, мышление есть «мысленное рассуждение», т. е. мышление состоит из операций, совсем как разговор (произнесение звуков) или вычисление с ручкой на бумаге.

Однако мышление осуществляется внутренне, и мысли сами по себе выражаются не в произнесенных или написанных знаках, но в особых знаках в мозге, которые Гоббс называл «фантазмами» или «частицами» мышления. Во-вторых, рациональное мышление следует методическим правилам — подобно тому, как подсчет ведется в соответствии с точными правилами цифрового вычисления. Другими словами, логическое рассуждение понимается как «механический » процесс, подобный оперированию «умственными счетами» [97, с.23]. Представления Декарта о том, что математика как таковая имеет дело не со специальными объектами (фигурами, числами, движениями и т.д.), а лишь с очень абстрактными отношениями, которые могут быть в них обнаружены, равно и в любых других объектах, позволило рассматривать само мышление как символическое представление, фундаментально аналогичное тому, которое используется в математике. В результате Декарт смог применить свои выводы о математическом представлении к разуму как специальному случаю. Все разумное, в глазах Декарта, детерминировано правилами рассуждения, т. е. правилами манипулирования ментальными символами в обозначающей системе разума. Подход Декарта предполагал две основные компоненты: отрицательную — состоящую в разделении символа и обозначаемого им объекта, и положительную — соединение, согласование символа и обозначаемого.

Трудности в согласовании этих двух компонент между собой порождают, по мнению Дж.Хогеланда, «парадокс механического разума». Этот парадокс состоит в следующем: Рассуждение (в его вычисленческой модели) есть манипуляция обозначающими символами в соответствии с некоторыми рациональными правилами (в интегрированной системе). Для осуществления этих манипуляций должен иметься определенный вид манипуляторов. При этом манипулятор или обращает внимание на то, что обозначают символы и правила, или не обращает. Но если он обращает внимание на значение (смысл), то он не может быть полностью механическим, потому что значения (смыслы) не испытывают физических воздействий. С другой стороны, если манипулятор не принимает во внимание значение (смысл), то манипуляции не могут считаться примерами рассуждения, так как не может считаться разумным то, что не зависит решающим образом от значения (смысла) символов. Короче говоря, если процесс или система механические, то они не могут считаться разумом, если же это разум, то он не может быть механическим [97, с.39]. Разрешение этого парадокса, считает автор, могло бы служить философским основанием подъема Искусственного Интеллекта. Решение «парадокса механического разума» может быть найдено, по мнению Дж.Хогеланда, благодаря рассмотрению его как компьютера. Компьютер определяется как интерпретированная автоматическая формальная система. Как формальная система он имеет ряд существенных черт, общих с ручными, неавтоматизированными формальными системами. Формальная система может при этом пониматься как игра, в ходе которой осуществляются, в соответствии с установленными правилами, манипуляции со значками. Примерами формальных игр (=формальных систем) могут служить шахматы и шашки. Важнейшие особенности формальной игры состоят в том, что а) она есть манипулирование знаками; б) игра дискретна; в) игра может быть сыграна в конечное число шагов. Формальные системы не зависят от материала, в котором они воплощены (это не означает, конечно, что для воплощения формальной системы пригоден любой материал). Автоматическая формальная система — это такая система, которая работает (или играет) сама. Выражаясь точнее, это физическое устройство (как, например, машина) со следующими характеристиками:

  1. определенные ее части или состояния идентифицируются как значки в позиции некоторой формальной системы;
  2. в своей нормальной работе устройство автоматически манипулирует значками в соответствии с правилами этой формальной системы.

Интерпретация формальной системы понимается как придание ей смысла. Интерпретировать систему значков как символическую систему — значит придать смысл всем этим значкам, определив регулярным способом, что они обозначают. Определение обычно состоит из двух частей: в первой указываются значения простых символов, а во второй — как значения сложных символов определяются их композицией.

Парадокс механического разума применительно к интерпретированным формальным системам может быть представлен в следующей драматизированной форме: знаки интерпретированных формальных систем ведут одновременно две жизни: синтаксическую жизнь, в которой они не имеют значений и передвигаются в соответствии с синтаксическими правилами игры, и семантическую жизнь, в которой они имеют значения и являются символами внешнего мира. Соответственно в драматизированной форме ставится и вопрос: как знаки могут совмещать эти две жизни? Ответ на этот вопрос помогает найти обращение к причинам использования интерпретированных формальных систем. Эти причины состоят в том, что игра в соответствии с семантическими правилами является здесь безошибочным способом получения нового смысла. Например, если вы подчиняетесь правилам арифметики, то ваши ответы на вопросы о результатах операций над числами будут, несомненно, истинными. Это обстоятельство выражается в «девизе формалиста: если вы позаботились о синтаксисе, то семантика позаботится о себе сама. Компьютер как интерпретированная автоматическая формальная система в буквальном смысле «берет на себя заботу о синтаксисе», семантика соответственно автоматически заботится о себе сама. Основанием для решения «парадокса механического разума» является рассмотрение интерпретации формальной системы как «нового описания » этой системы — рассмотрение той же самой вещи с совершенно другой точки зрения и, таким образом, описание ее в других терминах. Интерпретация есть «новое описание», основанное на связности текста. Интерпретация правильна в том и только в том случае, когда формальные связи должным образом соответствуют связям смыслов. Парадокс решается благодаря связыванию двух его сторон с двумя различными способами описания. Внутренние «игроки» автоматической формальной системы могут, с одной точки зрения, рассматриваться как, в свою очередь, автоматические формальные системы, манипулирующие значками по определенным правилам совершенно механически. Но с другой точки зрения, те же самые игроки, манипулирующие теми же самыми значками, но интерпретируемыми теперь как символы, рассматриваются иным образом, совершенно разумно соответствующим значению этих символов. Применение такого подхода к различного рода компьютерным системам связано с некоторыми трудностями. Но эти трудности, считает Дж.Хогеланд, имеют конкретно-научный и эмпирический характер. Концептуальная же, философская проблема теперь является решенной: «механический разум» больше не является парадоксальным [97, с.119].

Выше говорилось о наличии второй линии в обсуждении вопроса: может ли машина быть субъектом интеллектуальной деятельности?

Аргументы, которые мы считаем возможным отнести к этому направлению, весьма разнообразны, однако общая их черта состоит в том, что все они так или иначе фиксируют внимание на характеристиках, которыми обладает мыслящий человек и не обладает компьютерная система, но которые предполагаются необходимыми для субъекта подлинного мышления, подлинно интеллектуальной деятельности. В качестве таких характеристик иногда указываются наличие интуиции, познавательных интересов, чувств, желаний, стремлений, обусловливающих творческие способности человека [70].

Широкую известность приобрел мысленный эксперимент Дж.Серла, основой которого послужил критерий интенциональности (или интеллектуальности), сформулированный следующим образом: чтобы проверить некоторую теорию интеллекта, человеку достаточно спросить себя о том, что было бы, если бы его собственный интеллект работал в соответствии с теми принципами, которые, согласно проверяемой теории, являются общими для любого интеллекта [116, p.20]. Непосредственное предназначение мысленного эксперимента Серла — послужить контраргументом для истолкования способности понимания как присущей некоторому агенту во всех тех случаях, когда от него можно получить ответы на вопросы, связанные с переданной ему (или введенной в него) информацией, хотя эти ответы не были представлены эксплицитно в формах организации передаваемой информации. Именно такая трактовка понимания позволила считать демонстрирующей подлинное понимание систему, разработанную Шенком. Эта система способна «выдавать» ответы о содержании рассказа, с которым ее предварительно «ознакомили», причем ответы таковы, что может создаться впечатление, будто их дает человек, прочитавший или услышавший данный рассказ.

Серл готов признать в этом случае за машиной способность симулировать человеческое понимание. Те же, с кем он вступает в спор, полагают, что машина в этом случае в буквальном смысле слова понимает рассказ и, более того, объясняет человеческую способность понимать рассказы и отвечать на вопросы о них. Аргумент Серла в этом споре — мысленный эксперимент, показывающий, что можно отвечать на вопросы о содержании рассказа, не понимая его. Эксперимент состоит в следующем. Представим, что человек, совершенно незнакомый с китайским языком, но понимающий английский, заперт в комнате. Этому человеку дали папку с рукописями на китайском языке, папку со сценариями на китайском языке, а также правила, которые написаны по-английски и позволяют соотносить символы, содержащиеся в бумагах из второй папки, с символами, содержащимися в бумагах из первой папки, причем отношения устанавливаются только на основе внешних форм этих символов. Предположим далее, что этому человеку дали третью папку с китайскими символами, а также инструкции, написанные по-английски, которые дают возможность соотносить элементы из этой третьей папки с элементами из первых двух папок. Эти папки инструктируют, как от определенных форм символов из третьей папки перейти к определенным формам символов в первых папках. Не ставя этого человека в известность, давшие ему все эти бумаги с изображенными на них знаками называют одну папку «сценарий», другую — «рассказ», а третью — «вопросы». Более того, они называют символы, изображенные на бумагах, которые им возвращает человек, получивший третью папку, в соответствии с прилагаемыми к ней правилами — «ответами на вопросы», а совокупность самих правил, написанных по-английски, -» программой». Допустим, человек, запертый в комнате, хорошо выполняет инструкции и сами программы так составлены, что с точки зрения людей, находящихся вне комнаты, ответы испытуемого неотличимы от ответов человека, для которого китайский язык — родной. Согласно трактовке понимания, против которой и возражает Серл, человек, запертый в комнате, должен считаться понимающим китайский язык. Однако, считает Серл, из этого примера очевидно, что человек, о котором идет речь, не понимает ни слова по-китайски. Очевидно также, что какая-либо формальная программа иррелевантна пониманию рассказа этим человеком: в случае с китайским языком он имеет все, что может ввести в него с помощью программы, и не понимает ничего. В случае с английским языком он понимает все — и нет оснований полагать, что его понимание нуждается в какой-либо программе — т. е. в вычислительных операциях с чисто формально специфицированными элементами [116, p.20-22].

Мысленный эксперимент Серла вызвал многочисленные возражения. Часть из них рассматривает он сам в упомянутой работе, примеры других содержатся в [91; 104]. Дж.Мур, например, считает противоречивым сам эксперимент, поскольку количество и скорость операций с символами, которые потребуются обитателю «китайской комнаты» для того, чтобы выдавать ответы, позволяющие принять его за человека, владеющего китайским языком, было бы таково (даже при небольшом объеме текста), что субъект, успевающий выполнить все эти операции, должен обладать нечеловеческими способностями и, вообще говоря, не может считаться человеком. Так или иначе, мысленный эксперимент Серла может быть использован и как контраргумент для утверждения, что компьютер является субъектом знания. Ведь обитатель «китайской комнаты» имеет рукописи и работает с ними, однако это не значит, что он знает их.

Вообще способность иметь знание неразрывно связана со способностью мыслить, понимать, решать. Тот, кто обладает одной из этих способностей, обладает и остальными. Тот, кто не обладает хотя бы одной из них, не обладает никакой другой из этих способностей. Не случайно Мак-Карти, приписывая термостату способность принимать решения, признает за ним и способность иметь взгляды (полагания) — ведь решения принимаются на основе каких-то знаний (или заблуждений). Трудно также вообразить субъекта, который бы мыслил, ничего не зная (он должен иметь хотя бы «знание, как» — т. е. знание о том, как надо мыслить), или имеющего знания, но не способного мыслить. Обратим внимание, что многие из исследователей, чьи позиции в обсуждении вопроса «Может ли машина обладать ментальностью?» можно отнести ко «второй линии», не утверждают, что машина в принципе не может обладать ментальностью. Их аргументы направлены лишь против тезиса, что существующие машины уже обладают ментальностью, и против имеющихся упрощенных трактовок ментальности, позволяющих приписывать последнюю современным машинам. Сегодня достаточно широко распространено имеет мнение, что вопрос о том, будет ли создан «подлинный искусственный интеллект», может быть решен лишь эмпирически. Этой точки зрения придерживается и Серл. Он подчеркивает, что его мысленный эксперимент — свидетельство против тезиса «Ментальные процессы есть вычислительные процессы над формально определенными элементами», утверждая вместе с тем следующее: «Я не вижу причин, почему в принципе мы не можем сделать машину, понимающую английский или китайский язык, так как в некотором существенном смысле наше тело и мозг являются точно такими же машинами. Я вижу лишь очень сильные аргументы, чтобы утверждать, что мы можем сделать понимающую машину, если операции этой машины определены только в терминах вычислительных процессов над формально задаваемыми элементами, если эти операции определяются как подстановочный случай компьютерной программы» [116, p.33].

Ряд исследователей, разделяющих мнение Серла о том, что вопрос о возможности создания машины, обладающей ментальностью, может быть решен лишь эмпирически, упрекают самого Серла в физикализме (связывание возможной ментальности технического устройства с физико-химическими характеристиками материала, из которого оно сделано). Эти исследователи более оптимистично настроены в отношении возможностей компьютерных программ. Так или иначе, вопрос о возможности появления машины, обладающей ментальностью не может быть сброшен со счетов ни на основе критики существующих машин, ни благодаря возможности рассматривать компьютер в качестве инструмента интеллектуальной деятельности человека.

Недооценка возможностей компьютера как автономного агента, роль которого несводима к роли инструмента, используемого человеком, может оказаться опасной с прагматической точки зрения. Дж.Мур, например, отстаивая правомерность рассмотрения компьютера в качестве субъекта принятия решений, приводит в числе прочих следующий довод: важно рассматривать в некоторых контекстах работу компьютера как принятие решений еще и потому, что, отказываясь понимать ее таким образом, мы рискуем недооценить возможные последствия «столкновения» компьютеров с нашим обществом. «Делегировать власть в принятии решения, — пишет Дж.Мур, — значит делегировать управление (контроль). В конце концов, вопрос состоит в том, какие аспекты нашей жизни (если вообще какие-либо) могут быть управляемы (контролируемыми) компьютерами.» [103, p.122]. Аналогичные соображения могут быть связаны и с тезисом, что машина в принципе неспособна к творческой деятельности, к «новаторству». Уместно, в связи с этим, привести замечание А.Эндрю: «Нельзя уйти от того факта, что вычислительная машина действительно является послушным исполнителем программы. Но когда ЭВМ и программа становятся достаточно сложными, поведение машины может оказаться практически непредсказуемым (хотя оно и предсказуемо в принципе). Поэтому не лишено смысла рассматривать машину как устройство, принципиально способное к «новаторству» [82, p.23].

Тезис «Вопрос о создании подлинного искусственного интеллекта есть вопрос эмпирический» не лишен оснований со многих точек зрения, в том числе и с прагматической. В самом деле, с одной стороны, появление систем ИИ, обладающих новыми возможностями, позволяет в принципе допустить, что эти возможности когда-либо будут охватывать все возможности человеческого интеллекта. С другой стороны, игнорировать такую перспективу может оказаться опасным в социальном отношении — пребывая в уверенности, что «подлинный искусственный интеллект» невозможен, мы окажемся не в состоянии предотвратить негативные для человека последствия его появления. Однако такие понятия, как интеллект, мышление, знание, имеют значительную ценностную нагруженность. Не противоречит ли признание эмпирического характера вопроса о подлинном искусственном интеллекте утверждению об эмоционально-ценностной нагруженности указанных гносеологических понятий? Для того, чтобы ответить на этот вопрос, мы должны обратиться к этическому аспекту проблемы искусственной ментальности.

Одним из первых обратил внимание на важность этической стороны в разработке и использовании компьютеров Дж. Вейценбаум. По его мнению, проблемы, возникающие в рамках дебатов на тему «Вычислительные машины и мозг» не являются ни техническими, ни математическими: это проблемы этические. Их нельзя ставить, начиная со слов «Можно ли…». Пределы применимости вычислительных машин, по существу, поддаются формулировке лишь в терминах долженствования [12].

Известны различные попытки определить, исходя из этических соображений, ограничения на характер задач, решаемых компьютером, и на характер областей его применения. Дж. Вейценбаум, например, полагает, что мы не имеем права заменить вычислительной системой человека в тех сферах, которые связаны с межличностными отношениями, пониманием и любовью (аморальна замена компьютером психиатра или судьи). Дж. Мур предлагает ограничить круг задач, решаемых компьютером, таким образом, чтобы компьютер не мог решать, каковы должны быть наши базисные цели и ценности (и приоритеты среди них)[103]. М.Боден обращает внимание на еще один важный аспект этой проблемы. Речь идет не только о том, какие виды деятельности могут быть доверены компьютеру, но и о взгляде человека на самого себя, который может складываться под влиянием компьютера.

Высоко оценивая плодотворность компьютерного моделирования для постановки новых вопросов о человеческом разуме, о способах нашего мышления и построения реальности, она подчеркивает необходимость ограничений (прежде всего самоограничений профессионалов) в проведении аналогий между компьютером и человеком: «Те, кто работает в ИИ, должны отдавать себе отчет в том, что технологические аналогии, глубоко проникая в личность и самосознание индивидов, в их культуру, могут иметь коварные эффекты, игнорировать которые было бы весьма рискованно» [91, p.470]. В любом случае, принятие такого рода ограничений означает принципиальное непризнание компьютеров (как существующих ныне, так и могущих быть созданными в будущем) в качестве полноправных субъектов морально-релевантной деятельности. Вообще традиция рассматривать существа разумные как существа нравственные является преобладающей в истории нашей культуры. Хотя человек и не рассматривался в качестве единственного субъекта мышления и знания — предполагалось существование божественного мышления и знания, а также элементы (или подобие) мышления и знания у животных, все же человеческая ментальность считалась обычно несравнимой с ментальностью животных. При этом интеллектуальные способности человека могли объясняться не только из способностей его тела (как это делал, например, Спиноза, утверждавший, что «…чем какое-либо тело способнее других к большому числу одновременных действий или страданий, тем душа его способней к одновременному восприятию большего числа вещей; и чем более действия какого-либо тела зависят только от него самого и чем менее другие тела принимают участие в его действиях, тем способнее душа его к отчетливому пониманию» [67, с.414-415]), но и из особых отношений человека и бога, которые неразрывно связаны с человеческой нравственностью. Августин писал о знании: «Эта великая и удивительная способность, кроме человека, не свойственна никому из смертных одушевленных существ. Некоторые из животных владеют гораздо более острым, чем мы чувством зрения для созерцания обычного дневного света; но для них недоступен этот нетелесный свет, который известным образом озаряет нам ум, дабы мы могли правильно судить обо всех этих вещах: для нас это возможно настолько, насколько воспринимаем мы этот свет. Впрочем, и чувствам неразумных животных присуще если не знание, то по крайней мере некоторое подобие знания»[1, ч.2, кн. 27].

Связь ментальности и нравственности, состоящая в том, что субъект, обладающий одним из этих параметров, обладает также и другим, в обыденном сознании, на уровне здравого смысла крепка еще больше, чем на уровне метафизических построений. Эта связь нечасто осознается эксплицитно, она постигается скорее на уровне неявного знания и проявляется это в практике приписывания нравственных и эпистемических оценок. В этом плане неслучайно наделение одного и того же субъекта характеристиками «всеблаг» и «всеведущ» и вообще наделение знанием более совершенным, чем человеческое, того, кто обладает более совершенными, чем люди, нравственными характеристиками. Основанием для представления об интеллекте и нравственности как не обязательно предполагающих друг друга может показаться использование нами в повседневной жизни выражений типа «я принимаю это рассудком, но не могу принять сердцем» или «интеллект у этого человека развит хорошо, а вот с нравственными качествами дело обстоит хуже». Нужно иметь в виду, однако, что различение интеллекта и нравственности еще не предполагает возможности их раздельного существования. Когда я говорю, что этот человек безнравственен, то все-таки рассматриваю его в качестве субъекта нравственно релевантной деятельности, приписывая этой деятельности отрицательные моральные оценки.

По-видимому, в основе многих разногласий по поводу машинной ментальности лежат скрытые этико-аксиологические предпосылки. Если разум или нителлект будут восприниматься нами как ценность, обладателем которой может быть только человек, то при любом уровне развития интеллектуальных систем мы найдем в человеческом мышлении такие черты, которыми не обладает машина, и будем настаивать на том, что именно эти черты являются необходимыми характеристиками подлинного мышления, знания или понимания. В этом контексте эмпирическое решение вопроса о «подлинном искусственном интеллекте» должно быть понято как изменение в существенных характеристиках самого человека. В самом деле, представим, что появилась система, признанная нами как мыслящая или обладающая знанием в подлинном смысле слова. Это будет означать, что знание и разум для нас больше не являются ценностями, которыми можем обладать в полной мере только мы и (или) еще некоторая высшая реальность; или же это будет означать, что мы должны признать компьютер в качестве равноправного с нами субъекта нравственности. Можно попытаться представить себе социальные следствия такого события, как появление «подлинно мыслящей машины», если задуматься о том, могут ли фундаментальные права подлинно мыслящего существа быть заранее ограничены по сравнению с правами других подлинно мыслящих существ. Каким образом люди смогут такие ограничения осуществить и будут ли они иметь моральное право на такие ограничения?

2. Проблема доверия к результатам переработки информации

Хотя создание «подлинного искусственного интеллекта» вряд ли можно считать событием обозримого будущего, уже сегодня компьютеры (и не только системы ИИ) обладают достаточной степенью автономности и неконтролируемости со стороны человека, чтобы породить проблемы, связанные с доверием к результатам информационно-перерабатывающей деятельности. (Имеется в виду переработка информации в широком смысле, предполагающая получение, хранение, преобразование и передачу информации.) Значительная часть этих проблем имеет технический или практический характер.

Однако существуют и собственно метафизические вопросы, то или иное решение которых способно оказать (или подспудно оказывает) влияние на выбор стратегии практических мер контроля за компьютерной переработкой информации. Вообще, проблема контроля за развитием технологии с целью предотвращения негативных последствий этого развития актуальна не только для компьютерной, но и для других видов технологий. В месте с тем, следует согласиться с утверждением В.Циммерли о том, что специфичность вопросов о понимании и контроле в сфере компьютерной технологии в значительной степени обусловлена тем обстоятельством, что компьютер предназначен непосредственно для оптимизации мыслительной деятельности человека, и потому аналогии с другими видами технологий при рассмотрении проблемы контроля здесь далеко не всегда оправданы [118]. Проблемы контроля за работой компьютера и оценки результатов переработки информации компьютером (или с помощью компьютера) В.Циммерли связывает с невозможностью для человека проследить за выполнением операций. «Начиная с определенного количества данных и определенной скорости их обработки, — считает В.Циммерли, мы должны основываться на весьма сомнительной предпосылке, приобретенной в ходе нашей аналитической тренировки, — а именно на положении, что компьютер не будет вести себя иначе в сфере больших количеств и скоростей, чем те, с которыми мы непосредственно знакомы» [118, p.296]. Между тем идея контроля, из которой исходит В.Циммерли, — это именно такое прослеживание всех шагов работы контролируемого механизма. Поэтому проверить «…работает ли должным образом высокоскоростной компьютер или какая-либо другая система, обрабатывающая информацию, может только другой высокоскоростной компьютер, обладающий еще большими возможностями, чем первый…. Но кто будет контролировать и проверять этот второй, третий, … n-й компьютер?» [Там же]. Что касается человека, то он не в состоянии проверить многие даже относительно короткие последовательности операций, выполняемых обычными компьютерами.

В еще большей степени это справедливо для сложных программ, в которых многие вычисления выполняются параллельно. Учитывая данное обстоятельство, имеет смысл обратить внимание и на тот факт, что вопросы контроля за информационно-перерабатывающей деятельностью и ее результатами человеку приходилось решать задолго до появления компьютеров и приходится решать сегодня безотносительно к последним. Речь идет об оценке человеком результатов мыслительной деятельности других людей и способов получения этих результатов. Человек располагает способами понимания и контроля (осознанными или, значительно чаще, неосознанными), позволяющими ему понимать и оценивать как верные или неверные, приемлемые или неприемлемые, представленные ему другими людьми доказательства математических теорем, рассуждения о нравственности, бухгалтерские расчеты, обоснования медицинских диагнозов и политических решений. При этом реципиент, понимающий и оценивающий данные результаты, обходится без прослеживания всех мыслительных операций, совершенных автором на пути получения или обоснования этих результатов. Более того, подобного рода полное прослеживание неосуществимо ни в отношении мышления другого человека, ни в отношении своего собственного мышления. Рассказ автора или других осведомленных лиц об истории получения результата не является исчерпывающим описанием мыслительных операций, приведших к его получению, да и не претендует на эту роль. В определенных случаях такой рассказ может способствовать пониманию результата, так или иначе влиять на его оценку. Вообще же оценка результата мыслительной деятельности осуществляется на основании знакомства с текстом, в котором он представлен и обоснован. При этом требуется обозримость текста для субъекта понимания и оценки.

С проблемой обозримости текста в пределах времени, отпущенного на его оценку, сталкивались уже древние греки. Так, в одной из сцен диалога «Протагор» Сократ, беседующий с Протагором, требует от последнего высказываться таким образом, чтобы Сократ мог следить за его утверждениями. Присутствующий при этом Алкивиад так формулирует условие ведения беседы: «…пусть Протагор беседует, спрашивая и отвечая, а не произносит в ответ на каждый вопрос длиннейшую речь, отрекаясь от своих утверждений, не желая их обосновывать и так распространяясь, что большинство слушателей забывает даже, в чем состоял вопрос» [44, т.1, с.336]. Требование обозримости речи собеседника за время, отпущенное на ее оценку, свидетельствует об ответственном отношении Сократа к оценке утверждений и рассуждений собеседника. Жизнь, однако, устроена таким образом, что среди людей, результаты познавательной деятельности которых мы используем, найдется довольно мало тех, от кого мы могли бы потребовать, чтобы речи их были обозримы и понятны для нас. Сплошь и рядом мы вынуждены использовать результаты мыслительной деятельности других людей, принимать их как истинные и полагаться на них, не имея возможности проверить тексты, где содержатся их обоснования. Мы берем билет на самолет, полагая, что попадем в место назначения, не будучи знакомыми с чертежами и расчетами данной модели самолета; принимаем прописанное врачом лекарство в надежде, что оно поможет нам выздороветь, не зная при этом соответствующей фармакологической статьи и протоколов испытания данного лекарства. Совокупность текстов, содержащих обоснования всех принимаемых и используемых человеком результатов мыслительной деятельности других людей, столь же необозрима для него, как и, скажем, запись на магнитном диске последовательности операций, выполняемых высокоскоростным компьютером (если такая запись осуществлена).

Есть, разумеется, существенное различие между этими двумя случаями необходимости. В первом случае речь идет о совокупности текстов, каждый из которых порожден каким-либо человеком или группой людей и является для них понятным, проверяемым, обозримым. Во втором случае тексты (фиксирующие последовательность компьютерных операций) не были созданы непосредственно никем из людей, никем из людей не восприняты, не поняты, не проверены и находятся вне сферы непосредственного контроля со стороны человечества в целом. Отношение «человечество-компьютер» в этом плане аналогично отношению «индивид-человечество». Данная аналогия не должна служить основанием для того, чтобы ослабить бдительность человека в отношении негативных эффектов компьютерной технологии, хотя имеются попытки использовать эту аналогию именно таким образом. «Компьютерные оптимисты» рассуждают примерно так: «Вы не можете оценить результатов переработки информации, осуществляемой без компьютера, и это вас не беспокоит. Почему же вы беспокоитесь по поводу того, что не можете оценить результатов компьютерной переработки информации?» Рассуждения такого рода неприемлемы уже по этическим соображениям. В самом деле, мое отношение к человеку как существу, обладающему самоценностью, принципиально отличается от моего отношения к компьютеру, ценность которого инструментальна. Рассуждения эти неприемлемы еще и потому, что вопрос об оценке некомпьютерной переработки информации также является тревожным. Здесь можно упомянуть о беспокойствах, которые связаны с чрезвычайно возросшей ролью экспертов при принятии решений, а также о проблемах оценки гражданами результатов мыслительной деятельности политиков.

Невозможность полной контролируемости человеком мыслительной работы всех других людей, результаты которой он использует в течении своей жизни, не делает, однако, акт принятия этих результатов как достоверных или вероятных и применимых для решения тех или иных задач актом морально иррелевантным. Когда текст, включающий обоснование результата (имеется в виду текст, представленный автором результата, или текст, признанный соответствующим профессиональным сообществом) может быть понят человеком за время, которым он реально располагает для его оценки, то человек, безусловно, несет моральную ответственность за оценку данного текста (например, признание его истинным, ложным, сомнительным). Если ошибочная оценка текста была получена вследствие использования неверных методов верификации, то ответственность может быть разделена с теми, кто разработал эти методы, определил сферу их применимости, в чьи обязанности входила их проверка. Если текст не может быть понят человеком за отпущенные для этого сроки, (вследствие необозримости для данного человека в эти сроки или по другим причинам), то вопрос об ответственности решается по-разному в зависимости от дополнительных условий. В качестве такого рода условий могут выступать как обязанность данного человека (определенная юридически, административная или моральная) понять данный текст, так и причины, по которым он не может этого сделать. Наибольший интерес с точки зрения аналогичности отношению человека к результатам машинных вычислений представляет ситуация, когда понимание текста не может быть вменено человеку в обязанность (ни юридически, ни морально), но при этом оценку результата выработать нужно.

Подавляющее большинство людей, летающих самолетами, не в состоянии понять тексты, содержащие обоснование возможности и целесообразности использования того или иного типа самолета, разобраться в используемой в них терминологии, чертежах и расчетах. Несут ли они моральную ответственность за свое решение лететь самолетом? Представляется, что несут, только оценка утверждения о высокой безопасности полета дожна делаться на основании некоторого вторичного текста, который понятен для данного человека. Текст этот может содержать утверждения типа: «Система производства и эксплуатации самолетов организована таким образом, что вероятность безопасности полета достаточно высока», «Все мои знакомые летали благополучно». Представитель городских властей, обязанный сказать свое «да» или «нет» по вопросу о целесообразности строительства на территории города нового завода, не может быть одновременно инженером, биологом, врачом, экономистом, социологом, чтобы быть в состоянии понять все тексты, представленные разными специалистами в пользу или против строительства завода. При этом степень его моральной ответственности за принятие решения значительна. Принятие решения осуществляется здесь также на основании вторичных текстов, соотносящих те или иные утверждения из первичных текстов, включающих сведения о квалификации их авторов, о надежности проверки и другие.

Обратимся теперь к случаям, когда в тексте, представляющем обоснование некоторого утверждения (будь то математическая теорема или медицинский диагноз), существенным образом используются утверждения типа «В результате машинных вычислений получено то-то и то-то», и при этом запись шагов из проведенного вычисления (на бумаге или на магнитном диске) не обозрима и не может быть понята никем из людей. Пример такой ситуации, возникающей в связи с машинным доказательством теорем, рассматривается А.М.Анисовым [3]. Снимает ли последнее обстоятельство ответственность с человека, принимающего данное вычисление как верное, с человека, создаюшего машину, и с человека, эксплуатирующего машину? Ответить на этот вопрос положительно — значит признать бессмысленными усилия, направленные на повышение надежности компьютеров, на разработку способов проверки правильности полученных с их помощью результатов. При неосуществимости прямого контроля за работой машины и исчерпывающей проверки результатов машинных операций, имеет смысл стремиться все же обеспечить максимально достижимый контроль и максимально достижимую надежность методов проверки результатов компьютерных вычислений [91; 101]. Средства достижения этой цели различны для различных типов систем. Так, при работе с экспертной системой задача контроля и обоснования результата частично решается благодаря объяснению, предоставляемому системой пользователю. Объяснение в экспертной системе может быть рассмотрено как своего рода вспомогательный текст, аналогичный вспомогательным текстам, используемым для оценки результатов некомпьютерной переработки информации.

Вспомогательные тексты не снимают, разумеется, всей проблемы доверия к работе компьютера, однако могут стать одним из средств, позволяющих продвинуться в этом направлении.

И.Ю.Алексееваисточник

Поделиться в соц. сетях

Автор

Дмитрий Федоров

Редактор сайта, старший преподаватель кафедры вычислительных систем и программирования СПбГЭУ. Сфера интересов: языки программирования (Python, C); гуманитарные аспекты информационной безопасности.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *