Что такое “Человек”?

Автор: | 17.07.2011

Попробуем протестировать следующие утверждения:

  1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
  2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
  3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

Удивительно абстрактно, не так ли?

Почему первый закон сразу же содержит отдельное условие? Почему сентенция не разбита на два закона? Если бы было четыре закона вместо трех, что существенного изменилось бы?

Какого типа вред человеку должен отмечать робот? Физический, моральный, гипотетический, умственный, потенциальный?

Почему не установлен уровень меры в третьем законе?

Каким образом формулировка третьего закона разрешает роботу действовать даже в том случае, если он будет уничтожен?

Что должен делать робот, если Человек выглядит не как человек, или речь вообще идет не о человеке?

Роботы Утренней зари вообще очень абстрактно рассуждали, и принимали не то чтобы самостоятельные, но очень этически обоснованные решения.

А проблемы, которые их колыхали, сплошняком находятся в области психологии человеческой.

И программировали их не на Java.

Я попытался представить себе на своем уровне знания Java, каким образом работала бы программа по принятию решений о том, что может приносить вред человеку (“чтобы своим бездействием не допустить…”), и очень обломался.

Тут дело не в языке и не в синтаксисе, тут дело в том, что сложно описать одно только понятие “человек”, а уж варианты угроз, которым он подвергается в быту на той же кухне обыкновенной бытовой…

Есть ли у кого-нибудь на примете фантастика из области роботехники, написанная программистом?

Читал ли кто-нибудь что-нибудь из фантастики про то, как роботов тестировали?

Азимов тут отпадает почти полностью, в “Как потерялся робот” попытки вычислить робота “без первого закона” происходят в этической плоскости, чего роботам доступно быть не должно в принципе.

— Ты знаешь, что такое гамма-лучи? — резко спросил Богерт.

— Какое-то излучение, сэр?

Следующий вопрос был задан дружеским тоном, как будто между прочим:

— Ты когда-нибудь имел дело с гамма-лучами?

— Нет, сэр, — уверенно ответил робот.

— Гм… Ну так вот, гамма лучи мгновенно убьют тебя. Они уничтожат твой мозг. Ты должен это знать и помнить. Конечно, ты не хочешь быть уничтоженным.

— Естественно. — Робот, казалось, был потрясен. Потом он медленно произнес: — Но, сэр, если между мной и хозяином, которому будет грозить опасность, окажутся гамма-лучи, то как я могу спасти его? Я просто бесполезно погибну.

— Да, это верно. — Казалось, Богерт был озабочен этим. — Я могу посоветовать тебе только одно. Если ты заметишь между собой и человеком гамма-излучение, ты можешь остаться на месте.

Робот явно почувствовал облегчение.

— Спасибо, сэр. Ведь тогда нет никакого смысла…

— Конечно. Но если никакого опасного излучения не будет, тогда совсем другое дело.

— Ну, ясно, сэр. Без всякого сомнения.

— Теперь можешь идти. Человек там, за дверью, отведет тебя в кабину. Жди там.

Когда робот вышел, Богерт повернулся к Сьюзен Кэлвин:

— Ну как, Сьюзен?

— Очень хорошо, — ответила она вяло.

— А может быть, мы могли бы поймать Нестора-10, быстро задавая вопросы по физике поля?

— Может быть, но не наверное. — Ее руки бессильно лежали на коленях. — Имейте в виду, он борется против нас. Он настороже. Единственный способ поймать его — это хитрость. А думать он может — в пределах своих возможностей — гораздо быстрее, чем человек.

Что такое “Человек”?: 3 комментария

  1. Волонтер

    Сдается мне, Азимов решил эту задачу достаточно элегантно.
    Позитронный мозг у него позиционируется как полный деперсонализированый аналог мозга человека – думает, понимает, учится.
    И законы действуют не в рамках измеримых метрик (20 кг на берцовую кость – не вред, 200кг – вред), но в рамках осознания факта (если роботу сказать, что 2 тонны на голову не вред, и перед этим не рассказать ему анатомию – он таки сбросит груз. Это по Азимову.).
    Факт известен, осознан – закон применяется, неосознан – не применяется.
    Заметно, что во всех рассказах, где хотели отличить робота вне законов от обычного – решали не столько этические проблемы, сколько пользовались незнанием, неинформированностью робота.

  2. kuroikaze85

    Про установку непротиворечивых правил для ИИ и их выполнение рекомендую Элиезера Юдковски или Стивена Омохундро (“The Basic AI Drives”), они вроде довольно серьезно подходят к этому вопросу.

  3. Albert Gareev

    Есть ли у кого-нибудь на примете фантастика из области роботехники, написанная программистом?
    Павел Шумил, согласно биографии, в программировании разбирается. Есть у него серия про драконов, в части второй, “Последний Повелитель”, он описывает программирование будущего следующим образом.
    “Общее правило программирования было такое — поставить задачу, описать граничные условия, выяснить, правильно ли кибер понял задачу, сколько времени займёт выполнение (если это не оговорено в граничных условиях). В сложных случаях приказать киберу докладывать о ходе выполнения и предстоящих шагах. При постановке задачи избегать выражений «во что бы то ни стало», «любой ценой», «пока не сделаешь, не возвращайся». Иначе кибер, посланный в огород за морковкой, посадит семечко и будет терпеливо ждать, пока оно вырастет.”
    Если отойти от фантастики и заглянуть в работы Марвина Мински..
    “Computer languages of the future will be more concerned with goals and less with procedures specified by the programmer.”
    “The basic idea in case-based reasoning, or CBR, is that the program has stored problems and solutions. Then, when a new problem comes up, the program tries to find a similar problem in its database by finding analogous aspects between the problems.”
    А вообще, по мелочи использовать элементы AI нужно и можно. Я вот использую Fuzzy Logic Controller в своей фреймворк для автоматизации тестов, для оптимизации покрытия в условиях множественных ошибок.

Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.