Вы наверняка видели эту картинку — или какую-то её версию. Вагонетка мчится к пяти людям, привязанным к рельсам. Вы стоите у стрелки. Потяните рычаг — и вагонетка свернёт на боковой путь, где лежит только один человек. Ничего не делайте — и пятеро погибнут. Действуйте — и один погибнет от вашей руки.

Проблему вагонетки сформулировала философ Филиппа Фут в 1967 году, а позже её уточнила Джудит Джарвис Томсон. Она никогда не задумывалась как задача с правильным ответом. Она была создана, чтобы обнажить линию разлома между двумя способами думать о добре и зле.

Вопрос не в том, что бы вы сделали. Вопрос в том, почему — и выдержат ли ваши причины следующую вариацию.

Две системы, один рычаг

Утилитарист говорит: тяни рычаг. Пять спасённых жизней перевешивают одну потерянную. Арифметика проста. Максимизируй благополучие, минимизируй страдание. Один меньше пяти. Готово.

Деонтолог говорит: подожди. Потянув рычаг, ты сознательно выбираешь убить человека. Есть моральная разница между тем, чтобы допустить вред, и тем, чтобы причинить его. Ты — не вагонетка. Ты никого не привязывал к рельсам. Но в тот момент, когда ты потянешь рычаг, смерть на боковом пути — твоя.

Большинство людей при поверхностном опросе говорят, что потянули бы рычаг. Самое интересное начинается с вариаций.

Толстяк на мосту

Вариация Томсон: рычага нет. Вместо этого вы стоите на мосту над путями. Рядом с вами — очень крупный мужчина. Если столкнуть его на рельсы, его тело остановит вагонетку и спасёт пятерых. Он погибнет. Арифметика та же — одна смерть ради предотвращения пяти — но внезапно почти все отказываются.

Почему? Числа не изменились. Изменился только механизм. Потянуть рычаг кажется абстрактным. Столкнуть человека с моста ощущается как убийство. Наши моральные интуиции, как выясняется, не занимаются арифметикой. Они делают нечто ближе к распознаванию образов — и эти образы учитывают физический контакт, непосредственность и намерение так, как чистый консеквенциализм не учитывает.

Мы не приходим к моральным суждениям путём рассуждений. Мы сначала их чувствуем, а потом конструируем причины — как адвокат, защищающий клиента, который уже решил не признавать вину.

Почему это важно сейчас

Проблема вагонетки была учебным упражнением. Потом появились беспилотные автомобили. Внезапно мысленный эксперимент стал инженерной спецификацией. Если у машины откажут тормоза, должен ли алгоритм свернуть в стену (убив пассажира), чтобы избежать толпы пешеходов? Кто решает? Кто несёт ответственность?

То же напряжение проявляется в проблеме выравнивания ИИ. Когда модель вынуждена выбирать между конфликтующими ценностями — приватность против безопасности, индивидуальная выгода против коллективного вреда, честность против доброты — она решает проблему вагонетки в масштабе, тысячи раз в секунду, ни разу не прикасаясь к рычагу.

И вот что неудобно: мы требуем от машин большей последовательности в этих компромиссах, чем когда-либо проявляли сами.

Вот грубая симуляция — одна и та же арифметика, совершенно разные ответы в зависимости от непосредственности:

import random

def would_divert(lives_saved, directness):
    """Штраф за непосредственность: люди сопротивляются прямому вреду."""
    return (lives_saved - directness * 3.0) > random.gauss(0.5, 1.2)

for name, args in [("рычаг", (4, 0.0)), ("толкнуть с моста", (4, 1.0))]:
    rate = sum(would_divert(*args) for _ in range(1000)) / 1000
    print(f"{name}: {rate:.0%} переключили бы")

Настоящий урок

Проблема вагонетки не учит нас, что делать. Она учит нас тому, что мы не знаем, почему делаем то, что делаем. Наши моральные интуиции мощны, но непоследовательны. Они эволюционировали для малых социальных групп — личного общения, племенной динамики, непосредственных последствий. Они не были предназначены для переключения рычагов на расстоянии, алгоритмической сортировки или политических решений, затрагивающих миллионы.

Вагонетка уже движется. Единственный вопрос — признаете ли вы, что стоите у рычага.