Понимание длинной статьи Виталика: почему умные люди придерживаются «глупых правил»?

Теории «галактического мозга», которые, кажется, могут объяснить всё на свете, зачастую становятся самыми опасными универсальными оправданиями. Напротив, именно те «жёсткие» и «догматичные» правила с высокой устойчивостью служат последней линией защиты от самообмана.

Автор: Zhixiong Pan

Статья Vitalik, опубликованная несколько недель назад — «Galaxy Brain Resistance» — на самом деле довольно сложна для понимания, и я не видел хороших разборов, поэтому попробую сделать это сам.

В конце концов, даже Karpathy, создатель термина Vibe Coding, прочитал эту статью и сделал заметки, значит, в ней есть что-то особенное.

Для начала разберёмся, что означают слова Galaxy Brain и Resistance в заголовке — поняв это, вы уже сможете уловить суть статьи.

1️⃣ Galaxy Brain в переводе с китайского — «Галактический мозг», но на самом деле это интернет-мем, похожий на объединённые (🌌🧠) картинки, которые вы наверняка видели.

Изначально это был комплимент, означающий, что чья-то идея очень гениальна, то есть умна. Но со временем, из-за чрезмерного использования, это стало ироничным выражением, примерно означающим «слишком много надумано, логика слишком запутана».

Vitalik здесь использует 🌌🧠, имея в виду именно то поведение, когда «используя высокий интеллект, занимаются интеллектуальной акробатикой, чтобы выдать бессмысленное за нечто глубокомысленное». Например:

- Очевидно, что массовые увольнения проводятся ради экономии, но это подаётся как «вклад в общество высококвалифицированными кадрами».

- Очевидно, что выпускается пустой токен ради обмана инвесторов, но это преподносится как «расширение возможностей мировой экономики с помощью децентрализованного управления».

Всё это можно отнести к мышлению «галактического мозга».

2️⃣ А что такое Resistance (устойчивость)? Этот термин легко запутать, но если говорить простыми словами, это можно сравнить со «способностью не поддаваться манипуляциям» или «способностью противостоять обману».

Поэтому Galaxy Brain Resistance — это Resistance to [becoming] Galaxy Brain, то есть «способность сопротивляться (превращению в) галактический мозг (бессмысленную болтовню)».

Или, точнее, это характеристика, описывающая, насколько легко тот или иной стиль мышления/аргументации может быть использован для «доказательства любого желаемого вывода».

Так что эта «устойчивость» может относиться к какой-то «теории», например,

- Теории с низкой устойчивостью (Low Resistance): стоит немного покопаться, и они легко превращаются в абсурдную «галактическую» логику.

- Теории с высокой устойчивостью (High Resistance): как бы вы их ни анализировали, они остаются неизменными и не скатываются в абсурд.

Например, Vitalik говорит, что в его идеальном обществе в законе должна быть чёткая граница: запрещать можно только то поведение, которое можно ясно объяснить, как оно причиняет вред или риск конкретной жертве. Такой стандарт обладает высокой устойчивостью к «галактическому мозгу», потому что не принимает «мне это субъективно не нравится» или «это аморально» — такие размытые и растяжимые причины.

3️⃣ Vitalik приводит в статье много примеров, в том числе на основе знакомых нам теорий, таких как «лонгтермизм» и «иневитабилизм».

«Лонгтермизм» очень уязвим для мышления 🌌🧠, потому что его устойчивость крайне низка — это практически «чистый бланк». Ведь «будущее» слишком далеко и слишком неопределённо.

- Высокоустойчивая формулировка: «Это дерево через 10 лет вырастет на 5 метров». Это можно проверить, тут сложно наврать.

- Низкоустойчивый «лонгтермизм»: «Хотя сейчас я собираюсь совершить крайне аморальный поступок (например, уничтожить часть людей или начать войну), но это ради того, чтобы через 500 лет человечество жило в утопии. По моим расчётам, суммарное счастье в будущем бесконечно, так что нынешние жертвы несущественны».

Видите, стоит только достаточно удлинить временной горизонт, и можно оправдать любое зло в настоящем. Как говорит Vitalik: «Если ваша аргументация может оправдать что угодно, то она не оправдывает ничего».

Однако Vitalik признаёт, что «долгосрочная перспектива важна», он критикует именно «использование чрезмерно размытых, непроверяемых будущих выгод для оправдания очевидного вреда в настоящем».

Ещё одна проблемная зона — «иневитабилизм» (Inevitabilism).

Это любимый приём в Силиконовой долине и технологической среде.

Аргументация такова: «AI неизбежно заменит людей на работе, даже если не я, то кто-то другой это сделает. Поэтому я сейчас активно развиваю AI не ради денег, а чтобы идти в ногу с историей».

В чём низкая устойчивость? Она полностью снимает с человека ответственность. Раз уж это «неизбежно», значит, мне не нужно отвечать за разрушения, которые я причинил.

Это тоже типичный «галактический мозг»: личное желание «заработать/получить власть» маскируется под «исполнение исторической миссии».

4️⃣ Так что же делать перед лицом этих «ловушек для умных»?

Рецепт Vitalik удивительно прост, даже немного «глуповат». Он считает, что чем умнее человек, тем больше ему нужны жёсткие правила с высокой устойчивостью, чтобы не увлечься интеллектуальной акробатикой.

Во-первых, придерживаться «деонтологической этики» (Deontological Ethics), то есть самых простых моральных правил, как в детском саду.

Не надо решать сложные «математические задачи ради будущего всего человечества», лучше вернуться к самым жёстким принципам:

- Не воровать

- Не убивать невинных

- Не обманывать

- Уважать свободу других

Эти правила обладают очень высокой устойчивостью. Они чёрно-белые, не подлежат обсуждению. Когда вы пытаетесь оправдать присвоение средств пользователей «лонгтермистскими» рассуждениями, жёсткое правило «не воровать» сразу ставит всё на свои места: украл — значит украл, не надо прикрываться великой финансовой революцией.

Во-вторых, занимать правильную «позицию», включая даже физическое местоположение.

Как говорится, «где сидишь, так и думаешь». Если вы постоянно находитесь в «эхо-камере» Сан-Франциско, где все вокруг — сторонники AI-акселерационизма, сохранить трезвость сложно. Vitalik даже даёт физический совет для высокой устойчивости: не живите в районе залива Сан-Франциско.

5️⃣ Итоги

На самом деле, эта статья Vitalik — предупреждение для самых умных элит: не думайте, что высокий интеллект позволяет вам обойти простые моральные принципы.

Теории «галактического мозга», которые, кажется, могут объяснить всё, зачастую становятся самыми опасными универсальными оправданиями. Напротив, именно те «жёсткие» и «догматичные» правила с высокой устойчивостью служат последней линией защиты от самообмана.