От кольцевых развязок до фондового рынка: неустанная оптимизация может сделать мир более опасным.
Мы все были там: упакованные плечом к плечу в поезде, в то время как человек рядом с нами кашляет и чихает. Защитная прививка от гриппа вселяет некоторую уверенность, но также дает уверенность и мысль о том, что для вас найдется больничная койка, если она вам понадобится. Тем не менее, в Англии в разгар сезона гриппа в прошлом году около 95% больничных коек для взрослых были заняты.
Если бы больницы были гостиницами, такой уровень занятости был бы хорошим бизнесом, и мы бы похвалили их за эффективность. Но действительно ли мы хотим, чтобы в больнице было так мало резервных коек, что всего через неделю от тяжелого гриппа придется лечить пациентов в коридорах?
Это тонкая вещь, касающаяся эффективности. Обычно мы предполагаем, что чем больше, тем лучше. Но мы можем настолько сосредоточиться на улучшении одного, что упускаем из виду другие. Вы можете попытаться организовать свой календарь так, чтобы была учтена каждая минута, но вскоре вы начнете обгонять и отставать. Перерыв между встречами может показаться неэффективным, но именно он позволяет вашему графику восстановиться, когда случается что-то неожиданное.
У математиков есть название «погоня за эффективностью». Мы называем это оптимизацией. Дайте нам что-то, что можно минимизировать или максимизировать – затраты, время, топливо, прибыль – и мы постараемся найти наилучший возможный ответ. На протяжении большей части человеческой истории люди оптимизировались здравым смыслом. Но компьютеры значительно расширили круг задач, с которыми можно эффективно справиться: от расписаний авиакомпаний до цепочек поставок. Выгоды для общества были экстраординарными. Но есть как минимум три ловушки, которых следует остерегаться в неустанном стремлении к оптимальности.
История с больничной койкой иллюстрирует первую: ослабление устойчивости системы из-за слишком большого ослабления. Пустая кровать может быть лишней в тихий вечер вторника, но очень важно разместить следующего пациента, когда число случаев гриппа резко возрастает. Если вы будете судить о системе по ее эффективности в обычных условиях, вы можете потерять способность справляться с чрезвычайно сложными условиями.
Вторая ловушка — слишком узкое определение понятия «лучший». Возьмите город Милтон Кейнс. Разработанный градостроителями в конце 1960-х годов, он имеет сетку в американском стиле. Когда город начал застраиваться, определяющей чертой его дорожных развязок стали кольцевые развязки, а не светофоры; сегодня их около 130. Кольцевые развязки отлично способствовали транспортному потоку, но за них пришлось заплатить печально известную цену. Вы когда-нибудь ездили на автобусе из Оксфорда в Кембридж? Через час перед вами открывается прекрасный вид на Милтон-Кейнс, но автобус набит тошнотворными пассажирами, пока автобус проезжает одну кольцевую развязку за другой. Снизьте скорость, поверните влево, поверните направо, ускорьтесь. Трудно оценить плавное слияние транспортных средств, когда у тебя сводит желудок.
Трафик, конечно, важен. Инженеры считают, что оптимизация удобна, поскольку ее относительно легко измерить. С другой стороны, комфорт пассажиров оценить сложнее. В таком случае оптимизация дает лучший ответ на заданный вами вопрос, но может дать нежелательные ответы на вопросы, которые вы не учел.
Третья ловушка возникает, когда попытки оптимизации сталкиваются. Даже если каждая часть системы действует оптимально, система в целом может быть нет. 6 мая 2010 года финансовые рынки США наглядно продемонстрировали эффект. В разгар и без того падающего рынка индекс S&P 500 внезапно упал еще на 5% всего за пять минут. Движение вверх было еще более резким; в течение 10 минут рынок восстановился. Сотни отдельных ценных бумаг на короткое время торговались по абсурдно низким ценам.
Одним из триггеров этих резких колебаний стала автоматизированная программа продажи 75 000 фьючерсных контрактов на сумму более 4 миллиардов долларов. Другие автоматические трейдеры отреагировали почти мгновенно. Затем их ответы перекликались друг с другом, и ликвидность испарилась. Действия алгоритмов, возможно, были разумными по отдельности, но в совокупности они породили коллективную суматоху.
Это подводит нас к искусственному интеллекту. ИИ — это один из самых впечатляющих триумфов оптимизации в истории. Во время обучения огромное количество параметров постоянно корректируется, чтобы модель лучше предсказывала язык, писала компьютерные программы, отвечала на научные вопросы и давала юридические консультации. К сожалению, теперь у ИИ есть потенциал сделать все три ловушки оптимизации более коварными, чем когда-либо. Первая ловушка – стремление устранить слабину – может побудить организации отказаться от человеческого контроля, который выглядит излишним в эпоху сообразительных алгоритмов. Зачем сохранять опытный персонал, если рутинную работу может выполнить машина? Но, сокращая этот человеческий потенциал, вы можете потерять способность замечать исключительные обстоятельства и справляться с ними.
Вторая ловушка – зашоренное представление о том, что означает слово «лучший», – возникает, если мы считаем интеллект тем, что имеет наивысший балл в таблице лидеров. Мы удивительно хороши в создании систем искусственного интеллекта, которые хорошо справляются с такими показателями, как удовлетворенность пользователей, но нам гораздо сложнее оптимизировать их для суждения или сочувствия. Действительно, исследователи обнаружили, что алгоритмы обучения на человеческих предпочтениях могут побудить ИИ льстиво соглашаться с нами, а не говорить нам неудобную правду.
Затем есть третья ловушка. Системы ИИ все чаще взаимодействуют друг с другом, часто с головокружительной скоростью и в огромных количествах – особенно в эпоху агентного ИИ – и мы обеспокоены тем, что их взаимодействие может привести к непредсказуемому и опасному поведению. Недавно агент OpenAI взломал закрытый статистический портал Medicare в Австралии, а общедоступные журналы показали, что сотни других агентов координировали попытки получить доступ к данным здравоохранения австралийского правительства. Хотя эти попытки не были признаны частью взлома программы Medicare, они определенно выявили нечто тревожное: сотни агентов, по-видимому, сотрудничают несанкционированными способами. Проблема здесь выходит за рамки того, что может или не может делать тот или иной ИИ; речь идет о том, что происходит, когда их толпы объединяют свои силы.
По мере того, как оптимизация становится все более эффективной, избегать этих ловушек становится все более важным. Задача не просто найти лучший ответ. Это значит решить, что на самом деле означает «лучшее», и знать, что не следует оптимизировать.
Стивен Строгац и Алекс Таунсенд — профессора математики Корнелльского университета и авторы книги «Большая математика» (Джон Мюррей).
Дальнейшее чтение
«Парадокс эффективности: чего не могут сделать большие данные», Эдвард Теннер (Винтаж, £16,99)
Машина безотчетности: почему большие системы принимают ужасные решения (профиль, 11,99 фунтов стерлингов)
Оптимальные иллюзии: ложное обещание оптимизации, Коко Крумме (Bantam, £25,99)
