從環島到股市，無情的精簡可能會讓世界變得更加危險
我們都經歷過這樣的情況：在火車上肩並肩擠在一起，而我們旁邊的人則咳嗽和打噴嚏。預防性流感疫苗可以讓人安心一些，但如果您需要的話，醫院會為您提供一張床位，這個想法也能讓您安心。然而，在英國，去年流感季節最嚴重的時候，大約 95% 的成人醫院床位已被佔用。
如果醫院是飯店，那麼這樣的入住率將是一筆好生意，我們會讚揚他們的效率。但是，我們真的希望醫院的預留床位如此之少，以至於只要一周發生嚴重流感，就必須在走廊上治療病人嗎？
這就是效率的微妙之處。我們通常認為越多越好。但我們可能會過於專注於改進一件事，而忽略了其他事情。你可以嘗試安排你的日曆，讓每一分鐘都被考慮在內，但你很快就會開始超越並最終落後。會議之間的間隙可能看起來效率低下，但它可以讓您的日程安排在意外情況發生時恢復正常。
數學家以追求效率而聞名。我們稱之為優化。給我們一些可以最小化或最大化的東西——成本、時間、燃料、利潤——我們將盡力找到最好的答案。在人類歷史的大部分時間裡，人們都是透過常識來優化的。但電腦大大擴展了可以有效解決的問題，從航班時刻表到供應鏈。社會的收穫是非凡的。但在不懈追求最優的過程中，至少需要警覺三個陷阱。
醫院病床的故事說明了第一個：透過擠壓太多的鬆弛來削弱系統的穩健性。在安靜的星期二晚上，一張空床可能是多餘的，但當流感病例激增時，放置下一個病人就很珍貴了。如果你根據系統在普通條件下的表現來判斷它，你可能會失去應對極具挑戰性的條件的能力。
第二個陷阱是「最佳」的定義過於狹隘。以米爾頓凱恩斯市為例。它由 20 世紀 60 年代末的城市規劃者設計，具有美國風格的網格系統。隨著城市開始建設，環島而不是紅綠燈成為其路口的決定性特徵。今天大約有 130 個。環島對於交通流量來說非常有利，但它們的成本現在已經臭名昭著。你坐過從牛津到劍橋的長途巴士嗎？一小時後，您可以欣賞到米爾頓凱恩斯的美景，但當巴士經過一個又一個環島時，一車乘客都感到噁心。減速，向左擺動，向右轉彎，加速。當您胃部翻騰時，很難欣賞車輛的無縫合併。
毫無疑問，交通流量很重要。工程師發現優化很方便，因為它相對容易測量。另一方面，乘客的舒適度則更難量化。在這種情況下，優化可以為您提出的問題提供最佳答案，但可能為您沒有考慮的問題提供不受歡迎的答案。
當最佳化嘗試發生衝突時，就會出現第三個陷阱。即使系統的每個部分都運作最佳，系統作為一個整體可能並非如此。 2010年5月6日，美國金融市場戲劇性地展現了這一效應。在本已下跌的市場中，標準普爾 500 指數在短短五分鐘內突然暴跌 5%。上行方向的波動更加劇烈。 10分鐘內，市場就恢復了。數百種個別證券以極低的價格短暫交易。
這些劇烈波動的觸發因素之一是一個出售 75,000 份期貨合約（價值超過 40 億美元）的自動化程序。其他自動交易員幾乎立即做出反應。然後他們的反應互相影響，流動性就蒸發了。這些演算法的行為在孤立的情況下可能是明智的，但它們結合起來會產生集體混亂。
這給我們帶來了人工智慧。人工智慧是史上最引人注目的優化勝利之一。在訓練過程中，大量參數會被反覆調整，以便模型能更好地預測語言、編寫電腦程式、回答科學問題和提供法律建議。不幸的是，人工智慧現在有可能使這三個優化陷阱比以往更加危險。第一個陷阱——消除冗餘的衝動——可能會誘使組織放棄人工監督，而這種監督在演算法時代顯得多餘。當機器可以處理日常瑣事時，為什麼還要保留有經驗的員工？但在削減人力的同時，你可能會失去發現和處理特殊情況的能力。
如果我們將智力視為排行榜上得分最高的東西，就會出現第二個陷阱，即對「最佳」意義的狹隘看法。我們非常擅長建立在用戶滿意度等指標上表現出色的人工智慧系統，但我們發現優化它們的判斷或同理心要困難得多。事實上，研究人員發現，根據人類偏好訓練演算法可以鼓勵人工智慧阿諛奉承地同意我們的觀點，而不是告訴我們令人不安的事實。
然后是第三个陷阱。人工智慧系統之間的互動日益頻繁，而且互動速度往往令人眼花撩亂，而且數量龐大——尤其是在智慧人工智慧時代——我們擔心它們的互動可能會產生不可預測的危險行為。最近，一名 OpenAI 特工闖入了澳洲的一個非公共醫療保險統計入口網站，而公開日誌顯示，數百名其他特工正在協調嘗試獲取澳洲政府的健康數據。儘管這些嘗試並未被證明是醫療保險違規的一部分，但它們確實揭示了一些令人不安的事情：數百名特工顯然以未經授權的方式合作。這裡的關注點超出了任何給定的人工智慧可能做什麼或不做什麼；這是關於當它們成群結隊時會發生什麼。
隨著優化變得更加強大，避免這些陷阱變得更加重要。挑战不仅仅是找到最佳答案。它正在決定“最佳”的真正含義 - 並知道什麼不應該優化。
史蒂文‧斯特羅加茨 (Steven Strogatz) 和亞歷克斯‧湯森 (Alex Townsend) 是康乃爾大學的數學教授，也是《大數學》(John Murray) 的作者。
進一步閱讀
《效率悖論：大數據不能做什麼》作者：Edward Tenner（復古版，16.99 英鎊）
不負責任的機器：為什麼大系統會做出糟糕的決定（簡介，11.99英鎊）
最佳幻象：Coco Krumme 優化的錯誤承諾（Bantam，25.99 英鎊）
