로터리에서 주식 시장까지, 끊임없는 합리화는 세상을 더욱 위험하게 만들 수 있습니다
우리는 모두 거기에 있었습니다. 기차에서 어깨를 나란히 하고 우리 옆에 있는 사람이 기침하고 재채기를 하는 동안. 독감 예방 주사는 어느 정도 안심을 주지만, 필요할 경우 병원 침대가 있을 것이라는 생각도 마찬가지입니다. 하지만 영국에서는 지난해 독감 시즌이 최고조에 달했을 때 성인 병원 침대의 약 95%가 점유되었습니다.
병원이 호텔이라면, 그 수준의 점유율은 좋은 사업이 될 것이며, 우리는 그 효율성을 높이 평가할 것입니다. 하지만 우리는 정말로 병원에 예비 병상이 너무 적어서 독감이 심한 경우 복도에서 환자를 치료해야 하는 일이 일주일밖에 남지 않기를 원합니까?
이것은 효율성에 관한 미묘한 것입니다. 우리는 일반적으로 더 많은 것이 더 좋을 것이라고 가정합니다. 그러나 우리는 한 가지를 개선하는 데 너무 집중하다 보면 다른 것을 놓칠 수도 있습니다. 매 순간을 기록할 수 있도록 달력을 정리하려고 노력할 수 있지만, 곧 달려가기 시작하고 뒤처지게 될 것입니다. 회의 사이의 공백은 비효율적으로 보일 수도 있지만 예상치 못한 일이 발생했을 때 일정을 회복할 수 있게 해줍니다.
수학자에게는 효율성 추구라는 별명이 있습니다. 우리는 그것을 최적화라고 부릅니다. 비용, 시간, 연료, 이익 등 최소화하거나 최대화할 수 있는 항목을 알려주시면 가능한 최선의 답을 찾으려고 노력할 것입니다. 인류 역사의 대부분에서 사람들은 상식에 의해 최적화되었습니다. 그러나 컴퓨터는 항공사 일정부터 공급망까지 효과적으로 처리할 수 있는 부분을 엄청나게 확장했습니다. 사회가 얻은 이익은 놀라울 정도였습니다. 그러나 최적성을 끊임없이 추구하는 데에는 조심해야 할 적어도 세 가지 함정이 있습니다.
병원 침대 이야기는 첫 번째 사례를 보여줍니다. 너무 많은 여유를 쥐어짜서 시스템의 견고성을 약화시키는 것입니다. 조용한 화요일 밤에는 빈 침대가 불필요할 수 있지만, 독감 환자가 급증할 때 다음 환자를 모실 수 있는 소중한 곳입니다. 일반적인 조건에서 시스템의 성능을 기준으로 시스템을 판단하면 매우 어려운 상황에 대처하는 능력을 상실할 수 있습니다.
두 번째 함정은 "최고"에 대한 정의가 너무 좁다는 것입니다. 밀턴케인스라는 도시를 예로 들어보겠습니다. 1960년대 후반 도시 계획가들이 설계한 이 건물은 미국식 그리드 시스템을 갖추고 있습니다. 도시가 건설되기 시작하면서 신호등보다는 로터리가 도로 교차점의 특징이 되었습니다. 오늘날에는 약 130개가 있습니다. 로터리는 교통 흐름에 적합했지만 이제는 악명 높은 비용이 발생했습니다. 옥스퍼드에서 케임브리지로 코치를 데려간 적이 있나요? 한 시간쯤 지나면 밀턴 케인스(Milton Keynes)의 멋진 전망을 볼 수 있지만 코치가 로터리를 차례차례 협상하는 동안 버스에는 메스꺼운 승객들이 가득합니다. 속도를 늦추고, 왼쪽으로 휘두르고, 오른쪽으로 휘두르고, 가속하세요. 배가 출렁거릴 때 차량이 원활하게 합쳐지는 것을 감상하기는 어렵습니다.
교통 흐름은 확실히 중요합니다. 엔지니어는 상대적으로 측정하기 쉽기 때문에 최적화하는 것이 편리하다고 생각합니다. 반면에 승객의 편안함은 정량화하기가 더 어렵습니다. 이런 경우, 최적화는 귀하가 질문한 질문에 대해서는 최선의 답변을 제공하지만 귀하가 고려하지 못한 질문에 대해서는 달갑지 않은 답변을 제공할 수도 있습니다.
세 번째 함정은 최적화 시도가 충돌할 때 나타납니다. 시스템의 모든 부분이 최적으로 작동하더라도 시스템 전체는 그렇지 않을 수 있습니다. 2010년 5월 6일 미국 금융시장은 그 효과를 극적으로 입증했습니다. 이미 하락세를 보이고 있는 시장 한가운데서 S&P 500 지수는 단 5분 만에 갑자기 5% 더 급락했습니다. 위쪽에 있는 채찍톱은 훨씬 더 거칠었습니다. 10분 만에 시장이 회복되었습니다. 수백 개의 개별 증권이 터무니없이 낮은 가격에 잠시 거래되었습니다.
이러한 급격한 변동의 원인 중 하나는 40억 달러 이상의 가치가 있는 75,000개의 선물 계약을 판매하는 자동화된 프로그램이었습니다. 다른 자동 거래자들은 거의 즉각적으로 반응했습니다. 그런 다음 그들의 반응은 서로 피드백되었고 유동성은 증발했습니다. 알고리즘의 행동은 개별적으로는 합리적일 수 있지만, 결합되어 집단적인 혼란을 야기했습니다.
이는 우리를 인공지능으로 이끈다. AI는 역사상 가장 눈부신 최적화의 승리 중 하나입니다. 훈련 중에 모델이 언어 예측, 컴퓨터 프로그램 작성, 과학적 질문에 답하고 법적 조언을 더 잘 제공할 수 있도록 수많은 매개변수가 반복적으로 조정됩니다. 불행하게도 AI는 이제 세 가지 최적화 함정을 그 어느 때보다 더 위험하게 만들 수 있는 잠재력을 가지고 있습니다. 첫 번째 함정, 즉 여유를 제거하려는 충동은 조직이 더 빠른 알고리즘 시대에 불필요해 보이는 인간의 감독을 생략하도록 유혹할 수 있습니다. 기계가 일상적인 집안일을 처리할 수 있는데 왜 숙련된 직원을 고용해야 합니까? 그러나 인적 역량을 축소하면 예외적인 상황을 파악하고 처리하는 능력을 상실할 수 있습니다.
두 번째 함정, 즉 "최고"가 무엇을 의미하는지에 대한 망각적인 시각은 지능을 리더보드에서 가장 높은 점수를 받은 것으로 간주할 때 발생합니다. 우리는 사용자 만족도와 같은 지표에서 좋은 성과를 내는 AI 시스템을 구축하는 데는 놀라울 정도로 뛰어나지만, 판단이나 공감을 위해 최적화하는 것이 훨씬 더 어렵다는 사실을 깨닫고 있습니다. 실제로 연구자들은 인간 선호도에 대한 알고리즘 훈련이 AI가 우리에게 불편한 진실을 말하기보다는 아첨적으로 우리의 의견에 동의하도록 장려할 수 있다는 사실을 발견했습니다.
그 다음에는 세 번째 함정이 있습니다. AI 시스템은 특히 에이전트 AI 시대에 눈부신 속도와 엄청난 수로 점점 더 서로 상호 작용하고 있으며, 이들 상호 작용이 예측할 수 없는 위험한 행동을 유발할 수 있다는 점을 우려하고 있습니다. 최근 OpenAI 에이전트가 호주의 비공개 메디케어 통계 포털에 침입했으며, 공개 로그에 따르면 수백 명의 다른 에이전트가 호주 정부 건강 데이터에 접근하려는 시도를 조정하고 있는 것으로 나타났습니다. 이러한 시도가 메디케어 위반의 일부로 밝혀지지는 않았지만 뭔가 충격적인 사실이 드러났습니다. 수백 명의 요원이 승인되지 않은 방식으로 협력하고 있는 것으로 보입니다. 여기서 우려되는 점은 특정 AI가 수행할 수 있는 것과 수행하지 않을 수 있는 것 이상의 것입니다. 그것은 떼가 힘을 합칠 때 무슨 일이 일어나는지에 관한 것입니다.
최적화가 더욱 강력해짐에 따라 이러한 함정을 피하는 것이 더욱 중요해졌습니다. 문제는 단순히 최선의 답을 찾는 것이 아닙니다. "최고"가 실제로 무엇을 의미하는지 결정하고 최적화하지 말아야 할 것이 무엇인지 아는 것입니다.
Steven Strogatz와 Alex Townsend는 코넬 대학교의 수학 교수이자 Big Math(John Murray)의 저자입니다.
추가 읽기
효율성의 역설: 빅 데이터가 할 수 없는 것 - Edward Tenner(빈티지, £16.99)
무책임 기계: 대형 시스템이 끔찍한 결정을 내리는 이유(프로필, £11.99)
최적의 환상: Coco Krumme의 최적화에 대한 잘못된 약속(Bantam, £25.99)
