Desde las rotondas hasta el mercado de valores, la racionalización incesante podría estar haciendo que el mundo sea más peligroso
Todos hemos pasado por eso: amontonados hombro con hombro en el tren mientras la persona que está a nuestro lado tose y estornuda. Una vacuna protectora contra la gripe ofrece cierta tranquilidad, pero también lo hace la idea de que habrá una cama de hospital para usted, en caso de que la necesite. Sin embargo, en Inglaterra, alrededor del 95% de las camas de hospital para adultos estaban ocupadas en el momento álgido de la temporada de gripe el año pasado.
Si los hospitales fueran hoteles, ese nivel de ocupación sería un buen negocio y los felicitaríamos por su eficiencia. Pero, ¿realmente queremos que un hospital tenga tan pocas camas de reserva que esté a sólo una semana de gripe de tener que tratar a los pacientes en los pasillos?
Esto es lo sutil de la eficiencia. Generalmente asumimos que más debe ser mejor. Pero podemos concentrarnos tanto en mejorar una cosa que perdemos de vista las demás. Puedes intentar organizar tu calendario para tener en cuenta cada minuto, pero pronto empezarás a atrasarte y terminarás atrasado. Un intervalo entre reuniones puede parecer una ineficiencia, pero es lo que permite que tu agenda se recupere cuando sucede algo inesperado.
Los matemáticos tienen un nombre para la búsqueda de la eficiencia. Lo llamamos optimización. Danos algo que podamos minimizar o maximizar (costo, tiempo, combustible, beneficio) e intentaremos encontrar la mejor respuesta posible. Durante la mayor parte de la historia de la humanidad, las personas optimizaron mediante el sentido común. Pero las computadoras han ampliado enormemente lo que se puede abordar de manera efectiva, desde los horarios de las aerolíneas hasta las cadenas de suministro. Los beneficios para la sociedad han sido extraordinarios. Pero hay al menos tres trampas a las que debemos prestar atención en la búsqueda incesante de la optimización.
La historia de la cama de hospital ilustró la primera: debilitar la solidez de un sistema exprimiendo demasiada holgura. Una cama vacía puede resultar redundante en una tranquila noche de martes, pero es un lugar precioso para colocar al siguiente paciente cuando aumentan los casos de gripe. Si se juzga un sistema por su desempeño en condiciones normales, se puede perder la capacidad de afrontar condiciones extraordinariamente desafiantes.
Una segunda trampa es tener una definición demasiado estrecha de “mejor”. Tomemos como ejemplo la ciudad de Milton Keynes. Diseñado por urbanistas a finales de la década de 1960, tiene un sistema de cuadrícula de estilo americano. A medida que la ciudad comenzó a construirse, las rotondas, en lugar de los semáforos, se convirtieron en una característica definitoria de sus cruces de carreteras; hoy hay alrededor de 130 de ellos. Las rotondas eran excelentes para el flujo de tráfico, pero tenían un costo ahora notorio. ¿Has tomado alguna vez el autobús de Oxford a Cambridge? Una hora después, se obtienen excelentes vistas de Milton Keynes, pero hay un autobús lleno de pasajeros mareados, mientras el autocar pasa por una rotonda tras otra. Reduzca la velocidad, gire a la izquierda, gire a la derecha, acelere. Es difícil apreciar la perfecta fusión de vehículos cuando se te revuelve el estómago.
El flujo de tráfico es importante, sin duda. A los ingenieros les resulta conveniente optimizar porque es relativamente fácil de medir. La comodidad de los pasajeros, por otra parte, es más difícil de cuantificar. En un caso como este, la optimización le brinda la mejor respuesta a la pregunta que hizo, pero puede brindar respuestas no deseadas a preguntas que no consideró.
Una tercera trampa aparece cuando los intentos de optimización chocan. Incluso si cada parte de un sistema actúa de manera óptima, es posible que el sistema en su conjunto no lo haga. El 6 de mayo de 2010, los mercados financieros estadounidenses dieron una espectacular demostración del efecto. En medio de un mercado que ya estaba en caída, el S&P 500 repentinamente se desplomó otro 5% en sólo cinco minutos. El látigo al alza fue aún más salvaje; En 10 minutos, el mercado se había recuperado. Cientos de valores individuales se negociaron brevemente a precios absurdamente bajos.
Un desencadenante de estas violentas fluctuaciones fue un programa automatizado que vendía 75.000 contratos de futuros, por un valor de más de 4.000 millones de dólares. Otros comerciantes automatizados reaccionaron casi instantáneamente. Luego, sus respuestas se retroalimentaron y la liquidez se evaporó. Las acciones de los algoritmos pueden haber sido sensatas individualmente de forma aislada, pero se combinaron para producir una agitación colectiva.
Lo que nos lleva a la inteligencia artificial. La IA es uno de los triunfos de optimización más espectaculares de la historia. Durante el entrenamiento, se ajustan repetidamente enormes cantidades de parámetros para que un modelo mejore en la predicción del lenguaje, la redacción de programas informáticos, la respuesta a preguntas científicas y la prestación de asesoramiento jurídico. Desafortunadamente, la IA ahora tiene el potencial de hacer que las tres trampas de optimización sean más traicioneras que nunca. La primera trampa –la necesidad de eliminar la holgura– podría tentar a las organizaciones a prescindir de la supervisión humana que parece redundante en la era de los algoritmos más ingeniosos. ¿Por qué contratar personal experimentado cuando una máquina puede realizar las tareas rutinarias? Pero al reducir esa capacidad humana, se puede perder la capacidad de detectar y manejar circunstancias excepcionales.
La segunda trampa –una visión estrecha de lo que significa “mejor”– surge si consideramos la inteligencia como aquello que obtiene la puntuación más alta en una tabla de clasificación. Somos notablemente buenos en la construcción de sistemas de inteligencia artificial que funcionan bien en medidas como la satisfacción del usuario, pero nos resulta mucho más difícil optimizarlos para el juicio o la empatía. De hecho, los investigadores han descubierto que entrenar algoritmos sobre las preferencias humanas puede alentar a la IA a estar de acuerdo con nosotros en lugar de decirnos verdades incómodas.
Luego está la tercera trampa. Los sistemas de IA interactúan cada vez más entre sí, a menudo a velocidades deslumbrantes y en grandes cantidades (especialmente en la era de la IA agente), y nos preocupa que sus interacciones puedan generar comportamientos impredecibles y peligrosos. Recientemente, un agente de OpenAI irrumpió en un portal privado de estadísticas de Medicare en Australia, mientras que los registros públicos sugerían que cientos de otros agentes estaban coordinando intentos de obtener acceso a los datos de salud del gobierno australiano. Aunque no se ha demostrado que esos intentos fueran parte de la violación de Medicare, ciertamente revelaron algo inquietante: cientos de agentes aparentemente trabajando juntos de manera no autorizada. La preocupación aquí va más allá de lo que una determinada IA puede o no hacer; se trata de lo que sucede cuando enjambres de ellos unen fuerzas.
A medida que la optimización se vuelve más poderosa, evitar estas trampas se vuelve más importante. El desafío no es simplemente encontrar la mejor respuesta. Se trata de decidir qué significa realmente "mejor" y saber qué no optimizar.
Steven Strogatz y Alex Townsend son profesores de matemáticas en la Universidad de Cornell y autores de Big Math (John Murray).
Lectura adicional
La paradoja de la eficiencia: lo que Big Data no puede hacer por Edward Tenner (Vintage, £ 16,99)
La máquina de la irresponsabilidad: por qué los grandes sistemas toman decisiones terribles (Perfil, £ 11,99)
Ilusiones óptimas: la falsa promesa de optimización de Coco Krumme (Bantam, £ 25,99)
