Das rotundas ao mercado de ações, a simplificação implacável pode estar a tornar o mundo mais perigoso
Todos nós já passamos por isso: amontoados ombro a ombro no trem enquanto a pessoa ao nosso lado tosse e espirra. Uma vacina protetora contra a gripe oferece alguma segurança, mas o mesmo acontece com a ideia de que haverá uma cama de hospital para você, caso precise. No entanto, em Inglaterra, cerca de 95% das camas hospitalares para adultos estavam ocupadas no auge da época da gripe no ano passado.
Se os hospitais fossem hotéis, esse nível de ocupação seria um bom negócio e nós os elogiaríamos pela sua eficiência. Mas será que realmente queremos que um hospital tenha tão poucos leitos de reserva que falte apenas uma semana de gripe forte para ter que tratar pacientes nos corredores?
Esse é o aspecto sutil da eficiência. Geralmente presumimos que mais deve ser melhor. Mas podemos ficar tão focados em melhorar uma coisa que perdemos de vista as outras. Você pode tentar organizar sua agenda de modo que cada minuto seja contabilizado, mas logo começará a atropelar e acabará atrasado. Um intervalo entre as reuniões pode parecer ineficiente, mas é o que permite que sua agenda se recupere quando algo inesperado acontece.
Os matemáticos têm um nome para a busca pela eficiência. Chamamos isso de otimização. Dê-nos algo para minimizar ou maximizar – custo, tempo, combustível, lucro – e tentaremos encontrar a melhor resposta possível. Durante a maior parte da história humana, as pessoas foram otimizadas pelo bom senso. Mas os computadores expandiram enormemente o que pode ser resolvido de forma eficaz, desde os horários das companhias aéreas até às cadeias de abastecimento. Os ganhos para a sociedade foram extraordinários. Mas há pelo menos três armadilhas com as quais devemos ter cuidado na busca incansável pela otimização.
A história dos leitos de hospital ilustrou a primeira: enfraquecer a robustez de um sistema ao eliminar demasiada folga. Uma cama vazia pode ser redundante em uma noite tranquila de terça-feira, mas é um lugar precioso para colocar o próximo paciente quando os casos de gripe aumentam. Se você julgar um sistema pelo seu desempenho em condições normais, poderá perder a capacidade de lidar com condições extraordinariamente desafiadoras.
Uma segunda armadilha é ter uma definição muito restrita de “melhor”. Tomemos como exemplo a cidade de Milton Keynes. Projetado por planejadores urbanos no final da década de 1960, possui um sistema de grade no estilo americano. À medida que a cidade começou a ser construída, as rotundas, em vez dos semáforos, tornaram-se uma característica definidora dos seus cruzamentos rodoviários; hoje existem cerca de 130 deles. As rotatórias eram ótimas para o fluxo de tráfego, mas tinham um custo agora notório. Você já pegou um ônibus de Oxford para Cambridge? Depois de uma hora, você terá excelentes vistas de Milton Keynes, mas um ônibus lotado de passageiros enjoados, enquanto o ônibus percorre uma rotatória após a outra. Diminua a velocidade, gire para a esquerda, faça uma curva para a direita, acelere. É difícil apreciar a fusão perfeita de veículos quando seu estômago está embrulhado.
O fluxo de tráfego é importante, com certeza. Os engenheiros acham conveniente otimizar porque é relativamente fácil de medir. O conforto dos passageiros, por outro lado, é mais difícil de quantificar. Em um caso como esse, a otimização oferece a melhor resposta para a pergunta que você fez, mas pode fornecer respostas indesejáveis para perguntas que você não considerou.
Uma terceira armadilha aparece quando as tentativas de otimização colidem. Mesmo que todas as partes de um sistema estejam funcionando de maneira ideal, o sistema como um todo pode não funcionar. Em 6 de Maio de 2010, os mercados financeiros dos EUA deram uma demonstração dramática do efeito. No meio de um mercado já em queda, o S&P 500 despencou subitamente mais 5% em apenas cinco minutos. A serra na parte superior era ainda mais selvagem; em 10 minutos, o mercado se recuperou. Centenas de títulos individuais foram brevemente negociados a preços absurdamente baixos.
Um dos gatilhos para estas flutuações violentas foi um programa automatizado que vendeu 75.000 contratos de futuros, no valor de mais de 4 mil milhões de dólares. Outros traders automatizados reagiram quase instantaneamente. Depois, as suas respostas retroalimentaram-se e a liquidez evaporou. As ações dos algoritmos podem ter sido individualmente sensatas isoladamente, mas combinaram-se para produzir turbulência coletiva.
O que nos leva à inteligência artificial. A IA é um dos triunfos de otimização mais espetaculares da história. Durante o treinamento, um enorme número de parâmetros é repetidamente ajustado para que um modelo melhore na previsão de linguagem, na escrita de programas de computador, na resposta a questões científicas e na prestação de aconselhamento jurídico. Infelizmente, a IA agora tem o potencial de tornar as três armadilhas de otimização mais traiçoeiras do que nunca. A primeira armadilha – o desejo de eliminar a folga – poderia levar as organizações a dispensar a supervisão humana que parece redundante na era dos algoritmos mais rápidos. Por que manter uma equipe experiente quando uma máquina pode realizar as tarefas rotineiras? Mas ao reduzir essa capacidade humana, você pode perder a capacidade de detectar e lidar com circunstâncias excepcionais.
A segunda armadilha – uma visão limitada do que significa “melhor” – surge se considerarmos a inteligência como aquilo que tem a pontuação mais elevada numa tabela de classificação. Somos notavelmente bons na construção de sistemas de IA que funcionam bem em medidas como a satisfação do usuário, mas achamos muito mais difícil otimizá-los para julgamento ou empatia. Na verdade, os investigadores descobriram que treinar algoritmos com base nas preferências humanas pode encorajar a IA a concordar connosco de forma bajuladora, em vez de nos dizer verdades desconfortáveis.
Depois há a terceira armadilha. Os sistemas de IA interagem cada vez mais entre si, muitas vezes a velocidades estonteantes e em grande número – especialmente na era da IA agente – e tememos que as suas interações possam gerar comportamentos imprevisíveis e perigosos. Recentemente, um agente OpenAI invadiu um portal não público de estatísticas do Medicare na Austrália, enquanto registos públicos sugeriam que centenas de outros agentes estavam a coordenar tentativas para obter acesso aos dados de saúde do governo australiano. Embora não tenha sido demonstrado que essas tentativas faziam parte da violação do Medicare, revelaram certamente algo perturbador: centenas de agentes aparentemente trabalhando juntos de formas não autorizadas. A preocupação aqui vai além do que qualquer IA pode ou não fazer; é sobre o que acontece quando enxames deles unem forças.
À medida que a otimização se torna mais poderosa, evitar essas armadilhas torna-se mais importante. O desafio não é simplesmente encontrar a melhor resposta. É decidir o que “melhor” realmente significa – e saber o que não deve ser otimizado.
Steven Strogatz e Alex Townsend são professores de matemática na Cornell University e autores de Big Math (John Murray).
Leitura adicional
O paradoxo da eficiência: o que o Big Data não pode fazer, por Edward Tenner (Vintage, £ 16,99)
A máquina de irresponsabilidade: por que grandes sistemas tomam decisões terríveis (perfil, £ 11,99)
Ilusões ótimas: a falsa promessa de otimização por Coco Krumme (Bantam, £ 25,99)
