Por Nelson Lago*
Na semana passada, um experimento da Microsoft sobre Inteligência Artificial precisou ser interrompido às pressas. Tay, uma personalidade virtual criada para simular o comportamento de uma jovem norte-americana de 19 anos no twitter e outras redes sociais, descambou para o racismo extremo em menos de 24 horas. O objetivo do experimento era criar um sistema de entretenimento capaz de aprender através da interação com humanos, mas aparentemente o máximo que ela conseguiu foi aprender a defender o genocídio dos mexicanos, odiar negros e apoiar Hitler.
Alguns viram nesse evento um paralelo preocupante com personagens fictícios como o Programa de Controle Mestre, Skynet ou o Arquiteto. No entanto, esse não é o caso: nessas obras, as "máquinas" se tornam conscientes de sua existência e passam a encarar os seres humanos como seus inimigos. Tay não tem consciência; ela apenas procura imitar o comportamento dos humanos e não tem ideia do significado de suas palavras. O que, sob um certo ponto de vista, é muito pior.
Segundo um comunicado da Microsoft, esse resultado foi fruto de "um ataque coordenado por parte de um grupo de pessoas que explorou uma falha em Tay". É difícil saber quão coordenado foi esse ataque e qual o tamanho desse grupo, mas o fato é que a "personalidade" de Tay é o fruto de uma comunidade. Não uma comunidade propriamente organizada, mas uma horda de usuários de Internet talvez apenas com um senso de humor duvidoso, mas talvez bem mais destrutivos. E, portanto, a principal falha do sistema foi sua habilidade de absorver o que vem dos humanos sem filtragem: o ser humano é capaz de construir e também de destruir, e um sistema feito para imitá-lo vai ter a mesma característica.
Esse ataque pode ser visto como uma versão não-técnica de outros tipos de ataque de segurança: é bem conhecido que existem inúmeros usuários desenvolvendo e utilizando ferramentas para a invasão de computadores. Por conta disso, não é incomum que surjam pessoas se perguntando sobre a segurança de sistemas de Software Livre; afinal, se qualquer um pode olhar e modificar o código, como garantir que não há código malicioso em um programa? Como garantir que uma falha não seja tornada pública?
Existem diversas respostas a essa pergunta, mas aqui vou mencionar apenas que os projetos de Software Livre também são organizados como comunidades, mas em geral mais organizadas. Essas "vilas" virtuais têm seus mecanismos de defesa contra as "hordas" invasoras e, inclusive, colaboram entre si: várias pessoas envolvidas com um projeto trabalham também em grupos especificamente dedicados às questões de segurança. Evidentemente, isso não é uma solução garantida, mas o mesmo vale para o mundo real, não é mesmo?
O que nos traz de volta a Tay. Ela não é o primeiro sistema desse tipo a ser criado, muito pelo contrário. Desde o sistema ELIZA, de 1964, vários pesquisadores e curiosos trabalham criando sistemas que simulam a comunicação humana. Em particular, as redes sociais se tornaram um ambiente fértil para experimentos desse tipo, e existe uma comunidade de pessoas que discutem o assunto e promovem eventos a respeito. Essa comunidade já conhece há muito tempo as dificuldades que sistemas como Tay enfrentam, tendo criado diversas soluções para o problema. O mais simples deles é apenas uma lista de palavras indesejáveis! E, no entanto, o que vemos é que a Microsoft resolveu tratar a questão da segurança no caso de Tay internamente, sem levar em conta essas experiências.
Vivemos em um mundo de humanos; tanto vilas quanto hordas são centrais na nossa realidade, mas ao que parece a Microsoft ainda tem muito a aprender sobre comunidades, os problemas e os benefícios que elas podem trazer. Que tal um pouco mais de Software Livre?
* Nelson Lago é gerente técnico do CCSL-IME/USP
