Em 2015, uma tecnológica ligada à gigante Alphabet, dona da Google, vendeu a um hospital público uma aplicação, ainda em teste, que prometia detetar lesões renais. Para a compra dessa tecnologia a empresa ofereceu um desconto à instituição de saúde, e, em troca, ao longo dos anos seguintes cerca de 1,6 milhões de pacientes viram os seus dados médicos serem recolhidos pela empresa, sem o seu conhecimento ou consentimento. Um escândalo que, desde 2022, está entregue aos tribunais. Também em Terras de Sua Majestade, os cortes orçamentais nas escolas públicas levaram os seus professores e alunos a recorrer a um pacote de ferramentas oferecido pela Google, todas desenvolvidas pela empresa. Entretanto, algoritmos preditivos e plataformas assentes na inteligência artificial (IA) – estas últimas ainda em fase embrionária, como o ChatGPT – estão ao moldar as nossas lógicas de pensamento, comportamento e trabalho, assim transformando as sociedades em que vivemos.
As tecnologias que recolhem os nossos dados pessoais estão continuamente a ser colocadas e testadas no seio da sociedade, desde hospitais a escolas, dos lares aos centros comerciais, estações de comboio e estradas, exemplifica Noortje Marres. O pior é que, adianta, os governos e outras entidades públicas correm o risco de dar a privados, quase de 'mão beijada', os dados pessoais dos cidadãos.
“Sejamos honestos, muitas das questões em jogo são bastante técnicas, e, de certa forma, também são aborrecidas”, para o cidadão comum, dispara a investigadora em sociologia digital pela Universidade de Warwick, durante a entrevista que deu ao SAPO. A especialista veio a Portugal a convite do ICNOVA – Instituto de Comunicação da Universidade NOVA de Lisboa, onde foi a principal oradora do Winter School 2023, um evento de apoio a doutorandos de comunicação e média digitais.
“Bastante técnicas” é, talvez, a melhor forma de descrever ferramentas assentes na IA, como o ChatGPT – desenvolvido pela norte-americana OpenAI. Não obstante, isso não impediu que o nome deste chatbot tenha chegado aos ouvidos de meio mundo e seja defendido, com unhas e dentes, por muitos entusiastas deste tipo de tecnologias.
Nos EUA, por exemplo, tornou-se mediático o professor da Universidade da Pensilvânia que tornou mandatório o uso do ChatGPT nas suas aulas, pois acredita que esta é a melhor forma de garantir que os seus alunos estejam na vanguarda de um mundo em que a IA será prevalecente: e existem mais docentes a seguir o seu exemplo. Todavia, o ChatGPT ainda está numa versão muito experimental, e os dados com que foi "treinado" apenas incluem informação publicada até setembro de 2021 – não reconhece, por exemplo, que Pelé, uma das grandes estrelas de sempre do futebol, faleceu em 2022. Ou seja, ainda é uma tecnologia de demonstração, não se trata de um produto acabado, apesar de já ter sido incorporada em aplicações da gigante Microsoft. E é por aqui que começamos a nossa conversa com Noortje Marres...
Justifica-se a euforia em torno do ChatGPT? Estamos a falar de uma tecnologia muito recente, ainda em fase de teste e em que não é possível ter acesso (por segredo corporativo) a detalhes técnicos, mais específicos, que expliquem como realmente opera.
Existe investigação suficiente sobre o ChatGPT, toda ela factual, que mostra que muitas vezes ele é inexato nas suas declarações e que as suas respostas estão desalinhadas com o que é pedido/perguntado pelos utilizadores. Esta tecnologia não está a funcionar corretamente de muitas e diferentes formas.
As respostas que o ChatGPT dá recorrem a uma linguagem que transmite confiança ao utilizador humano, como se estivéssemos diante de uma figura de autoridade. Quando assim é, não se torna mais fácil sobrestimar a capacidade deste tipo de ferramentas?
Há aqui dois pormenores a ter em conta. Em primeiro lugar, as capacidades do ChatGPT são suficientemente impressionantes para que tenha gerado uma enorme onda de atenção... e nós estamos, neste preciso momento, também a participar nessa onda de atenção. Mas esta atenção é uma forma de construir reconhecimento, de construir uma marca, para os grandes modelos de linguagem e os serviços que prestam. Está a ser uma estratégia de marketing de enorme sucesso e houve um propósito nesse sentido.
Contudo, um dos grandes problemas das grandes tecnológicas é que o desempenho real das suas ferramentas é muitas vezes um pormenor secundário. O mesmo aconteceu com o Tesla Autopilot [n.d.r. – veículos da Tesla que tinham um sistema de piloto automático para a condução]: foi demonstrado, de tantas maneiras diferentes, que não eram fiáveis enquanto sistema, que cometia frequentes erros. Há aqui uma dinâmica, em que se vê uma tecnologia espetacular a cometer erros, só que isso apenas acrescenta mais atenção mediática e ajuda a construir um reconhecimento de marca, uma familiaridade com a marca. É muito importante que percebamos qual a estratégia publicitária usada aquando do lançamento deste tipo de tecnologias.
"Parte da razão pela qual o ChatGPT não revela as suas fontes de informação, quando dá respostas, é a de que ele é treinado a partir de dados que estão na web, dados que foram recolhidos a partir de fontes públicas. É outro exemplo de lucros privados através da apropriação de um bem público, apesar de existir um ambiente regulatório que condena este tipo de apropriação."
O grande objetivo dessa publicidade não será o de seduzir o capital de risco, os grandes financiadores que se sentem tentados a navegar a onda e a investir nestas tecnologias?
Exatamente. A sua valorização também cresce, significativamente, apesar dos erros e das falhas de desempenho. Isto mostra que já entrámos no nível seguinte, em que alguns formas de má publicidade também são boas.
E qual é o outro pormenor importante, sobre o ChatGPT, que considera que tem passado ao lado do debate público?
A segunda coisa, e que eu penso ser crucial, é o facto de vivermos em sociedades nas quais é considerado normal lançar tecnologias que ainda se debatem para chegar ao seu melhor. Ou seja, existe uma cultura de inovação que valida, e confere legitimidade, à prática de introduzir tecnologias na sociedade que ainda estão numa fase inicial de desenvolvimento.
Vivemos um momento cultural em que é preciso ter um olhar mais crítico. Como é que se chegou ao ponto em que, nas nossas sociedades, se confere legitimidade a este tipo de utilização das pessoas, como se fossem cobaias para o desenvolvimento de tecnologias? O que diz esta situação sobre a forma como vemos a relação entre inovação e sociedade? Creio que a ideia de que a sociedade é algo a ser experimentada, que a sociedade está aqui para gerar problemas que depois a tecnologia pode resolver, significa que percebemos de forma errada qual a verdadeira relação de poder existente. Afinal, qual é o contrato que existe entre a inovação e a sociedade?
"A competição entre o poder logístico das tecnológicas e o poder regulatório dos estados vai ser um dos embates mais críticos nos tempos que se avizinham. Mas quando uma sociedade olha para o lado e deixa este embate entregue a peritos, deixando que sejam os decisores políticos e as empresas a resolverem o assunto entre si, o resultado mais provável é que o equilíbrio de poder se deslocará mais para as empresas."
Desde fevereiro que é preciso desembolsar 20 dólares por mês para aceder ao ChatGPT Plus. A diferença em relação à versão gratuita é que estará “disponível mesmo quando a procura é grande” e garantirá um “tempo de resposta mais rápido”, explica a OpenAI. Percebe-se que a empresa tenha de rentabilizar o que criou. Não obstante, tal não dá força ao receio de que, no futuro, as melhores versões destas tecnologias de IA só estejam acessíveis a alguns, criando ainda mais assimetrias num mundo de enormes desigualdades?
A União Europeia está muito empenhada em utilizar a lei e a regulação para resolver alguns destes desequilíbrios. Mas, como sabemos, aqueles que controlam as tecnologias têm frequentemente uma espécie de poder logístico, o qual é difícil de igualar pelo poder legal e regulatório.
Esta competição entre o poder logístico e o poder regulatório vai ser um dos embates mais críticos nos tempos que se avizinham. Todavia, acredito que quando uma sociedade olha para o lado e deixa este embate entregue a peritos, deixando que sejam os decisores políticos e as empresas a resolverem o assunto entre si, o resultado mais provável será que o equilíbrio de poder se deslocará mais para as empresas. Se houver um continuo interesse da sociedade e do público neste conflito, então será mais provável que prevaleça o interesse público.
Mas sejamos honestos, muitas das questões em jogo são bastante técnicas. Por exemplo, que tipo de transparência para os grandes modelos de linguagem é possível ter? Até que ponto as análises preditivas [dos algoritmos e das ferramentas de IA] têm validade? Muitas destas questões são extremamente técnicas e, de certa forma, também são aborrecidas. Acontece que, neste momento, são questões de grande relevância para o interesse público. Eu defendo que tomar interesse por estes assuntos é uma dívida nossa, é uma dívida para com a nossa sociedade e as gerações futuras, pois são elas que irão viver, no seu mundo, com estas tecnologias.
"Qual é a nossa cultura de conhecimento? É uma em que reconhecemos as nossas fontes de informação. Se estivermos numa situação em que poderosas tecnologias são lançadas sem obedecer a essa cultura, o que vai acontecer?"
Não é perigoso ter uma máquina a debitar informações sob a forma de oráculos, como se as suas palavras por si só já estivessem imbuídas de grande autoridade? Pessoas pouco conhecedoras das limitações destas tecnologias, poderão facilmente ser induzidas em erro…
Para responder a isso é preciso dar resposta a outras questões. Qual é a nossa cultura de conhecimento? A nossa cultura de conhecimento é uma em que reconhecemos as nossas fontes de informação. E se estivermos numa situação em que poderosas tecnologias são lançadas sem obedecer a essa cultura, o que vai acontecer? Acho bastante preocupante que muitas pessoas não verbalizem ou insistam na seguinte ideia: "a forma como fazemos as coisas na nossa sociedade é citar as nossas fontes, por isso só trabalharemos com tecnologias que citam as suas fontes". É outro exemplo do poder da indústria tecnológica na definição da agenda pública, neste caso através da criação de uma espécie de confiança de que ela pode introduzir tecnologias do conhecimento, na sociedade, que não respeitam as regras da nossa cultura de conhecimento.
Ao mesmo tempo, isto é uma forma de ofuscação que tem muitas ramificações, porque parte da razão pela qual o ChatGPT não pode revelar as suas fontes é a de que ele é treinado a partir de dados que estão na web, dados que foram recolhidos a partir de fontes públicas.
A sua principal base de dados, a partir da qual é treinada, é a da Common Crawl, uma organização sem fins lucrativos que desde 2008 rastreia e recolhe dados na web que são do domínio público, e que podem ser livremente (sem custos) usados.
Precisamente. Mais um caso de lucros privados através da apropriação de um bem público, apesar de existir um ambiente regulatório que condena este tipo de apropriação.
Todavia, a ofuscação não é apenas metodológica: não se trata de o ChatGPT apenas conseguir funcionar através de uma ofuscação das fontes. A ofuscação das suas fontes de informação é a condição para que seja feita esta apropriação de bens públicos para benefício privado. Ou seja, a questão não é meramente metodológica, também tem que ver com o modo como funciona o modelo de negócio destas tecnológicas. Acredito que uma regulamentação estatal muito mais forte é a única forma de garantir que as tecnologias do conhecimento respeitam a nossa cultura de conhecimento… aquela em que citamos as nossas fontes de informação.
"Em locais como as ruas, os dados de teste [para desenvolver novas tecnologias] estão a ser recolhidos sem que os transeuntes sejam disso informados. Não somos tratados como sujeitos dotados de direitos, como pessoas que precisam de ser tidas em conta. Nem sequer somos tratados ao mesmo nível que as cobaias."
Vamos tentar recapitular o que explicou até agora, mas olhando para o quadro geral. Neste momento, todos nós somos como que porquinhos-da-índia para as grandes empresas tecnológicas?
Sim e não! Sim, somos, porque as tecnologias que recolhem os nossos dados pessoais estão continuamente a ser colocadas e testadas no seio da sociedade. Basta pensarmos nos testes feitos nas ruas das nossas cidades com os veículos autónomos, na recolha de dados de teste pela Amazon Echo, gravando sons e conversas nas casas das pessoas, ou nos projetos-piloto com câmaras de vigilância em estações de comboio e que envolvem o uso do reconhecimento facial, assim como nos testes feitos pela empresa DeepMind através da aplicação Streams, no Royal Free Hospital de Londres.
Contudo, a resposta também é negativa, porque, ao mesmo tempo, as pessoas envolvidas muitas vezes não fazem ideia de que estes ensaios e testes estão a acontecer. Em locais como as ruas, os dados de teste estão a ser recolhidos sem que os transeuntes sejam disso informados. As próprias tecnologias – de reconhecimento facial; os testes de diagnóstico que utilizam tecnologias algorítmicas baseadas em dados médicos, por exemplo – tendem a operar no pano de fundo da vida social: elas são frequentemente impercetíveis, parecem apartadas da sociedade. Além disso, a realização dos testes e dos treinos para a IA e os sistemas de aprendizagem automática, por norma ocorrem noutro lugar que não aquele onde os dados estão a ser capturados. Há dados que podem estar a ser obtidos em Lisboa, mas os centros de processamento e controlo desses dados podem estar localizados noutro sítio, num outro país.
Neste sentido, os testes parecem ocorrer como se não fizessem parte da vida social, mas a verdade é que estamos implicados e fazemos parte deles, porque os nossos dados, os nossos comportamentos, fazem parte daquilo que interessa à testagem. Na prática, não somos tratados como sujeitos dotados de direitos, como pessoas que precisam de ser tidas em conta. De certo modo, nem sequer somos tratados ao mesmo nível que as cobaias.
Embora uma grande parte da relação entre a sociedade e as grandes indústrias tecnológicas, neste momento, seja de recolha e monitorização de dados, a longo prazo as tecnologias que estão a ser desenvolvidas com base nesses mesmo dados conduzirão a mudanças materiais: na forma como o tráfego nas estradas é organizado, no modo como são planificados os processos dentro dos hospitais, entre muitas outras coisas. E também só a longo prazo é que sentiremos o verdadeiro e significativo impacto, nos nossos modos de vida, das mudanças materiais, sociais e técnicas que derivam destas tecnologias.
"O método em que as plataformas digitais se baseiam para produzir recomendações são frequentemente baseadas em lógicas de semelhança. […] Com a reprodução dessa lógica toda a possibilidade de encontrar o novo ou o estranho fica mais reduzida, na nossa sociedade."
Falemos do impacto de tecnologias mais mundanas e que nos parecem inócuas. Se eu me sentir nostálgico durante alguns dias e ouvir muita música dos anos 80 no Spotify, por exemplo, sou matraqueado nas semanas seguintes com recomendações de músicas dessa época, podendo criar um ciclo vicioso em que só ouço o mesmo. Na Amazon, com os livros e outros produtos, sucede o mesmo. Com o uso massivo deste género de plataformas, diminui a probabilidade de conhecermos o que é novo e diferente do que estamos habituados?
Muitos destes sistemas algorítmicos são concebidos para permitir a descoberta, sendo que muitas das lógicas de recomendação algorítmica estão centradas no que é a "próxima coisa" [a ler, ver, ouvir ou comprar]. Existe, definitivamente, uma tentativa de expor os utilizadores a novos interesses relacionados.
Todavia, há nisto uma série de problemas. Primeiro, temos o método em que as plataformas se baseiam para produzir estas recomendações: são frequentemente baseadas em lógicas de semelhança, pelo que será recomendada uma canção, ou um tipo particular de champô, que seja semelhante a algo pelo qual antes manifestámos interesse. Existe, portanto, uma lógica social, neste caso uma lógica de reprodução do familiar. Isto é algo muito poderoso dentro plataformas-mundo, como são o caso das da Amazon ou do Spotify.
Trata-se de uma lógica muito diferente da que existe em ambiente público, onde muitas vezes a lógica é a da surpresa das coisas estranhas, das coisas que são diferentes e que não são como as que já conhecemos e encontrámos. A isto dá-se o nome de "relacionalidade com o estranho" [n.d.r.– tradução livre do inglês «stranger-relationality», um conceito que desempenha um papel importante no trabalho do teórico social Michael Warner]. É algo que acontece quando se está numa livraria e, por mero acaso, olhamos para algo que está na mesa: é um encontro com o que não tem precedentes, com coisas que ainda não encontrámos no passado.
Posso estar a dramatizar um pouco a situação, mas acredito que o perigo é bem real: temos a reprodução de uma lógica de semelhança, e, com isso, toda a possibilidade de encontrar o novo ou o estranho fica mais reduzida na nossa sociedade.
Critica-se muito as redes sociais por causa dos seus algoritmos, por nos fecharem numa bolha de informação, mas quando operamos uma simples pesquisa no Google, sobre determinado assunto, os resultados que surgem nas primeiras páginas parecem, cada vez mais, iguais. Uma pessoa com pressa e que desconheça como a busca pode ser aperfeiçoada, corre o risco de apenas encontrar o que é mais popular ou informação que não acrescenta nada de novo?
Creio que é precisamente esse o caso. Mais uma vez, é uma questão sobre qual a lógica de ambiente que impera nos motores de pesquisa e nas redes sociais. Levar-nos a clicar em coisas é um dos incentivos destes média, e é também o que sustenta o nosso constante envolvimento com eles, para garantir que nos mantemos aí o máximo de tempo possível. Se a lógica de ambiente for essa – clicar em coisas para andarmos ali às voltas, sem sair –, então isso vai ter um enorme impacto e enormes implicações na parte material [na forma como nos comportamos] que depois se tornará proeminente. Tem sido demonstrado que o conteúdo sensacional é algo que leva as pessoas a querer ver mais conteúdo sensacional, por exemplo.
Penso que é importante ter em conta as influências desta lógica de ambiente, porque se pensarmos noutros tipos de práticas, então qual será, de futuro, a lógica que definirá os jornais, os meios de comunicação social? Qual será a lógica de um DJ que cria uma playlist de músicas num bar?
Obviamente que também existem lógicas próprias em funcionamento nesses ambientes: o DJ gostaria de manter as pessoas a dançar, e um vendedor de livros também gostaria que fossemos procurar e comprar livros à sua livraria. Não se trata de eles não seguirem uma lógica, simplesmente as suas lógicas têm uma qualidade diferente, em que se procura um bem diferente. É uma lógica que não procura o máximo de cliques por parte das pessoas, ou que fiquem fechadas e somente envolvidas num determinado ambiente. Procura, por exemplo, levar as pessoas a dançar ou a que abram um livro de um autor que não conhecem. Ter uma verdadeira consciência de qual a lógica existente nestes diferentes tipos de espaços é importante.
"As instituições públicas e os governos locais são cada vez mais convidados, e por vezes obrigados, a agir como parceiros das empresas tecnológicas."
Quando a World Wide Web surgiu, no início da década de 1990, nasceu a visão idealista de que permitiria um rápido e livre fluxo de informação, além de que facilitaria a comunicação e a aproximação entre pessoas. Estamos em 2023 e parece que a única coisa que as grandes tecnológicas nos querem oferecer, através de uma web dominada por privados, são produtos e serviços pelos quais temos de desembolsar dinheiro, isto enquanto armazenam os nossos dados pessoais. Consegue explicar como se chegou a esta realidade, tão diferente da utopia inicial?
Muitas tecnologias digitais são produtos de consumo, pelo que quando falamos de smartphones ou de contas no Spotify, estamos a falar de consumidores que estão a usar tecnologias. O que torna a nossa era atual distintiva, na minha opinião, é que as empresas de tecnologia estão também cada vez mais a fornecer os seus serviços a entidades públicas e aos governos.
Por exemplo, no Reino Unido a tecnológica Palantir [n.d.r. – especializada na análise de grandes dados, com uma carteira de clientes que inclui importantes agências norte-americanas como a CIA, o FBI ou a NSA,] está a negociar um contrato com o National Health Service (o NHS, equivalente ao Serviço Nacional de Saúde), para a prestação de serviços digitais aos serviços de saúde.
Recentemente, falei com um colega da área da engenharia, que trabalha com tecnologias de mobilidade inteligente, e ele explicou-me que as empresas fabricantes de automóveis estão a negociar com governos locais e regionais sobre o tipo de infraestruturas que os seus futuros veículos digitais necessitarão, isto dentro do espaço público.
Acredito que esta lógica capitalista é uma lógica em que os consumidores são seduzidos a utilizar mais tecnologias do que aquilo que precisam. Trata-se de um grande problema. Mas outro grande problema é que as instituições públicas e os governos locais são cada vez mais convidados, e por vezes obrigados, a agir como parceiros das empresas tecnológicas. E isso é algo que dá a estas empresas uma influência muito forte, a longo prazo, na forma como organizamos as nossas práticas nas escolas, nos hospitais, nas nossas ruas…
Isto significa que decisões importantes para a sociedade, que antes eram da responsabilidade de agentes políticos eleitos, estão agora a ser transferidas para agentes privados ligados às grandes tecnológicas?
Exatamente. E não se trata apenas de decisões diretas, trata-se também das consequências indiretas. Por exemplo, se os carros vão ser mais automatizados, então vão precisar de mais equipamento de monitorização de segurança instalado no ambiente público, e, apesar de ser um efeito indireto, pode ser muito consequencial se as nossas ruas se tornarem muito mais vigiadas. Precisamos de prestar muita mais atenção a estes efeitos indiretos.
Olhemos para o caso da União Europeia. Perfilha da opinião de que em termos regulatórios ela pouco faz para impedir que o poder das tecnológicas seja usado em detrimento do interesse público ou ao arrepio dos direitos individuais, limitando-se a correr atrás do prejuízo e a criar leis depois de o mal estar feito?
Nos últimos anos, houve mudanças importantes do quadro regulamentar em que as empresas tecnológicas operam na União Europeia, como o Regulamento Geral sobre a Proteção de Dados [o RGPD, em vigor desde 2018]. Existem, de momento, várias obrigações legais sobre o que se pode fazer com esses dados (as restrições) e também sobre o acesso que precisam de fornecer a esses mesmo dados.
A Noortje Marres defende que, na prática, cada pessoa deveria ter acesso facilitado aos dados pessoais que foram recolhidos sobre si. Acredita que isso levaria a uma maior perceção pública sobre o uso que lhes é dado?
Esse é um tema muito importante. Estou a trabalhar com colegas da Universidade de Barcelona e da Universidade de Bruxelas num projeto em que os indivíduos têm o direito de solicitar a uma empresa que capta os seus dados pessoais o acesso aos mesmos. Acredito que este é, verdadeiramente, um instrumento potencialmente poderoso nas mãos dos cidadãos, podendo utilizar os seus direitos de acesso para obterem informação sobre que tipo de dados sobre eles estão a ser recolhidos pelas empresas. Afinal, o que estão elas a fazer com os dados que capturam da sociedade? Penso que a lei existente [o RGPD] nos oferece algumas oportunidades de tornar visíveis o que as tecnológicas estão a fazer com toda essa informação, e quais as consequências.
"No Reino Unido, muitas escolas recorrem à Google para o ensino à distância e para comunicar com os estudantes, e estes aprendem a utilizar as ferramentas digitais da empresa. Quando estas instituições públicas sofrem cortes orçamentais, este cenário torna-se muito mais provável."
No Reino Unido, o National Health Service está a criar várias parcerias com tecnológicas, no sentido de estas terem acesso ao mais diverso tipo de dados sobre os pacientes, com a promessa de que isso irá aumentar a eficiência dos serviços prestados. Todavia, gerou-se uma enorme polémica, porque isso significa que quantidades gigantescas de dados pessoais e médicos, guardados e tutelados por instituições públicas, serão transferidos para empresas privadas. Explique melhor o que se está a passar.
Por um lado, existem parcerias entre o NHS e empresas como a DeepMind e a Palantir, assim como iniciativas mais focadas na inteligência artificial – neste último caso, com dados dos exames de imagiologia e de estudos científicos. Há uma relação, muito estreita, a ser cultivada entre o NHS e estas empresas, e, em alguns casos, elas estão a tentar criar as condições para que possam aceder a dados públicos de um modo que, segundo a opinião de muito peritos, vai muito além do que está legalmente estabelecido.
No entanto, existe também uma grande atenção pública para com estas novas colaborações, entre as tecnológicas e o sector público. No Reino Unido existe, por exemplo, uma organização sem fins lucrativos chamada Foxglove, composta por advogados que estão a conduzir diversas investigações técnicas em torno dos contratos que estão a ser redigidos: o objetivo é o de regular as relações entre as empresas de tecnologia e o sector da saúde pública.
Tem existido muito escrutínio crítico e uma grande pressão, por parte da sociedade britânica, e, por causa disso, há cerca de três anos que o NHS dá aos cidadãos uma opção de recusa. Basicamente, se uma pessoa não quiser que o NHS partilhe os seus dados com empresas, apenas precisa de preencher um formulário na Internet. No espaço de semanas, milhões de britânicos já tinham assinado esse formulário, e isso teve consequências: os acordos com as empresas, em torno da partilha de dados, caíram por terra.
Há muitas tentativas no sentido facilitar a utilização privada de dados públicos, mas também há um grande envolvimento crítico para exigir maior clareza e transparência, uma maior prestação de contas, para impedir esta entrega de bens públicos a privados.
Muitos destes acordos não se devem ao facto de o NHS, tal como o Serviço Nacional de Saúde em Portugal, nos últimos 15 anos estar a sofrer com a diminuição da qualidade dos serviços prestados aos cidadãos, devido a cortes orçamentais que foram aplicados desde a crise financeira global de 2007-2008?
Definitivamente, é esse o caso. Devido ao contexto de redução de custos no sector público, criam-se as condições em que uma empresa digital pode intervir e ganhar uma grande quota de mercado. No Reino Unido, outro exemplo é a utilização das ferramentas digitais da Google nas escolas estatais, que são instituições com financiamento público. Muitas destas escolas recorrem à Google para o ensino à distância e para comunicar com os estudantes, e estes aprendem a utilizar as ferramentas digitais da empresa. Quando estas instituições públicas sofrem cortes orçamentais, este cenário torna-se muito mais provável. E quando se está a lidar com cortes orçamentais a vários níveis, isso faz com que não seja uma prioridade colocar em causa o que está a suceder: "Porque é que colocaríamos problemas em usar o Google Docs na nossa escola, ou a Google for Education, se nem sequer temos dinheiro suficiente para dar um lanche aos alunos ou para aumentar os professores?" Quando há cortes, torna-se menos provável que olhemos criticamente para a utilização de tecnologia privada em ambientes do sector público.
[N.d.r. – A Google for Education é uma plataforma, de adesão gratuita, criada pela empresa que lhe dá nome e que inclui várias aplicações digitais e ferramentas web da Google, prontas a serem usadas por professores e alunos.]
Mas também é preciso ter em conta a existência de uma cultura, em que o governo do Reino Unido se vê a si próprio num papel em que deve facilitar a inovação e atrair investimento. É por isso que a regulamentação sobre o que as empresas tecnológicas podem fazer, ou não, dentro dos ambientes público e social, torna-se bastante fraca.
Não obstante, eu noto que existe uma diferença em relação à União Europeia, onde existe um compromisso muito mais forte para regulamentar a utilização da tecnologia no espaço público e social. Apesar disso, a lógica da inovação é muito poderosa, e quando se olha, por exemplo, para países como a Dinamarca, verifica-se que a situação é bastante semelhante à que ocorre no Reino Unido: no sentido em que o governo está ativamente a seguir e a encorajar uma estreita colaboração entre instituições financiadas pelo governo e as empresas tecnológicas.
"Um dos grandes problemas das análises preditivas que se desenvolvem no setor privado é que muitas vezes funcionam como uma espécie de caixa negra, sem transparência sobre a sua metodologia. É simplesmente impossível obter uma visão robusta sobre como estas ferramentas funcionam, e isso faz com que seja muito difícil responsabilizá-las publicamente."
Nos EUA, os tribunais de alguns dos seus estados recorrem aos modelos preditivos de um software polémico, o COMPAS (acrónimo de Correctional Offender Management Profiling for Alternative Sanctions), cujo algoritmo mede o risco de reincidência de uma pessoa que tenha cometido um crime. A empresa que desenvolveu a ferramenta assevera que recorre a modelos comportamentais e psicológicos que vão ao encontro do que é uma alta probabilidade de se voltar a cometer um crime. Contudo, estudos recentes asseveram que este algoritmo não é confiável.
Este é um caso famoso em que uma organização não governamental, a ProPublica, publicou um estudo onde conclui que um algoritmo – em que os tribunais dos EUA se baseiam para avaliar o risco de alguém cometer, novamente, atos ilegais – tinha um viés em relação às minorias étnicas. Basicamente, o estudo frisa que é um algoritmo racista e discriminatório, em que os negros tinham maiores hipóteses de serem rotulados como reincidentes criminosos do que os brancos.
Os resultados deste estudo estão neste momento sob debate. "Será este algoritmo realmente racista? Como é que o sabemos"? Uma das grandes questões é que o software que está na base destes serviços não está disponível ao público: é realmente muito difícil descobrir como funciona.
Este é um dos grandes problemas das análises preditivas que se desenvolvem no setor privado, porque muitas vezes funcionam sem transparência sobre a sua metodologia, são como uma espécie de "caixa negra" [n.d.r. – conceito usado na ciência para aludir a um sistema ou organismo cujo modo de operar não é claro ou está envolto em mistério]. É simplesmente impossível obter uma visão robusta sobre como estas coisas funcionam, e isso faz com que seja muito difícil responsabilizá-los publicamente.
Uma vez mais, estamos perante outro caso em que se vê que existe um efeito indireto relacionado com o facto de o sector privado se apropriar, ou ver-lhe atribuído, este tipo de funções. Nesta situação em específico, estamos a falar sobre como estudar o risco de reincidência por parte de pessoas que cometeram um crime, mas se é o setor privado que vai efetuar esse tipo de análise, então tornamos muito difícil que o sector público possa aceder aos métodos que estes sistemas usam e assegurar a transparência dos mesmos.
"Hoje em dia, devido à crença na inovação e à forte convicção de que os computadores irão resolver os problemas da sociedade, a ideia, com a qual concordávamos, de que os fenómenos individuais e sociais são difíceis de prever, passou para segundo plano. Parece que quando são os computadores a fazer previsões, de repente torna-se possível prever eventos sociais e individuais."
Estamos a delegar o poder de decisão em sistemas automatizados, sejam eles algoritmos ou ferramentas que recorrem à embrionária IA. Contudo, não é falacioso o argumento de que estas aplicações, apesar dos seus defeitos, são o melhor que temos para rapidamente tomarmos as melhores decisões, as que são mais racionais e eficientes?
Sim, é, mas deixe-me explicar melhor o que está em causa. Existe uma questão absolutamente subjacente a toda esta situação, e tem que ver com a previsão. Costumávamos dizer que a vida é realmente difícil de prever. Nas ciências naturais podemos fazer previsões, podemos dizer qual a probabilidade de chover amanhã, por exemplo. Mas fazer previsões sobre a vida dos seres humanos e o curso dos processos sociais são coisas diferentes: há muito que concordámos que são muito difíceis de prever.
Só que, hoje em dia, devido à crença na inovação e à forte convicção de que os computadores irão resolver os problemas da sociedade, toda esta ideia de que os fenómenos individuais e sociais são difíceis de prever passou para segundo plano. Parece que quando são os computadores a fazer previsões, de repente torna-se possível prever eventos sociais e individuais.
Sou uma cientista social, sou socióloga, daí eu pensar que é muito importante dizer que o problema não se resume a um computador que faz previsões: o problema tem que ver com forma como fazemos as previsões.
Por vezes, é necessário fazer previsões e avaliações sobre a probabilidade de determinadas situações poderem acontecer. Contudo, no que se refere a certos fenómenos sociais, em particular aqueles que dizem respeito à vida pública, não creio que, de uma forma geral, governar através da previsão seja sensato. Fazer julgamentos e decisões com base em evidências faz parte do processo de governar, mas ele não se restringe, apenas, a elaborar previsões.
Em suma. Estamos, ou não, a sobrestimar as capacidades das tecnologias digitais?
O que por vezes se vê é que as pessoas que criticam a tecnologia também acabam por enfatizar o poder da tecnologia. Por exemplo, quando alguém critica as redes sociais, é possível que diga algo deste género: "Ó, olha para isto. As empresas que controlam as redes sociais podem prever as minhas preferências. Sabes porquê? Porque têm todos estes dados e são capazes de prever o que eu gosto, e é por isso que são tão perigosas." Ora, eu penso que é muito importante que, ao criticarmos o papel destas empresas na nossa sociedade, não exageremos de forma desnecessária o seu real poder. Em muitos aspetos, elas nem sequer são muito boas a fazer previsões. Além do mais, creio que também temos de ter o cuidado de não sobrestimar as suas capacidades.
Nada disto invalida um facto: existem, definitivamente, inovações na área da computação que realmente estão a transformar e vão transformar a forma como fazemos as coisas.