Facebook divulgou na segunda-feira, um novo relatório detalhando como ele usa uma combinação de inteligência artificial e moderadores e verificadores de fatos humanos e moderador para fazer cumprir seus padrões da comunidade. O relatório – chamado Relatório de Aplicação de Padrões da Comunidade, que geralmente inclui dados e descobertas dos três à seis meses anteriores, e que desta vez tem um grande foco na IA. Assim, o progresso Facebook vem sendo confiado cada vez mais em softwares, do que em pessoas, devido ao alto custo do trabalho quando realizado por moderadores humanos.

Atualmente, o Facebook também está confiando mais na tecnologia para ajudar a moderar sua plataforma durante a pandemia de COVID-19, o que está evitando que a empresa use moderadores de empresas terceirizadas, já que, os funcionários dessas empresas não têm permissão para acessar dados sensíveis do Facebook de casa, pelos seus computadores. O Verge informou na terça-feira, que o Facebook pagou $52 milhões numa ação em favor de moderadores atuais e antigos, para compensá-los por problemas de saúde mental, em particular o transtorno de estresse pós-traumático desenvolvidos durante o trabalho. O Verge já relatou extensivamente sobre as condições de trabalho das empresas que o Facebook contrata para moderar sua plataforma.

Facebook diz que os dados compilados em seu relatório mais recente não apresentam tendências maiores em sua aplicação ou em comportamento ofensivo em sua plataforma, porque a pandemia ocorreu no final da coleta de dados para o relatório. “Este relatório inclui dados apenas até março de 2020, então não reflete o impacto total das mudanças que fizemos durante a pandemia”, escreve Guy Rosen, vice-presidente de integridade da empresa, em um post do blog. “Podemos antecipar que veremos o impacto dessas mudanças em nosso próximo relatório, e possivelmente além, e seremos transparentes sobre eles”.

Dado as condições atuais do mundo, o relatório do Facebook contém novas referências sobre como a empresa está combatendo especificamente informações errôneas relacionadas ao coronavírus e outras formas de abuso da plataforma, como a determinação de preços no Facebook Marketplace, usando suas ferramentas de IA.

“Durante o mês de abril, colocamos etiquetas de aviso em cerca de 50 milhões de postagens relacionadas ao COVID-19 no Facebook, com base em cerca de 7.500 artigos de nossos parceiros independentes de verificação de fatos”, disse a empresa em um blog separado escrito por um grupo de cientistas e engenheiros de software, sobre os esforços contínuos de desinformação do COVID-19 publicados hoje. “Desde 1º de março, removemos mais de 2,5 milhões de peças de conteúdo para a venda de máscaras, desinfetantes para as mãos, toalhas, desinfetantes de superfície e kits de teste COVID-19. Mas esses são desafios difíceis e nossas ferramentas estão longe de serem perfeitas. Além disso, a natureza contraditória desses desafios significa que o trabalho nunca será realizado.”

Diz o Facebook, que seus rótulos estão funcionando: em 95% das vezes, alguém que é avisado de que um conteúdo contém informações erradas, decide não visualizá-lo. Mas produzir esses rótulos em sua enorme plataforma está provando ser um desafio. Por um lado, o Facebook está descobrindo que uma quantidade razoável de informações erradas e discurso de ódio estão aparecendo em imagens e vídeos, não apenas em links de texto ou artigo.

“Descobrimos que uma porcentagem substancial de discursos de ódio que ocorre no Facebook globalmente, se encontra em fotos ou vídeos”, disse a empresa em um post específico sobre discursos de ódio, suas descobertas e pesquisas recentes sobre moderação. “Como em outros conteúdos, o discurso de ódio também pode ser multimodal: um meme pode usar texto e imagem juntos para atacar um grupo específico de pessoas, por exemplo.”

Este é um desafio mais difícil para a IA enfrentar, admite a empresa. Os modelos treinados em IA não apenas têm mais dificuldade em analisar uma imagem de meme ou um vídeo, devido a complexidades como jogo de palavras e diferenças de idioma, assim como esses softwares também precisam ser treinados para encontrarem duplicatas ou apenas versões modificadas desse conteúdo à medida em que ele se espalha. Contudo, é exatamente isso que o Facebook diz que foi alcançado com o que chama de SimSearchNet, um esforço plurianual em várias divisões da empresa para treinar um modelo de IA em como reconhecer ambas as cópias da imagem original e aquelas que estão quase duplicadas e que tenham talvez uma palavra na linha de texto alterada.

“Uma vez que os verificadores de fatos independentes determinam que uma imagem contém alegações enganosas ou falsas sobre o coronavírus, o SimSearchNet, como parte de nosso sistema completo de indexação e correspondência de imagens, é capaz de reconhecer correspondências quase duplicadas para que possamos aplicar rótulos de aviso.”, diz a empresa. “Esse sistema é executado em todas as imagens carregadas no Instagram e no Facebook e analisa os bancos de dados com tarefas específicas de curadoria humana. Isso representa bilhões de imagens sendo verificadas por dia, inclusive em bancos de dados configurados para detectar desinformação do COVID-19. ”

O Facebook usa o exemplo de uma imagem enganosa modelada após um gráfico de notícias transmitido com uma linha de leitura de texto sobreposta: “COVID-19 é encontrado em papel higiênico”. A imagem é de um conhecido vendedor ambulante de notícias falsas chamado Now8News, e o gráfico foi desmascarado por Snopes e outras organizações de verificação de fatos. Mas o Facebook diz que teve que treinar sua IA para diferenciar entre a imagem original e a modificada que diz: “COVID-19 não é encontrado em papel higiênico”.

O objetivo é ajudar a reduzir a propagação de imagens duplicadas e, ao mesmo tempo, não rotular inadvertidamente postagens originais ou aquelas que não atendem aos padrões de informações erradas. Esse é um grande problema no Facebook, onde muitas páginas e organizações politicamente motivadas ou aquelas que simplesmente se alimentam de indignação partidária, tiram fotografias, capturas de tela e outras imagens e as alteram para mudar seu significado. Um modelo de IA que conhece a diferença e pode rotular um como desinformação e o outro como genuíno é um passo significativo, especialmente quando ele pode fazer o mesmo com qualquer conteúdo duplicado ou quase duplicado no futuro, sem as associar à imagens não ofensivas no processo.

“É extremamente importante que esses sistemas de similaridade sejam o mais precisos possível, porque um erro pode significar derrubar um conteúdo que não viola nossas políticas”, afirma a empresa. “Isso é particularmente importante porque, para cada peça de verificação de informações desinformada identificada, pode haver milhares ou milhões de cópias. O uso da IA ​​para detectar essas correspondências também permite que nossos parceiros de verificação de fatos se concentrem em capturar novas instâncias de informações erradas, em vez de variações quase idênticas de conteúdo que eles já viram.”

A rede social também melhorou a moderação do discurso de ódio usando muitas das mesmas técnicas empregadas para o conteúdo relacionado ao coronavírus. “A IA agora detecta proativamente 88,8% do conteúdo de discurso de ódio que removemos, ante os 80,2% do trimestre anterior”, diz a empresa. “No primeiro trimestre de 2020, adotamos medidas em 9,6 milhões de peças de conteúdo por violar nossas políticas de discurso de ódio – um aumento de 3,9 milhões”.

O Facebook pode confiar mais na IA, graças a alguns avanços na forma como seus modelos entendem e analisam o textos, tanto em como ele aparece em postagens e links que o acompanham, como quando é sobreposto em imagens ou vídeos.

“As pessoas que compartilham discurso de ódio geralmente tentam iludir a detecção modificando seu conteúdo. Esse tipo de comportamento se extende desde intencionalmente escrever errado certas palavras ou evitar certas frases, até modificar imagens e vídeos ”, afirma a empresa. “À medida que aprimoramos nossos sistemas para enfrentar esses desafios, é crucial acertar. Classificar erroneamente conteúdo como discurso de ódio pode significar impedir que as pessoas se expressem e se envolvam com outras pessoas. ” O Facebook diz que o chamado contra-discurso ou uma resposta ao discurso de ódio que argumenta contra ele, no entanto, geralmente contém trechos do conteúdo ofensivo, é “particularmente difícil de classificar corretamente, porque pode parecer muito com o próprio discurso de ódio”.

O relatório mais recente do Facebook inclui mais dados do Instagram, incluindo a quantidade de conteúdo de bullying que a plataforma remove e a quantidade de conteúdo que é apelada e restabelecida. Ele aplicou seus esforços de correspondência de imagens para encontrar postagens de suicídio e auto-lesão, aumentando a porcentagem de conteúdo do Instagram que foi removido antes que os usuários o denunciassem.

O discurso de reforço ao suicídio e autolesão no Facebook também se expandiu no último trimestre de 2019, quando a empresa removeu 5 milhões de peças de conteúdo, o dobro da quantia removida nos meses anteriores. Um porta-voz disse que esse pico surgiu de uma mudança que permitiu ao Facebook detectar e remover muitos conteúdos antigos em outubro e novembro, e os números caíram drasticamente em 2020, quando voltou o foco para novos materiais.

O Facebook diz que seus novos avanços – em particular, uma rede neural chamada XLM-R anunciada em novembro passado, estão ajudando seus sistemas automatizados de moderação a entender melhor o texto em vários idiomas. O Facebook diz que o XLM-R permite que se “treine eficientemente, em ordens de magnitude, mais dados e por um período maior de tempo” e transferir esse aprendizado para vários idiomas.

Mas o Facebook diz que os memes estão provando ser um mecanismo resistente e difícil de detectar de disseminação do discurso de ódio, mesmo com suas ferramentas aprimoradas. Por isso, criou um conjunto de dados dedicado ao “meme odioso” contendo 10.000 exemplos em que o significado real da imagem só pode ser totalmente compreendido através do processamento de ambos, a imagem e o texto, e da compreensão do relacionamento entre os dois.

Um exemplo é uma imagem de um deserto árido com o texto “Veja quantas pessoas te amam”, sobrepostas. O Facebook chama o processo de detectar isso com entendimento multimodal de sistemas automatizados, e treinar seus modelos de IA com esse nível de sofisticação faz parte de sua pesquisa de moderação mais avançada.

Dessa forma, o Facebook diz que está fornecendo o conjunto de dados aos pesquisadores para aprimorar técnicas de detecção on-line desse tipo de discurso de ódio. Também está lançando um desafio com um prêmio de US $ 100.000 para os pesquisadores criarem modelos treinados no conjunto de dados que possam analisar com sucesso, essas formas mais sutis de fala que o Facebook está vendo com mais frequência agora que seus sistemas estão eliminando de forma mais proativa o conteúdo odioso mais flagrante.

Fonte: The Verge por Nick Statt