Get best of the week

A prática da supervisão estatal de sistemas algorítmicos no exemplo do Canadá e da UE

imagem

Transparência e responsabilidade das decisões algorítmicas, acesso a componentes significativos do algoritmo e suas correções são ferramentas para tomar decisões justas de problemas sociais, técnicos e regulatórios que surgem em conexão com o uso de sistemas algorítmicos. A questão do monitoramento e supervisão de tais sistemas está sendo estudada ativamente no Canadá e na União Européia.

O Canadá avançou mais na resolução desse problema. Mas ela se concentrou apenas nos sistemas governamentais. Assim, em abril de 2019, o governo do país aprovou a Diretiva sobre tomada de decisão automatizada para garantir o gerenciamento, a supervisão e a auditoria dos sistemas algorítmicos estaduais. O cumprimento da diretiva é obrigatório a partir de 1º de abril de 2020 e assume a frequência da inspeção a cada 6 meses. As consequências do não cumprimento da diretiva vão desde medidas preventivas até os requisitos para "congelar" o sistema e restrições significativas ao trabalho da organização.

Como funcionará a regulação dos sistemas algorítmicos?


De acordo com a diretiva, os sites e serviços governamentais que usam sistemas algorítmicos para tomar decisões são obrigados a notificar os usuários sobre isso "em um local visível e linguagem compreensível" e a publicar regularmente informações sobre a eficácia e eficiência dos sistemas automatizados de tomada de decisão. Além disso, o proprietário do algoritmo é obrigado, mediante solicitação, a fornecer explicações sobre a adoção dessa decisão específica pelo algoritmo e as opções disponíveis para o recurso (no caso de contestar a decisão).

Para determinar o nível de impacto dos sistemas algorítmicos, o Governo do Canadá desenvolveu e publicouferramenta de avaliação de código aberto (alegadamente usada por outros países). Em particular, para avaliar o impacto dos sistemas algorítmicos do estado do Canadá, os proprietários de algoritmos são convidados a responder a 60 perguntas. Com base nos resultados da análise das respostas, o sistema algorítmico recebe um nível de 1 a 4. Os fatores-chave para determinar o nível são impacto socioeconômico, avaliação do impacto nos processos (serviços) do governo, gerenciamento de dados, transparência (metodológica) e complexidade do sistema (anexada uma avaliação do impacto dos indicadores).

A União Europeia ainda não desenvolveu medidas práticas ou medidas obrigatórias, mas como um todo está se movendo na mesma direção que o Canadá. No entanto, ao contrário dos norte-americanos, a UE planeja exercer controle sobre todos os algoritmos, não apenas os estatais.
O problema de avaliar o impacto dos sistemas algorítmicos está sendo investigado pelo Centro de Pesquisa do Parlamento Europeu.

Em particular, foram preparados dois documentos analíticos: “Entendendo a tomada de decisão algorítmica: oportunidades e desafios” (março de 2019) e “Um sistema de gestão para garantir a responsabilidade e a transparência algorítmica” (abril de 2019).
Documentos preparados como material de referência para os membros do Parlamento Europeu.

Segundo os pesquisadores, as seguintes medidas podem ser eficazes:

  • Criação de um órgão regulador para controlar e supervisionar a atividade de sistemas algorítmicos, cujas tarefas incluirão: avaliar os riscos do uso de algoritmos de acordo com o grau de impacto em uma pessoa, classificar tipos de algoritmos, pesquisar algoritmos em caso de violações de direitos humanos, aconselhar autoridades reguladoras sobre sistemas algorítmicos, estabelecer padrões e melhores práticas, auditoria de sistemas algorítmicos, assistência aos usuários na proteção de seus direitos com o uso inadequado de algoritmos;
  • , . , IEEE P7000 « » IEEE P7001 « ». , , ;
  • , . , , , , , ;
  • ( - ) ;
  • ( ) , ;
  • Fornecer "alfabetização algorítmica" para aumentar a conscientização do público sobre os princípios dos sistemas algorítmicos, o impacto e a formação de uma avaliação crítica;
  • Fornecer uma notificação obrigatória padronizada aos usuários do processamento algorítmico em andamento (informações de natureza explicativa que podem potencialmente afetar o processo de tomada de decisões de um usuário individual ou uma compreensão pública mais ampla do comportamento do sistema geral).

More articles:


All Articles