Get best of the week

La práctica de la supervisión estatal de sistemas algorítmicos en el ejemplo de Canadá y la UE

imagen

La transparencia y la responsabilidad de las decisiones algorítmicas, el acceso a componentes significativos del algoritmo y sus correcciones son herramientas para tomar decisiones justas sobre los problemas sociales, técnicos y regulatorios que surgen en relación con el uso de sistemas algorítmicos. La cuestión del seguimiento y la supervisión de dichos sistemas se está estudiando activamente en Canadá y la Unión Europea.

Canadá ha avanzado más en la resolución de este problema. Pero se centró únicamente en los sistemas gubernamentales. Así, en abril de 2019, el gobierno del país aprobó la Directiva sobre la toma de decisiones automatizada para garantizar la gestión, supervisión y auditoría de los sistemas algorítmicos estatales. El cumplimiento de la directiva es obligatorio a partir del 1 de abril de 2020 y supone la frecuencia de la inspección cada 6 meses. Las consecuencias del incumplimiento de la directiva van desde medidas preventivas hasta los requisitos para "congelar" el sistema y restricciones significativas en el trabajo de la organización.

¿Cómo funcionará la regulación de los sistemas algorítmicos?


De acuerdo con la directiva, los sitios web y servicios gubernamentales que utilizan sistemas algorítmicos para tomar decisiones deben notificar a los usuarios sobre esto "en un lugar visible y en un lenguaje comprensible" y publicar regularmente información sobre la eficacia y la eficiencia de los sistemas automatizados de toma de decisiones. Además, el propietario del algoritmo está obligado, previa solicitud, a proporcionar explicaciones de la adopción de esta decisión en particular por el algoritmo y las opciones disponibles para el recurso (en caso de un concurso de la decisión).

Para determinar el nivel de impacto de los sistemas algorítmicos, el Gobierno de Canadá ha desarrollado y publicadoherramienta de evaluación de código abierto (se dice que es utilizada por otros países). En particular, para evaluar el impacto de los sistemas algorítmicos estatales de Canadá, los propietarios de algoritmos están invitados a responder 60 preguntas. En función de los resultados del análisis de las respuestas, al sistema algorítmico se le asigna un nivel del 1 al 4. Los factores clave para determinar el nivel son el impacto socioeconómico, la evaluación del impacto en los procesos (servicios) del gobierno, la gestión de datos, la transparencia (metodológica) y la complejidad del sistema (se adjunta una evaluación del impacto de los indicadores).

La Unión Europea aún no ha desarrollado medidas prácticas o medidas obligatorias, pero en su conjunto se está moviendo en la misma dirección que Canadá. Sin embargo, a diferencia de los norteamericanos, la UE planea ejercer control sobre todos los algoritmos, no solo los estatales.
El Centro de Investigación del Parlamento Europeo está investigando el problema de evaluar el impacto de los sistemas algorítmicos.

En particular, se prepararon dos documentos analíticos: "Comprender la toma de decisiones algorítmicas: oportunidades y desafíos" (marzo de 2019) y "Un sistema de gestión para garantizar la rendición de cuentas y la transparencia algorítmica" (abril de 2019).
Documentos preparados como material de referencia para miembros del Parlamento Europeo.

Según los investigadores, las siguientes medidas pueden ser efectivas:

  • Creación de un organismo regulador para controlar y supervisar la actividad de los sistemas algorítmicos, cuyas tareas incluirán: evaluar los riesgos del uso de algoritmos de acuerdo con el grado de impacto en una persona, clasificar tipos de algoritmos, investigar algoritmos en caso de violaciones de los derechos humanos, asesorar a las autoridades reguladoras sobre los sistemas algorítmicos, establecer estándares y mejores prácticas, auditoría de sistemas algorítmicos, asistencia a los usuarios para proteger sus derechos con el uso inapropiado de algoritmos;
  • , . , IEEE P7000 « » IEEE P7001 « ». , , ;
  • , . , , , , , ;
  • ( - ) ;
  • ( ) , ;
  • Proporcionar "alfabetización algorítmica" para aumentar la conciencia pública de los principios de los sistemas algorítmicos, el impacto y la formación de una evaluación crítica;
  • Proporcionar una notificación obligatoria estandarizada a los usuarios del procesamiento algorítmico continuo (información de naturaleza explicativa que podría afectar el proceso de toma de decisiones de un usuario individual o una comprensión pública más amplia del comportamiento del sistema en general).

More articles:


All Articles