Когда компьютеру предоставляют право самостоятельно принимать решения и наказывать людей, любая математическая погрешность превращается в настоящую социальную трагедию. Машины не способны к эмпатии, не понимают контекста и требуют беспрекословного повиновения.
Один из самых громких цифровых скандалов современности разгорелся в Австралии, когда правительство внедрило автоматизированную программу для поиска должников перед бюджетом (известную как Robodebt). Вместо оптимизации процессов несовершенный алгоритм начал массово приписывать людям совершенно несуществующие долги. Сотни тысяч законопослушных австралийцев неожиданно получили официальные письма с жесткими требованиями вернуть государству огромные суммы, которые они никогда не брали в долг. Хуже всего в этой ситуации было то, что государственная машина действовала по принципу презумпции виновности: программа априори считала гражданина виновным. Люди оказались в безвыходном положении. Чтобы доказать ошибку бездушного алгоритма, им приходилось месяцами ходить по судам и собирать стопки справок. Это беспрецедентное давление имело ужасающие последствия: часть людей выплачивала вымышленные долги, чтобы избежать судов, а некоторые, не выдержав финансового террора, покончили с собой.
«Если человек что-то сделал, нужно доказать, что он виновен. А так презумпция невиновности нивелируется», — подчеркивает главную проблему таких систем психолог Оксана Зайцева.
Лишь спустя годы масштабных судебных разбирательств правительство было вынуждено признать систему незаконной и выплатить миллионные компенсации. Но является ли это единственным случаем? Как в Европе подобный сбой привел к изъятию детей и отставке всего правительства? Подробнее об этом — в новом выпуске проекта «Загублений світ».
Loading...
Не пропусти! Каждое воскресенье — новые выпуски информационно-познавательного проекта «Загублений світ», которые погрузят каждого в увлекательные истории, невероятные открытия и тайны, формирующие наш мир. Смотри премьеру в 12:00 на телеканале 2+2!