fbpx
ОСТАННІЙ ПОДКАСТ
Підписуйся на найнауковішу розсилку!
І миттєво отримуй 9 електронних журналів Куншт у подарунок.

Ми під'їдаємо крихти cookies за вами. Навіщо це нам?

Читати

Пардон за відволікалочку. Допоможи Куншт бути незалежним!

Пардон за відволікалочку. Допоможи Куншт бути незалежним!

Повідомлення успішно надіслано

Для пошуку
введіть назву запису
Блог — 28.12.20
ТЕКСТ: Марія Гур'єва
Ілюстрації: Каталіна Маєвська
Ми любимо тексти без помилок. Якщо ви все ж таки щось знайшли, виділіть фрагмент і натисніть
Ctrl+Enter.
Штучний інтелект: у пошуках об’єктивності ‒ блог Марії Гур’євої

Нещодавно Тімніт Ґебру, очільниця команди з етичного використання штучного інтелекту в Google та одна з провідних експерток з етичного використання ШІ, заявила1 що її звільнили, після того як вона написала лист колегам про недотримання принципів рівності та неупередженості щодо працівників у компанії.

 

Звільнення Ґебру спричинило значну дискусію та вчергове привернуло увагу до питань етичного використання штучного інтелекту. Проблематика, з якою працює Ґебру, серед іншого, полягає в так званій упередженості ШІ через недосконалість даних, що використовують для навчання програм. З поширенням ШІ збільшується і ймовірність негативних наслідків для життя людей, які може мати некоректне використання даних.

ШІ зараз використовують у дуже багатьох сферах: від політичної реклами і пропозицій від магазинів до отримання роботи2 чи винаймання житла3. За допомогою штучного інтелекту визначають,4 куди спрямовувати патрулі поліції і яка ймовірність, що людина вчинить злочин.

 

Численна реклама програм на основі машинного навчання пропонує компаніям за прийнятну плату побудувати ланцюги поставок, знайти нові сегменти аудиторій, персоналізувати контент чи впровадити чатботи. Використання ШІ має збільшити ефективність процесів, знизити вартість продуктів та послуг, покращити процес ухвалення рішень і загалом пришвидшити економічний і технологічний розвиток.

 

Ринок програм на основі штучного інтелекту оцінювався в 39,9 мільярда доларів у 2019 році і, за прогнозами, зросте на 42% з 2020 до 2027.

Очікується, що в Україні ринок ІТ до 2025 року досягне 8.6 мільярда доларів.6 Штучний інтелект – один з напрямів, що зростають у цій сфері найшвидше, і на міжнародному рівні Україна посідає у ній помітне місце.

 

Наприклад, розроблений українцями застосунок Reface, що за допомогою штучного інтелекту дозволяє змінювати обличчя у відео, нещодавно залучив 5.5 мільйона доларів інвестицій.8 Перед цим він вийшов на перше місце в App Store, випередивши TikTok та Netflix. Так само компанія Grammarly, що розробляє сервіс на основі ШІ з перевірки правопису англійською мовою, за останньою оцінкою коштує мільярд доларів. Компанію Ring, що розробляє цифрові дверні дзвінки з функцією розпізнавання об’єктів на відео, придбав Amazon за мільярд доларів. Офіс компанії розташований в Україні.

 

До речі, в 2019 році компанія потрапила в скандал. Як виявило розслідування9 The Іntercept, керівництво компанії та працівники українського офісу мали необмежений доступ до відеозаписів з камер американців, зокрема до відео в режимі реального часу. Їх використовували для навчання нейромережі, але доступ до відео не був належно захищений.

 

Оскільки ШІ почали масово використовувати відносно недавно, і ця галузь швидко розвивається, законодавче регулювання сфери перебуває на початкових етапах.10 Так само непросто оцінити, який вплив ШІ має на фундаментальні права людини. Зараз сфера ШІ – це такий собі «Дикий Захід» нових технологій, де існують певні закони та правила, проте залишається значна свобода дій, багато можливостей для отримання прибутку та великий простір для уникнення відповідальності.

 

Тривають спроби створити законодавчі норми,11 інструкції та етичні кодекси, які дозволять врегулювати сферу й не будуть гальмувати появу інновацій. Потрібно також передбачити потенційні виклики, які ще можуть виникнути в процесі розвитку технології. Тим часом інновації випереджають процес розробки законодавства. Відповідно, відсутність ефективних механізмів притягнення до відповідальності у випадках, коли застосування ШІ може призводити до дискримінації або інших негативних наслідків, створює ризики для користувачів.

 

Як виникає упередження 

 

Упередженням вважається схильність людини до особистого та часом необґрунтованого судження.12 Прояви упереджень часто неусвідомлені і призводять до дискримінації. Тобто людина або група людей не може отримати доступ до певних ресурсів та повною мірою реалізувати свої права. Найпоширенішими ознаками, за якими в суспільстві може існувати дискримінація, є етнічна чи релігійна приналежність, гендерна ідентичність, колір шкіри, сексуальна орієнтація, вік, інвалідність, мова, політичні переконання, місце проживання.

 

Через такі ознаки людині можуть відмовити в наданні послуг, в доступі до освіти, звільнити з роботи або платити меншу заробітну плату. Люди можуть бути більш вразливими до домашнього та сексуального насильства, булінгу, насильства з боку поліції.

 

Численні приклади рекламних кампаній чудово ілюструють і водночас поглиблюють упередження, що існують в суспільстві. Неувага ж до специфіки цільової аудиторії, мовних та політичних аспектів неодноразово призводила до репутаційних та фінансових збитків, яких зазнавали компанії. Наприклад, у 2017 році бренд Dove запустив рекламну кампанію, на плакатах якої темношкіра жінка знімає коричневу футболку і перетворюється на білу. Компанію звинуватили у поширенні расових упереджень.

 

А от українську аудиторію обурила реклама Danone за участі Міхаіла Пореченкова, який активно підтримував сепаратистів на сході України. А в 2015 році Coca-Cola викликала невдоволення російської аудиторії опублікувавши карту Росії без Криму, а потім змінила на карту, на якій Крим був позначений як Російський, спричинивши хвилю обурення в Україні. Компанії «Цитрус», «Якіторія» та багато інших не гребують і сексистською рекламою, поглиблюючи гендерні стереотипи у суспільстві.13

 

Упередження, що мають люди, потрапляють і до програм штучного інтелекту, поглиблюючи дискримінацію.

 

Як штучний інтелект стає упередженим?

 

Від початку розвитку технології було дві точки зору на те, наскільки ШІ має бути зрозумілим і піддаватися поясненню. Одна полягала в тому, що необхідно створювати машини, які послуговуються правилами та логікою, і чиї внутрішні процеси були б зрозумілі всім, хто б досліджував їхній код. Інша – що інтелект зможе виникнути у машин, якщо ті будуть, за прикладом живих істот, навчатись, спостерігаючи та отримуючи досвід. Тобто замість того, щоб програміст писав інструкції для вирішення проблеми, програма генерує власний алгоритм, який базується на зразках даних та бажаному результаті. Машинне навчання, що дедалі більше застосовується в системах ШІ, пішло другим шляхом.14

 

Тобто алгоритм аналізує певний блок даних, який йому «згодовують» розробники, і на його основі видає певний результат. Часто алгоритми навчаються на даних, що часто неповні, неналежно відібрані або незбалансовані. Розробники можуть мати власні упередження або просто неуважно ставитися до даних. Крім того, дані теж генерують люди (наприклад, пости в соцмережах), а отже, містять «людські» упередження. Тож алгоритми можуть мати різний ступінь точності і ухвалювати різні рішення залежно від групи, до якої застосовуються.

 

Наприклад, програма, якою хотіла послуговуватись Amazon для відбору кандидатів на роботу, як виявилось, не ранжувала заявки на посади об’єктивно, віддаючи перевагу чоловікам.15 Проаналізувавши попередній досвід рекрутингу в компанії, в якій домінували чоловіки, програма вирішила, що чоловіки-кандидати будуть більш бажаними і відкидала резюме, що містили слова на кшталт «жіночий» (наприклад, «голова жіночого шахового клубу»), і занижувала рейтинг кандидаток жіночих коледжів.

 

Згодом у Amazon відмовились від цієї програми. Але рекрутери по всьому світу дедалі частіше використовують технології ШІ для роботи з заявками, і одна з основних проблем полягає в тому, що, отримавши відмову, ви часто навіть не знатимете, що рішення ухвалив штучний інтелект, і не матимете можливості його оскаржити.

 

Упередженість є не лише щодо гендеру

 

У 2016 році журналістська організація ProPublica опублікувала дослідження16 програми, яку використовував суд, аби передбачити ймовірність, що засуджений знову вчинить злочин. Виявилося, що програма оцінювала, темношкірих людей як більш ймовірних рецидивістів. Програма навчилася цьому, аналізуючи попередні дані, а історично система правосуддя США була більш несправедливою до темношкірих американців.

 

Численні програми розпізнавання облич, навчаючись на даних переважно білих людей, погано розпізнають людей з іншим кольором шкіри. Програми також краще розпізнають чоловічі обличчя, ніж жіночі. Нижчий рівень точності стосується і розпізнавання облич людей старшого віку та дітей. Загалом найточніші результати програми видають, коли йдеться про розпізнавання облич білих чоловіків середнього віку.17 

 

Дослідницький проєкт Gender Shades з’ясував, що відсоток помилкових ідентифікацій щодо білих чоловіків перебуває на рівні 0.8%, тоді як щодо темношкірих жінок кількість помилок в деяких програмах сягає 34%.

 

Така неточність може призвести не лише до просто прикрих випадків, коли камера не виокремлює обличчя темношкірої людини на фото, але і до серйозних наслідків, зокрема помилкових арештів або труднощів з перетином кордону.

 

Дослідниця Айлін Цаліскан з Принстонського університету аналізує, як комп’ютер вивчає англійську мову, і вказує, що програма демонструє упередженість до темношкірих американців та жінок. Навчання алгоритму полягає в тому, що він аналізує частоту і контекст вживання різних слів і так навчається розуміти їхнє значення.

Вона з’ясувала, що афроамериканські імена програма значно рідше асоціює зі словом «приємний». Жіночі імена частіше асоціювались з словами що мали стосунок до родини, а чоловічі – до кар’єри.

 

Тобто комп’ютер вибудовує свій вокабулярій на основі того, наскільки часто слова трапляються разом.17 Якщо програма асоціює темношкірих людей з негативними визначеннями, це відбувається не тому, що ці люди погані, а лише через те, що в інтернеті про них пишуть негативні речі. Таким чином програма лише посилює притаманні людям стереотипи та упередження.

 

Проблема чорної скриньки

 

Додаткова складність полягає у тому, що ніхто точно не знає, як алгоритми працюють всередині, навіть їхні творці. Тобто алгоритм отримує інформацію на вході і видає результат на виході, через які саме процеси проходять дані, залишається чорною скринькою.

 

У 2015 році дослідницька група Mount Sinai Hospital в Нью-Йорку застосувала глибинне  навчання (deep learning) до бази пацієнтів. Глибинне навчання застосовують до складних штучних нейронних мереж. Такі мережі можуть знаходити не лише прості взаємозв’язки, але і взаємозв’язки між взаємозв’язками, що робить програми значно більш ефективними.19 Програмі надали медичні дані 700 тисяч людей, і алгоритм без жодних зовнішніх інструкцій навчався розпізнавати патерни та діагностувати багато захворювань. Окрім іншого, програма ефективно діагностувала психічні розлади, зокрема шизофренію.

 

Такий результат викликав багато запитань, адже шизофренія – це дуже складний для діагностування розлад, тож науковців цікавило, як таке можливо. Але новий інструмент не дав жодних відповідей щодо того, як саме алгоритм робить такі висновки. І це проблема, адже щоб використовувати подібні алгоритми, лікарям важливо знати, що стоїть за пропонованим рішенням. Важливо розуміти, чим саме послуговувалася програма, ставлячи діагноз, аби, по-перше, мати можливість переконатись в його виправданості, а по-друге, пояснити пацієнту свої рекомендації (наприклад, щодо вживання певних ліків).14

 

У США з розширенням ринку оренди житла набирають популярності програми, що на основі даних дозволяють перевірити орендарів. Програма для такої перевірки аналізує доступні дані про людину, шукаючи інформацію, зокрема в базах даних кримінальних правопорушень, і видає орендодавцю рекомендацію щодо того, чи варто здавати житло певній людині. 90% тих, хто здає житло, зазначали, що послуговуються такими програмами.

 

Конкуренція за винайм житла досить велика, а процес скринінгу відбувається швидко, тож потенційні орендарі часто навіть не знають, чому отримують відмову.

 

Проблема в тому, що часто програми надають недостовірні дані. Чимало з них не показують, на основі чого ухвалене рішення, просто позначають кольором рівень ризику, пов’язаний з потенційним винаймачем.

 

Однією із «жертв алгоритму» стала американка Саманта Лі Джонсон.20 Коли власник помешкання, яке хотіла винайняти Саманта, перевірив її, він побачив, що її звинувачували у низці злочинів в різних штатах, серед яких торгівля наркотиками, крадіжки, домашнє насильство. Як з’ясувалося потім, це дані п’яти різних жінок. Ні їхні повні імена, ні дати народження не збігались з даними Саманти.

 

У винаймачів зазвичай немає варіанту відмовитись від скринінгу, а звіти формуються автоматично і надаються власнику житла, без будь-якої перевірки якості даних.

 

Саманті вдалося переконати власника, що звіт неправдивий, і орендувати житло. Але більшість орендарів навіть не знатимуть, чому їм постійно відмовляють.

 

Попри те, що на компанії, які надають скринінгові програми, можна поскаржитись в державні органи та подати до суду, на практиці на досягнення справедливості можуть піти роки, протягом яких людина не матиме хорошого житла.

 

Є і приклади, коли ШІ надавала помилкові медичні рекомендації. Так, команда Медичного центру університету Пітсбурґа застосувала21 машинне навчання, аби визначати рівень ризику розвику ускладнень у пацієнтів з пневмонією. Дослідники хотіли запустити систему, яка аналізує дані і визначає, хто з пацієнтів з більшою ймовірністю матиме ускладнення (і, відповідно, кого необхідно госпіталізувати), а хто може лікуватися вдома. Коли лікарі проаналізували результат, виявилось, що програма відправляла додому пацієнтів з астмою, яка є серйозним фактором ризику.

 

З’ясувалось, що, проаналізувавши попередні медичні дані, програма не побачила ускладнень у пацієнтів з астмою. Але ускладнень не було саме тому, що лікарі насамперед розміщували таких пацієнтів у відділення інтенсивної терапії. Тож, відповідно, завдяки лікуванню у більшості таких випадків ускладнення і не розвивались.

 

Тобто програма зробила те, що від неї вимагали – проаналізувала дані, знайшла патерни і зробила висновки. Проте через недолік в даних могли постраждати люди.

 

Як вирішити цю проблему

 

Поки що вирішення проблеми упередженості ШІ не знайшли. Зараз є спроби розробити певні етичні кодекси та норми для роботи ШІ або покращити алгоритми так, щоб прибрати упередженість чи принаймні зробити її достатньо видимою, аби її можна було «відфільтрувати» у процесі ухвалення рішень.

 

У травні 2018 року низка організацій, серед яких Amnesty International та Access Now створили так звану Декларацію Торонто щодо захисту права на рівність та недискримінацію в системах машинного навчання. Організації розробили рекомендації, покликані зменшити потенційний негативний вплив програм на права людини та забезпечити етичне використання ШІ.

 

По-перше, йдеться про обов’язок урядів захищати від дискримінації в контексті розробки та впровадження систем машинного навчання. Зокрема важливо звернути увагу на принципи визначення ризиків використання машинного навчання, забезпечення прозорості та підзвітності (наприклад, публічно повідомляти, де використовуються системи машинного навчання), а також забезпечити незалежний контроль за використанням таких технологій.

 

По-друге, декларація визначає відповідальність приватного сектору в контексті розвитку та впровадження машинного навчання відповідало нормам, визначеним ООН (UN Guiding Principles on Business and Human Rights).22 Зокрема дані мають бути максимально прозорими: технічні специфікації, зразки даних, що використовуються та джерела даних мають бути публічно доступні.

 

По-третє, Декларація зазначає необхідність забезпечити право на відшкодування для постраждалих та притягнення до відповідальності винних у порушеннях прав людини через дискримінацію, спричинену використанням систем машинного навчання.

 

Окрім цього, розробники програм мають звертати увагу на те, чи дані, які використовують відображають певні історичні упередження і перевіряти висновки програми щодо можливої упередженості.

 

З іншого боку, люди, уряди та організації, які використовують такі програми та базують свої рішення на їхніх рекомендаціях, мають розуміти, що ці результати можуть бути упередженими, і що логіка програми може бути зовсім не такою, як ми очікуємо.

 

Насамкінець, одна з важливих проблем в розробці багатьох систем, зокрема ШІ, полягає в недостатній різноманітності в командах розробників. Надмірна гомогенність призводить до того, що результат не враховує аспекти, пов’язані з різноманіттям та забезпеченням інтересів різних людей, фактично відображаючи досить обмежене бачення групи розробників. Одним з таких прикладів є застосунок Apple, який пропонував різноманітні метрики для моніторингу здоров’я, але не мав функції відстеження менструального циклу.23

 

Упередження шкідливе, оскільки зменшує можливості людей брати участь у соціальному та економічному житті. При цьому цей негативний ефект не лише стосується людей, яких дискримінують, а впливає на суспільство в цілому. В контексті ШІ викорінення упередженості програм дозволить збільшити їхню ефективність та підвищити рівень довіри до їхніх висновків.

ТЕКСТ: Марія Гур'єва
Ілюстрації: Каталіна Маєвська
Статті