ОСТАННІЙ ПОДКАСТ
Підписуйся на найнауковішу розсилку!
І отримуй щотижневі новини науки і технологій

    Ми під'їдаємо крихти cookies за вами. Навіщо це нам?

    Читати

    Пардон за відволікалочку. Допоможи Куншт бути незалежним!

    Пардон за відволікалочку. Допоможи Куншт бути незалежним!

    Повідомлення успішно надіслано

    Для пошуку
    введіть назву запису

    Як розбити лососеві серце? / Начитав Павло Козирєв

    00:00
    00:00
    Медицина — 22.09.20
    ТЕКСТ: Євгеній Осієвський
    Ілюстрації: mr.zhuravchik
    Ми любимо тексти без помилок. Якщо ви все ж таки щось знайшли, виділіть фрагмент і натисніть
    Ctrl+Enter.
    Як розбити лососеві серце: проблема множинних порівнянь

    Виявляється, для того щоб розбурхати хвилю почуттів у атлантичного лосося, достатньо показати йому фотографії людей, які веселяться без його участі. А ще легковажно поставитися до статистичних процедур. Вереснева #БізарроНаука знайомить з бездоганно спланованими дослідженнями, покликаними продемонструвати як не треба займатись аналізом даних.

    Автор висловлює подяку Максиму Яковлєву, завідувачу кафедри міжнародних

     відносин НаУКМА, директору Школи політичної аналітики 

    за допомогу у підготовці матеріалу.

    Той риб’ячий тип

     

    «Коли колега запропонував опублікувати результати лососячого експерименту, я був не в захваті: по-перше, через те, наскільки сміховинним вони були, а по-друге, тому що уявив, як жахливо було б молодому вченому прославитись як “той риб’ячий тип”», – написав Крейґ Беннетт у своєму блозі у вересні 2009 року. Але від долі не втечеш: після того як дослідження набуло розголосу, у людства просто не було іншого вибору. 

     

    Дослід облаштували так. Півторакілограмового атлантичного лосося поклали в магнітно-резонансний томограф, попередньо закріпивши над головною котушкою дзеркало, аби рибина могла розглядати запропоновані вченими зображення. На екрані з’являлися картинки з людьми, залученими до соціальної взаємодії або вилученими з неї. Лосося просили розповісти, як мала б відчувати себе зображена особа, а МРТ-апарат фіксував, які частки риб’ячого мозку активувались під час виконання кожного з завдань.

     

    Функціональна магнітно-резонансна томографія дозволяє виявити ділянки тканин, в котрих активізується кровообіг, тобто допомагає з’ясувати, яка саме частина органу «працює», коли організм – зазвичай людина – здійснює задані експериментаторами дії. «Одиницею вимірювання» процедури є воксель – тривимірний шматочок мозку з ребром завдовжки від кількох міліметрів до кількох десятих міліметра. Це найменша ділянка, «ввімкнення» якої здатен зареєструвати томограф. Спорідненість зі словом «піксель» не випадкова – на МРТ вокселі виглядають як світлі або темні крапки, а їхній розмір визначає «роздільну здатність» апарата.  

     

    Проаналізувавши отримані лососеві скани, науковці виявили три активних вокселі в головному мозку риби, коли вона споглядала одне із зображень. Сучасну людину дуже важко здивувати, тому додаймо до попереднього речення ще одне слово: «мертвої». Головному мозку мертвої риби – на момент, коли купленого у сусідньому супермаркеті атлантичного лосося поклали до МРТ-сканера, він був цілковито й остаточно неживий. На відміну від нас, автори оригінальної публікації не стали гратись з довірою читача і виклали всі обставини експерименту вже в назві статті: «Неврологічні кореляти міжвидового перейняття перспективи у post mortem атлантичного лосося».

     

    Дослідження, звичайно ж, не мало жодного стосунку до спілкування з мертвими (рибами) чи намагань їх розчулити. Беннетт та його співавтори з Дартмудського коледжу прагнули проілюструвати, як статистичний ефект, відомий під назвою «проблеми множинних порівнянь» (multiple comparisons problem), здатний викривити результати експерименту і чому його важливо враховувати під час публікації даних функціональної магнітно-резонансної томографії. Вперше дослідники продемонстрували науковій спільноті лососячий МРТ-скан у червні 2008 року на Конференції з мапування людського мозку в Сан-Франциско. Відтоді історія обросла фантастичними деталями (наприклад, ніби риб’ячий дослід коштував Крейґові Беннетту кар’єри), була опублікована, а в 2012 навіть принесла оригінальному колективу авторів Ігнобелівську преміюІгнобелівська премія ‒ жартівлива щорічна премія, що вручається з 1991 року за наукові досягнення, котрі змушують «спочатку розсміятись, а потім замислитись» журналом Annals of Improbable Research. з нейробіології, світлиною якої містер Беннетт з нами люб’язно поділився.

     

     

    Видання, у якому опублікували дослідження, – «Журнал синхронічних та неочікуваних результатів» – не надрукувало жодного випуску, а його сайт наразі не працює. Побутує думка, ніби Беннетт вигадав часопис власноруч, але він стверджує, що це не так. Журнал заснований Раяном Лілліеном з Торонтського університету, який запросив авторів «лососячого» експерименту стати першими дописувачами його першого номеру. Видання закрилось, але статті Беннетта і його співавторів довелось пройти всі кола редакційного пекла, зокрема «чотирьох рецензентів, які зруйнували вщент перший варіант публікації».

     

    І не лише нею. Як з’ясувалось, Харківщина притягує не тільки нобелівських лауреатів,2 а й володарів трохи менш престижної, зате точно веселішої «ігнобелівки». Канзаська школа, в якій Крейґ Беннетт отримував початкову освіту, брала участь у програмі обміну з покращення вивчення російської мови і якось в середині дев’яностих майбутній ігнобелівський лауреат провів весну в благодатному місті Харкові, знайомлячись з Україною та куштуючи «borscht». Автор цього тексту так і не вигадав, як перекласти вислів за допомогою якого містер Беннетт сформулював своє ставлення до нашої країни: «I think the world of UkraineI think the world of Ukraine – ідіома, яка означає «я дуже високої думки про Україну»», – але він підкреслено позитивний.

     

    Гороскоп для плечової кістки

     

    Функціональна МРТ залишається складною процедурою, результати якої може викривити безліч «шумів» – від власного магнітного поля томографа до активації ділянок мозку через непов’язані з конкретним дослідом чинники. Тому до отриманих даних застосовують статистичні процедури, покликані унеможливити хибні позитивні асоціації. Вчені називають їх корекціями. Варто було авторам лососевого експерименту «відкоригувати» свій масив даних, риб’ячі «надздібності» зникли з результатів. Саме це й стало стимулом до публікації. На час першої презентації досліду приблизно 25-40% досліджень з функціональної магнітно-резонансної томографії публікувалися без корекцій. До 2012 року число впало до 10%. Існує думка,6 ніби беннеттівський лосось відіграв у цьому процесі вагому позитивну роль.

    Хиби фМРТ – лише один з виявів проблеми множинних порівнянь у сучасній науці. Загалом вона виникає, коли дві групи параметрів порівнюють, аби відшукати статистичні зв’язки між будь-якою парою з них. Думати про неї можна й по-іншому: статистика дозволяє «гарантувати» – це дуже важливі лапки, – що висновки аналізу не зумовлені випадковим збігом на певному рівні ймовірності. Що більшою стає кількість порівнянь між окремими величинами у межах одного досліду, то більшою стає і ймовірність натрапити на випадковість. В мережі можна знайти5 добірку найбільш непоясненних «відкриттів» такого штибу – наприклад, вражаюче сильну залежність (коефіцієнт кореляціїКоефіцієнт кореляції (r) – показник залежності змін величини одного параметру (скажімо, споживання сиру) від змін величини іншого (скажімо, кількості задушених простирадлами людей). Максимально можливий коефіцієнт кореляції – 1 – вказує на повну взаємозалежність: зміни параметру a можна вичерпно пояснити спираючись лише на спостереження змін параметру b. Значення r, вищі за 0,9, означають дуже високу взаємозалежність.  r = 0,947) між змінами у споживанні сиру та кількістю людей, що загинули, заплутавшись у постільній білизні (717 у 2009 році).

     

    Фахівцям зі статистики відомі кілька способів боротьби з проблемою множинних порівнянь. По-перше, можна змінити визначення того, що вважати «статистично значущою» залежністю відповідно до кількості здійснених аналізів – що більше їхнє число, то вищою має бути точність збігу. Скажімо, серед 100 піддослідних, що навмання підкидають монетку 100 разів, принаймні кілька точно вгадуватимуть трохи частіше за інших, але якщо задати значення «трохи», що дозволяє унеможливити вплив випадковості, ці «пророки» виявляться нічим не кращими за їхніх колег. Формула, яку називають корекцією Бонферроні, дозволяє обчислити, наскільки саме треба підвищувати величину шуканої кореляції у такому випадку.

     

    Ще один спосіб усунути проблему множинних порівнянь – провести дослідження-валідацію. Його принцип полягає в тому, щоб протестувати щойно виявлену залежність на новій групі піддослідних, подібній до першої усім, окрім того, що на ній ще не проводився аналіз. У нашому уявному експерименті з підкидачами монет дослідники, які з’ясували б, що з вгадуванням орла чи решки у першому досліді найкраще впоралися, скажімо, руді дівчата, мали б дати таке саме завдання новій сотні піддослідних (її називають validation cohort) і простежити, наскільки часто учасниці з рудим кольором волосся «влучали» б цього разу.

     

    Дієвість обох підходівЦе аж ніяк не повний список методів корекції проблеми множинних порівнянь. Решту переліку, а також деталізовані алгоритми обчислення кожного з них зацікавлений читач знайде у останньому посиланні зі списку джерел наприкінці статті. демонструє статистичне дослідження, здійснене у 2006 році канадською групою авторів під керівництвом Пітера Остіна. Вчені використали дані про здоров’я 10 674 945 мешканців Онтаріо віком 18-100 років, аби з’ясувати, громадяни з яким знаком зодіаку (!) мали найбільший шанс госпіталізації з симптомами певної недуги. Для початку Остін та його колеги розділили учасників на дві рівновеликі частини – вже відомі нам derivation cohort та validation cohort. Потім виявили, хто з першої «когорти» мав більшу ймовірність злягти з тим чи тим діагнозом відносно решти знаків зодіаку разом взятих. От повний списокАвтори дослідження послуговувались класифікацією хвороб та уражень, складеною онтарійськими медиками з метою сортування хворих під час запису до стаціонару, тому деякі категорії не збігаються із загальноприйнятою медичною нозологією.: овен – хвороби кісток та хрящів і кишкові інфекції; телець – перелом стегнової кістки і кишкова непрохідність; близнюки – ускладнення через медичні процедури і алкоголізм; рак – непрохідність кишківника і анемія; лев – шлунково-кишкова кровотеча і постопераційна госпіталізація; діва – перелом великогомілкової кістки і напади блювоти під час вагітності; терези – тазовий перелом і субарахноїдальний крововилив; скорпіон – ректальний або анальний абсцес і лейкемія; стрілець – «симптоми, пов’язані з головою та шиєю» і перелом плечової кістки; козеріг – невизначені симптоми й аборт; водолій – грудна ангіна та бактеріальні пневмонії; риби – серцева недостатність та ішемічна хвороба серця.

     

    Після того як «знайдені» залежності перевірили на другій половині піддослідних (когорті валідації), лише два діагнози з 24 – шлунково-кишкова кровотеча у левів та перелом плечової кістки у стрільців – виявились статистично значущими вдруге. Після здійснення корекції, подібної до корекції Бонферроні, жодна з пар діагноз–знак зодіаку (зокрема леви та стрільці) не подолала «поріг значущості» в обох когортах. Випадковості трапляються, статистика працює, астрологія – маячня. І все ж, за кумедним, але ненавмисним збігом автор цього тексту – лев; а фахівець зі статистики, з яким він консультувався під час написання, – стрілець. Невже це погроза, Всесвіте?

    ТЕКСТ: Євгеній Осієвський
    Ілюстрації: mr.zhuravchik
    Статті
    Наука
    Екологічно чиста отрута: уривок з книжки «Зоологічна екскурсія супермаркетом»

    Чому краще утриматися від «дикого» промислу морепродуктів, особливо у водоймах, де цвіте вода?

    Наука
    Передумови приходу диктаторів до влади: Італія, Німеччина, РФ

    Що стало передумовами приходу диктаторів до влади на прикладі фашистської Італії, нацистської Німеччини та путінської росії? Розповідає співавтор і ведучий каналу «Історія Без Міфів» Владлен Мараєв.

    Людина
    Як кожен з нас може подякувати військовим і допомогти їм з адаптацією

    Як змінюється світосприйняття військових і що ми можемо зробити, аби висловити їм вдячність і допомогти в адаптації до мирного життя?

    Біологія
    Не тільки в історії. Який слід залишить війна в наших генах

    Як війни, голод та важкі психологічні травми залишають слід у геномі людини й чи можемо ми на це якось повпливати?

    Космос
    Що таке сонячні плями і чи впливають вони на людей

    Чи можуть спалахи на Сонці та магнітні бурі провокувати погане самопочуття в людей?

    Ідеї
    Пропаганда у російському кіно

    Як кіно стало частиною пропагандистської та політичної ідеології росії та чи можна якось дати цьому раду?