Оригинал тут https://www.callingbullshit.org/case_studies/case_study_musician_mortality.html
Возраст смерти в зависимости от музыкального жанра
В марте 2015 года в социальных сетях появился поразительный график. График, приведенный ниже, показывает, что быть музыкантом в старых музыкальных жанрах — блюзе, джазе, госпеле — относительно безопасное занятие, тогда как исполнение новых жанров — панка, металла и особенно рэпа и хип-хопа — чрезвычайно опасно.
Этот график взят из статьи под названием «Музыка, за которую стоит умереть: как жанр влияет на продолжительность жизни популярных музыкантов» на сайте научных новостей The Conversation (слоган: «Академическая строгость, журналистское чутье»). Он стал мемом в социальных сетях.
Тут у нас есть не только точные количественные данные по интересной теме, но вдогонку эти данные подкрепляют сложившиеся впечатления о жанрах музыки и связанным с ними образом жизни. График и сопроводительная статья даже вызвали доверчивую публикацию в WonkBlog Washington Post, в которой говорилось, что:
“[Автор исследования Дайанна Кенни] обнаружила, что музыканты из более старых жанров, включая блюз, джаз, кантри и госпел, имеют такую же продолжительность жизни, что и обычные американцы их возраста. Продолжительность жизни для R&B музыкантов немного ниже, в то время как продолжительность жизни для более новых жанров, таких как рок, техно, панк, металл, рэп и хип-хоп, значительно короче».
Статья в Washington Post (под названием “Половина мертвых хип-хоперов – жертвы убийства”) заходит еще дальше, представляя мнение Дианы Кенни так:
«Это тревожная история», — говорит Кенни Washington Post. «Люди, которые занимаются рэп-музыкой, хип-хопом или панком, занимаются гораздо более опасной профессией, чем военные. Мы не теряем половину нашей армии в бою».
Более опасным делом, чем война – да уж, серьезная заявка. На русском данные тоже подавались тенденциозно.
Отсечение данных справа (Right censoring)
Однако при взгляде на график становится совершенно ясно, что что-то не так.
Дело не только в том, что автор использовала линейный график для категориальных данных. Не факт, что визуальный эффект преувеличен из-за того, что вертикальная ось была усечена на 25. (На самом деле это правильно для многих линейных графиков, но это отдельная история). Мое подозрение вызвала неправдоподобно большая разница в возрасте на момент смерти.
Я не был бы особенно скептичен, если бы исследование выявило 5-10%-е снижение для музыкантов в некоторых жанрах, и лишь немного обеспокоился бы, если бы они сообщили о снижении на 25%. Но посмотрите на график. Музыканты, исполняющие рэп и хип-хоп, якобы умирают в возрасте около 30 лет, что вдвое меньше, чем в большинстве других жанров.
Так что же происходит? Это довольно просто. Хотя на момент публикации исходные данные не были доступны, нетрудно понять, что они подверглись отсечению справа. Большинство звезд рэпа и хип-хопа живы до сих пор; мы не знаем, как долго они проживут. Более того, рэп и хип-хоп — новые жанры, которым еще нет 40 лет, и очень немногие популярные музыканты начинают свою карьеру в возрасте сорока лет, а не в подростковом или двадцатилетнем возрасте. Таким образом, единственные рэп- и хип-хоп-музыканты, которые уже умерли, — это те, кто умер преждевременно.
Не так обстоит дело с джазом, блюзом, кантри, госпелом и т. д. Эти жанры существуют уже столетие или даже больше, и в этих областях у нас есть множество исполнителей, которые прожили полную жизнь.
Другими словами, звезды рэпа не умрут молодыми; дело в том, что звезды рэпа, которые умерли, определенно умерли молодыми, потому что рэп существует недостаточно долго, чтобы случилось иначе.
График дает пару других признаков того, что мы имеем дело с цензурой справа. Во-первых, уровень смертности тесно связан с возрастом жанра. Рок — это плохо, диско — еще хуже, панк — еще хуже, потом метал, потом рэп и хип-хоп. Теперь, возможно, музыка превращается в более рискованный образ жизни, но почему-то это кажется неправдоподобным. Во-вторых, линии, отображающие ожидаемую продолжительность жизни по когортам, увеличиваются по мере того, как мы переходим от блюза и джаза к року и хип-хопу. Это подтверждает, что когорты действительно разные и что последние когорты существенно моложе.
Когда все пошло не так
Если проследить путь от графика до фактической статьи, в которой он появился, становится ясно, что автор знала о проблемах, обсуждавшихся выше, и учитывала это в своем научном исследовании. В популярной статье The Conversation она пишет:
«Эта закономерность в некоторой степени отражает путаницу в данных: музыканты, которые умирают самыми молодыми, принадлежат к более новым жанрам (электроника, панк, металл, рэп, хип-хоп), которые не существовали до тех пор, пока не появились такие жанры, как джаз, кантри, госпел и блюз. Следовательно, у них не было такой же возможности прожить полную жизнь».
Это довольно прямое признание цензуры справа в данных.
К сожалению, на самом графике такой оговорки нет, и немногие читатели имеют необходимую статистическую подготовку, чтобы увидеть ее. Это проблема.
Раньше я тоже этого не осознавал, но в мире соцсеток мы должны быть готовы, что наши графики будут распространяться без сопроводительного текста. Это сильно отличается от логики подготовки графиков для научных работ. Там риск того, что график завирусится сам по себе, ниже; можно более свободно опустить упоминание вопросов и предостережений, которые подробно рассматриваются в основном тексте или подписи к рисунку.
Поэтому, на мой взгляд, данные в статье Conversation никогда не должны были отображаться таким образом, как это сделано. Хотя цифры верны, этот график рассказывает историю, которая не согласуется с тем, что на самом деле предполагают данные, если их внимательно рассмотреть.
Дополнительные нюансы также теряются по мере того, как мы переходим от оригинальной статьи Conversation к сообщениям СМИ из вторых рук о том же самом. На графике и в исходной статье Conversation по вертикальной оси правильно отложен средний возраст на момент смерти. В тексте статьи Washington Post, которую мы цитировали ранее, он каким-то образом трансформировался в продолжительность жизни — совсем другой показатель. Это просто неправда, что ожидаемая продолжительность жизни рэп- и хип-хоп-музыкантов ниже 30 лет, хотя средний возраст умерших рэп- и хип-хоп-музыкантов в исследовании действительно ниже 30 лет.
В оригинальной истории также есть таблица, воспроизведенная ниже, в которой перечислены причины смерти по жанрам.
Таблица также может ввести в заблуждение случайного читателя, потому что показывает не пожизненную вероятность каждой причины смерти, а скорее вероятность каждой причины смерти при условии, что смерть уже наступила на момент исследования.
Это очень тонкая проблема — ожидать, что популярная аудитория будет правильно интерпретировать ее без большого количества указаний. Сравнения между старыми жанрами и новыми жанрами — это не сравнение яблок с яблоками. Главное, что мы видим из таблицы, это то, что исполнители старых жанров чаще умирают от старческих болезней, тогда как исполнители новых жанров чаще умирают от несчастного случая или насилия. Неудивительно, учитывая возрастное распределение.
В целом, представление данных в этих статьях вводит в заблуждение, потому что модель смертности в зависимости от жанра, которую пытается установить автор, путается с возрастным распределением музыкантов в каждом жанре. Более того, жанровые различия в распределении по возрасту, вероятно, будут иметь больший эффект, чем основные различия в жанровой смертности среди людей одного и того же возраста. Эта путаница подробно рассматривается в научной статье, кратко обсуждается (но не корректируется) в оригинальной статье Conversation, на это есть намек в статье Washington Post – и это совершенно не упоминается в самих графиках данных.
Разница между корреляцией и причинно-следственной связью
И последнее замечание: мы можем рассматривать происходящее в свете корреляции и причинно-следственной связи. Начнем с того, что исследование измеряет корреляцию между музыкальным жанром и возрастом на момент смерти, но неподготовленный читатель может интерпретировать это как установление причинно-следственных связей.
Более серьезная проблема заключается в том, что корреляция между музыкальным жанром и возрастом на момент смерти, по-видимому, в значительной степени является следствием корреляции с другой неупомянутой переменной. Главный вывод исследования заключается в том, что мы наблюдаем следующую корреляцию:
Но эта корреляция возникает как следствие двух других корреляций:
То есть существует сильная корреляция между возрастом жанра и возрастом исполнителей, а также существует сильная корреляция между возрастом исполнителей (живых или мертвых) и возрастом на момент смерти уже умерших. Вместе эти корреляции создают корреляционную связь между жанром и возрастом на момент смерти. Если не быть осторожным, то можно было бы приписать эту корреляцию причинному влиянию образа жизни, хотя на самом деле она является следствием возраста взятых людей в каждом жанре.
Кода
Примерно через год после того, как были опубликованы рассматриваемые популярные статьи, это исследование также было представлено в научной статье. В ней авторы объясняют проблему правой цензуры и предпринимают разумные шаги для ее решения. Хотя статистика в научной статье не безупречна — обратите внимание на огромное количество нескорректированных множественных сравнений — данные достаточно убедительны, чтобы основные закономерности, показанные в популярных статьях, по-видимому, сохранялись. Кажется вероятным, что музыканты действительно страдают от более высоких показателей смертности, чем население в целом, и я подозреваю, что также вероятно, что причины смертности действительно различаются в зависимости от музыкальных жанров. [Мор: хотя не в такой степени]
Мораль этой истории, если таковая имеется, заключается в том, что нюансы исследования могут быть утеряны по мере того, как исследование объясняют, интерпретируют, переобъясняют и переинтерпретируют, без каких-либо гнусных намерений или намерений обмануть с чьей-либо стороны. (…)
Комментарий автора статьи
Автор Диана Кенни любезно предоставила нам ответ на наше исследование, объясняя ситуацию с ее точки зрения. Чтение ее точки зрения может быть особенно полезно для читателей, разделяющих ее замечательную цель — объяснить свою работу публике.
Профессор Кенни пишет:
“Хотя я приветствую ваши намерения и согласна, что неправильное использование и неверная интерпретация данных являются серьезными проблемами, я была несколько встревожена вашей характеристикой моего исследования.
Хотя вы правы в своих технических фактах в отношении графиков, представленных в материалах «Беседы», я думаю, что вы чрезмерно сосредоточены на критике и «демонстрации» того, что сделанные выводы неверны, хотя и признаете, что они действительно верны. Положительные комментарии и общее согласие с моими выводами спрятаны в конце статьи, и у меня (и, возможно, у других) сложилось впечатление, что популярные музыканты не умирают молодыми и что разные жанры не имеют разных закономерностей в причинах смерти, потому что многие не дойдут до конца статьи, чтобы узнать иное.
Конечно, мы полностью осознавали проблемы отсечения данных справа (…), и я попыталась объяснить это в статье «Conversation» на языке непрофессионала. Моя исходная статья содержала следующие утверждения:
“Эта закономерность в некоторой степени отражает путаницу в данных: музыканты, которые умирают самыми молодыми, принадлежат к более новым жанрам (электроника, панк, металл, рэп, хип-хоп), которые не существовали до тех пор, пока не существовали такие жанры, как джаз, кантри, госпел и блюз. Следовательно, у них не было такой же возможности прожить полноценную жизнь.
В случае с более новыми жанрами стоит отметить, что представители этих жанров еще не прожили достаточно долго, чтобы попасть в возраст самого высокого риска сердечно-сосудистых и печеночных заболеваний. Следовательно, у них были самые низкие показатели смертности в этих категориях.”
В заключение я написала: «… предварительные выводы, сделанные из этой серии исследований.”
Можно только согласиться с тем, что трудно помешать своим данным и предварительным мнениям зажить собственной жизнью. Это включает в себя оспаривание достоверных выводов, что, как мне кажется, и произошло в вашем комментарии к моему исследованию.”
P.S. от Мор: Меня также интересовал выбор жанра для мультижанровых артистов и правило их сортировки.
