Об исследовании global.fifty о предвзятости медиа при освещении войны в Газе

Недавно вышло несколько материалов, претендующих на то, чтобы пошатнуть устоявшуюся точку зрения о смертности в Газе во время войны Израиля и Хамаса.

В русскоязычном фейсбуке об этом узнали из поста Татьяны Глезер, который был по ее просьбе активно перепощен и пересказан множеством людей. В посте Татьяна ссылалась на статью в Daily Telegraph: «Мы объединились с британским ThinkTank Henry Jackson Society и вместе подготовили большой материал, который лёг в основу сегодняшней статьи в Telegraph под заголовком "Number of civilians killed in Gaza "inflated to vilify Israel".»

Популярная статья в Telegraph, собственно, кратко пересказывает 40-страничную статью сотрудника HJS, в которой, в свою очередь, на двух страницах (стр. 36-37 в PDF, 34-35 по нумерации документа) пересказывается материал, приведенный на сайте fifty.global, волонтерской группы, возглавляемой Татьяной Глезер.

Я прочитал все эти материалы, изучил данные и у меня возникло несколько сомнений. Как мне кажется, эти материалы не доказывают тот тезис, который, как они утверждают, они доказывают и их исследовательский метод кажется мне вызывающим вопросы.

Основной материал HJS никак не связан с работой fifty.global. Судя по обсуждениям в Фейсбуке в начале октября, исследование fifty.global было в тот момент самостоятельной работой, а Татьяна искала возможность придать ему более широкую огласку. Похоже, она каким-то образом сконтактировала с Эндрю Фоксом из HJS и он согласился инкорпорировать работу fifty.global в свой доклад.

Поэтому сейчас я разберу материал fifty.global, а работу HJS оставлю на следующий раз.

---

Исследовательский подход у группы был такой – на сайтах нескольких западных газет, медиаорганизаций и информационных агентств были найдены все статьи, упоминавшие число смертей в Газе, опубликованные с февраля по май 2024 года. После этого статьям присвоены некие коды, в соответствии с их содержанием – если в них есть высказывания определенного рода, статья получает код (или несколько кодов). После этого произведен подсчет статей, соответствующих определенным условиям или их сочетанию, и делаются определенные выводы на основании полученных цифровых значений.

В приведенных таблицах можно увидеть ссылки на все проанализированные статьи и выставленные этим статьям коды. Работа проделана, по всей видимости, действительно большая.

Не ясно, каким образом отбирались издания, по которым проводился подсчет. В исследовании сказано «Our study examined eight influential English-language media outlets», в обсуждениях вокруг статьи говорилось, что это издания с самым большим охватом. Список более-менее соответствует верхним строкам одного из рейтингов, но удивляет, что один из восьми источников это Australian Brodcasting Corporation – региональное медиа с достаточно небольшим охватом. По всей видимости, предполагалось изучить материалы American Brodcasting Corporation. Это, конечно, мелочь и курьез, но заставляет задуматься, о том, как был организован контроль качества исследования.

В обсуждении результатов имплицируется, что выборка изданий репрезентативна и отражает подход всех мейнстримных западных медиа. Тем не менее, можно предположить, что выборка все-таки скошена. Например, Татьяна Глезер в обсуждении своей работы приводит пример газеты, которая соответствует ее стандартам:

Tatiana Glezer Ну вот The Wall Street Journal заморачивается с оговорками. Потому что это очень важно.
Можно очень коротко, и без оговорок. Например, так:
The Gaza Health Ministry, which does not distinguish between civilians and combatants, says more than 31,000 Palestinians have been killed in Israel’s military campaign to end Hamas rule — launched after the militant group led an ambush on Israeli border communities on Oct. 7, killing about 1,200 people and taking more than 250 hostages. The IDF estimates it has killed between 11,500 and 13,000 militants.

При этом, в наборе изданий, чьи статьи анализируются, Wall Street Journal отсутствует, что заставляет сомневаться, насколько исследование действительно отражает среднее настроение глобальных медиа

Этот огромный труд проделан, чтобы с опорой на данные можно было сделать два утверждения:

Israel is almost never cited as a source of information on fatalities among militants.

Combatant casualties are almost never included in the total reported fatalities in Gaza.

Авторы исследования честно говорят, что заходили в исследование с этими гипотезами. И здесь у меня возникает первый вопрос – выглядит так, что все исследование было направлено на то, чтобы подтвердить эти гипотезы и убедить в их истинности всех остальных. Это, на мой взгляд, подход к исследованию, который почти гарантированно обеспечивает confirmation bias (предвзятость подтверждения), одно из наиболее распространенных когнитивных искажений. Обычно дизайн исследований направлен на то, чтобы обеспечивать рассмотрение и оценку всех гипотез и более критичную – гипотезы, предпочитаемой исследователями на входе.

Дальше в исследовании делаются расширенные утверждения, сводящиеся к тому, что в статьях, с одной стороны, редко делается пометка, что данные, предоставляемые Министерством здравоохранения Газы (МЗГ), ненадежны (FG называет эти данные «данные Хамаса»), то-есть, намекается, что издания придают авторитет данным, сообщаемым МЗГ), а с другой стороны, исследователи считают, что в медиа слишком часто упоминается, что данные, предоставляемые Израилем ненадежны (т.е. намекается, что издания подрывают авторитет данных, сообщаемых Израилем). На основании такого взгляда исследователи делают вывод, что медиа освещают конфликт односторонне, предоставляя больше своих площадей для информации одной из сторон конфликта и относясь к этой информации менее критично.

В исследовании на сайте этого не содержится, но в постах, рекомендующих исследование и в высказываниях Татьяны делается и более сильное утверждение – по ее мнению, данные свидетельствуют, что «была массово нарушена журналистская этика, обязывающая цитировать обе стороны военного конфликта, что привело к искаженному нарративу о том, что Израиль применяет не пропорциональную силу и ведёт войну против гражданского населения, а не против террористической организации Хамас», а многие комментаторы ссылаются на исследование как неопровержимое, основанное на данных доказательство, что мировая пресса массово относится к Израилю с предубеждением.

На мой взгляд, этот тезис данным исследованием не доказывается. Дело здесь вот в чем – обобщающий и далекоидущий вывод делается фактически по единственной точке – по готовности медиа сообщать данные о смертности как на основании публикаций источников из Газы, так и израильских. Одна точка – вообще довольно слабое основание для столь далекоидущих выводов, но оставим это. Но насколько даже это наблюдение валидно? Сколько и какой информации о смертности предоставлялось со стороны Газы и со стороны Израиля? Были ли с точки зрения медиа и с точки зрения журналистского процесса эти источники равноценны и подходящи для использования, или между ними была существенная разница (не по содержанию, а, например, по частоте публикаций и легкости в доступе к информации)? Если эта разница была, то добросовестное исследование должно было бы учитывать эту разницу как фактор, влияющий на предпочтения журналистов при выборе источников – журналистская этика требует от журналистов прилагать разумные усилия по предоставлению возможности высказаться обеим сторонам конфликта, но не требует от них сверхусилий в этом плане.

Данные о смертности со стороны МЗГ публикуются в их телеграм-канале, ими же пользуются ооновские структуры. Они легко доступны через сайты вроде такого и в материалах вроде вот такого

Существует большой корпус обсуждений этих данных – в том числе, и с достаточным количеством критики и указаний на их несовершенство. Здесь имеет смысл посмотреть по ссылкам на предыдущие обсуждения качества данных со стороны автора, профессора одного из лондонских университетов.

А публикуются ли какие-либо данные насчет смертности в Газе Израилем? Нет, не публикуются. Иногда израильские официальные лица озвучивают какие-то числа, но нет ни одного места, куда журналист мог пойти бы при подготовке статьи и взять последние данные по мнению Израиля. Доказательство этому крайне простое – авторы исследования, упрекающие журналистов, что они мало приводят данные, подготовленные израильской стороной, при необходимости привести такие данные сами же не дают ссылку на какой-то официальный израильский государственный источник, а приводят ссылку на статью Associated Press c фразой « The Israeli military claims that over 17,000 Hamas fighters are among those killed in Gaza but has not provided evidence.» - и это единственный data point. При этом, заметим, Израиль готов, хоть и крайне редко, обсуждать количество убитых им комбатантов, но не обсуждает полное число жертв конфликта с палестинской стороны.

Но даже упоминание и публикация Израилем данных о смертности комбатантов Хамаса таковы, что в большом документе Questionable Counting, в который включен материал global.fifty, в документе, оформленном по академическим стандартам со сносками и ссылками на все цитаты и источники данных единственное утверждение о смертности в Газе в текущем конфликте со ссылкой на израильский источник выглядит вот так «The IDF has carefully reported these numbers over time based on field reports and various sources of intelligence. 10,000 of the 17,000 have been identified by name, which is a large number in the midst of war.» при этом, оно почему-то лишено каких-либо ссылок на источник.

Авторам исследования эта ситуация, несомненно, известна. В октябре этого года Татьяна Глезер в фейсбуке объявила о готовящейся публикации исследования и попросила помочь с пиаром. В комментариях к этому посту состоялось несколько обсуждений материала, в частности, вот такое:

Natalya Gevorkyan я читала об этом исследовании и у меня есть один вопрос: так на какие цифры ссылаться журналистам, если израильская сторона их не дает, а дает их только другая сторона плюс они уходят в ооновские сводки (отдельный разговор), которые главным образом и цитируются. Претензия к журналистам может быть одна: не цитируйте цифры без указани

Tatiana Glezer израильская сторона их даёт, но гораздо менее усердно, чем Хамас. Цифры с некоторой периодичностью звучат от министра обороны и от других официальных лиц.
У журналистов два варианта, как мне кажется:
1. Потратить больше времени на то, чтобы найти последние цифры, которые исходили от Израиля (что и делают в трёх процентах случаев, всегда оговаривая, что цифры Израиля невозможно проверить).
2. Написать, что Израиль не предоставил данные при личном обращении.
Но для этого нужно, чтобы журналистам было важно соблюдение нейтралитета и осознания необходимости освещения данных обеих сторон.

Есть некая разница, не правда ли, между данными, которые есть в прямом и непосредственном доступе и данными, которые надо специально разыскивать в речах израильских официальных лиц, запрашивать, ждать, не зная, получишь ли их в этот раз, при том, что весь предыдущий опыт подсказывает, что скорее всего, не получишь.

Современный журналистский цикл так устроен, что у журналистов при подготовке новостных статей нет возможности тратить время и усилия в соответствии с протоколом, предложенным Татьяной. Точно так же, жесткие требования по числу слов и знаков в материалах делают практически невозможным регулярную вставку ритуальных фраз о том, что данные не дали. Такие фразы встречаются в статьях-фичерах, посвященных конкретно смертности в Газе, но непрактично сопровождать ими любое упоминание числа смертей, как и уточнение, какая доля этих смертей по непроверяемому мнению израильской стороны является смертностью комбатантов. При этом, в статьях газет и новостных агентств, мельком упоминающих какое-то явление, достаточно часто стоят ссылки на статьи, детально разбирающие вопрос о размере и структуре смертности – издания время от времени готовили статьи, подобные, например, вот этой или вот этой а потом размещают ссылки на них, давая читателю возможность узнать больше, если захочется. Как правило, эти ссылки стоят на цифрах смертности, но методология обсуждаемого исследования не учитывает, что информация в статьях есть, хоть и по ссылке, и называет это замалчиванием. (В статье по ссылке выше, кстати, есть вот такая фраза – «The Israeli military has not challenged the overall death toll released by the Palestinian ministry. But it says the number of dead militants is much higher at roughly 15,000 – or over 40% of all the dead. It has provided no evidence to support the claim, and declined to comment for this story.» - поставьте себя на место журналистов, готовящих следующую статью на эту тему. Скорее всего, вы получите подобный же ответ. Велика ли ценность в приведении такого ответа-затычки в каждом материале? А ведь Татьяна Глезер требует именно этого). Если же известно, что Израиль в целом не оспаривает цифры, сообщаемые МЗГ и сам ими пользуется , то в чем можно упрекать журналистов, которые не сопровождают упоминание этих цифр длинными дисклеймерами? И ведь именно отсутствие таких дисклеймеров и составляет основную базу обвинения в предвзятости.

Некоторые участники исследования это понимали и сообщали Татьяне Глезер:

Лера Новосадова Не в первый раз напишу это, раз вы продолжаете эту тему обсуждать. IDF сам не предоставляет эти цифры. Потому и журналисты не ссылаются на эти цифры. У меня была возможность в этом убедиться в рамках этого исследования. Вообще тема подсчёта реальных потерь среди мирных непосредственно во время боевых действий очень сложная. Даже методология этих подсчётов замороченная. Да, тут «не всё так просто». Боюсь, на настоящие исследование наша работа не тянет именно в силу закрытости одного из самых важных источников.

Tatiana Glezer да, не в первый раз отвечу, что такая проблема есть. Это не отменяет ассиметрии данных. Это не отменяет обязанность журналиста сказать, например, что "Представители ЦАХАЛа не предоставили данных". Хотя это не так, они просто не парятся и не тратя времени. И что хуже, не придают этому значения. Массово.

Лера Новосадова в ряде случаев именно так я и писала в колонке с замечаниями. Просто это не было обязательным условием. Задача не стояла это обязательно вписывать. Думаю, многие этого не делали. Я про участников исследования. Очень во многих статьях журналисты ссылались на IDF, но там не было цифры, потому что именно цифр IDF не представляли. Часто они говорили что-то вроде «мы старались избежать невынужденных потерь среди мирного населения». И всё. Вот и получилась та самая ассиметрия.

Tatiana Glezer благодаря усилиям Хамас и бездействию Израиля в европейском обществе уже сложился консенсус, что "цифры из Газы надёжные". Это сильный консенсус, но он строится на искажённых данных. И он является дополнительным фактором, стимулирующих безответственные практики журналистов многих изданий.

Tatiana Glezer что именно вписывать?

Лера Новосадова колонка с комментариями по потерям не была обязательной к заполнению. И получилось, что цифр нет. Вроде как журналисты такие нехорошие и biased не предоставляют их с обеих сторон. Только это не так. Журналисты предоставляли возможность IDF высказаться, но те, не давая цифр, высказывались в том ключе, что я описала выше, в предыдущем комментарии. Вот и закономерный результат – перекос в статистике. Колонка «комментарии» не была обязательной, и я видела, что очень многие оставляли её абсолютно пустой. Формально не подкопаешься – цифр нет: однако комментарий-то был. А вы сами, честно положа руку на сердце, довольны исследованием? Оно вам кажется непредвзятым? Я искренне спрашиваю, без подвоха. В последнее время сама себя частенько спрашиваю, в своём ли я уме(

Tatiana Glezer начну с конца.
Я считаю исследование по методологии и процедуре непредвзятым. Цитаты на втором этапе прошли проверку (другие волонтёры потом проверяли статьи и отсутствие пропущенных данных в скопированных цитатах) ; кодировку вообще заморочились и сделали тройную: двое независимо кодировали, третий проверял.
И мы вообще отсекли около 40 кодов из анализа, которые не относились непосредственно к двум блокам: состав жертв и источники. Тем самым мы ограничили возможность двойного истолкования таких цитат, как "Газу оставили в руинах" и прочее; мы просто это не анализировали, чтобы избежать собственного bias).
Наш коллега из Йеля сказал, что наши данные - высочайшего качества. Он это ещё после пилота сказал. Но с тех пор мы ещё больше заморочились.
По поводу цифр. Задача понять, почему так происходит - это уже выходит за рамки исследования. Но вообще ответственность журналистов за это очень большая. Только в одном проценте случаев они уточнили, что данные Хамаса невозможно независимо проверить. При этом из 3 процентов публикаций со ссылкой на Цахаль они в 80 процентах случаев сделали такой дисклеймер. Могут же, когда хотят (это горькая ирония, если что).

Лера Новосадова я всё понимаю и сама разделяю этот сентимент, но, справедливости ради, дисклеймер – это не цифра. А цифр если не дают, то что собственно можно вычитывать, анализировать, заполнять, трижды верифицировать и вообще обсуждать. Да и сам факт отсутствия наблюдателей там разве не говорящий?

Tatiana Glezer дисклеймеры очень важны. Если бы они были, исследования бы не было. Отсутствие дисклеймеров ведёт к некритическому восприятию информации.

Лера Новосадова отсутствие данных с одной стороны в первую очередь ведёт к некритическому восприятию информации, ин май хамбл

Стоит обсудить, что большая часть претензии исследователей к медиа состоит в том, что они сообщают общее число жертв в Газе, не отделяя потери среди мирного населения от потерь среди комбатантов. Если полное число потерь описывается, как потери среди мирного населения, то упрек справедлив. Но требовать каждый раз при указании числа потерь добавлять «из этих XXX тысяч YYY – комбатанты Хамаса», на мой взгляд, нельзя, а насколько я понимаю, Татьяна Глезер с коллегами хотела бы видеть именно такой подход. Но если ему следовать, то каждый раз, сообщая о числе жертв теракта 7 октября 2023 года, медиа должны были бы писать «В теракте погибло 1200 человек, из них около 400 – солдаты и полицейские».

---

У меня есть еще одна методологическая претензия к исследованию – оно показывает, как освещается один вопрос в одном конфликте и делает вывод на этом основании. Но мы не знаем и не можем сказать, насколько такое освещение аномально. Информация о числе жертв, как мирных, так и гражданских, действительно является пропагандистским оружием в войнах и часто используется обеими сторонами, как для atrocity propaganda, так и для демонстрации своей силы или правоты.

Можно предполагать, что медиа более склонны брать для анализа потерь по обеим сторонам конфликта данные той стороны, на которой потери происходят, но эта гипотеза нуждается в проверке или опровержении.

Было бы крайне полезно показать хотя бы на ограниченном сэмпле как выглядела информация о подсчете жертв в других конфликтах, источники какой стороны при этом использовались, насколько часто упоминались данные другой стороны. Если над исследованием работало 50 человек на протяжении нескольких месяцев, эту работу, наверное, можно было бы проделать без особенного ущерба для основной работы. Наконец, можно было взять контрольную группу изданий – Times of Israel, Jerusalem Post – которые уж точно не заподозришь в излишних симпатиях к Хамасу, и сравнить соответствующие метрики в этих изданиях и в западных медиа. Без такого сравнения исследование выглядит висящим в воздухе.

Наконец, интересно посмотреть, как о проблеме пишут специалисты, собирающие данные о жертвах конфликтов. Есть организация Armed Conflict Location & Event Data (ACLED), собирающая такие данные. Вот страница, на которой они описывают состояние дел с данными о смертности в Газе.

Выясняется, что и подсчет числа уничтоженных хамасовских комбатантов, временами упоминаемый израильскими официальными лицами, тоже вызывает вопросы – по мнению этой организации есть понятные основания для того, чтобы насчитать примерно 8500 убитых комбатантов Хамаса, а вот откуда берется часто используемое число 17000, не так ясно.

---

Внимательное исследование данных, любезно выложенных исследователями в общий доступ дает дополнительную информацию для размышлений и выводов, каков был подход к вопросу. Финальный месседж исследования сформулирован достаточно скупо, но по тому, как собирались данные, видно, что изначальный замысел был гораздо шире.

Интересно оценить набор критериев, по которым оценены все статьи, вошедшие в периметр исследования. Их можно найти в документе Google Sheets в колонке D на вкладке Results

Каждая статья получала отметки, в зависимости от того, нет ли в ней высказываний по ряду не самых благоприятных для Израилю пунктов и по пунктам, вызывающим симпатию к палестинцам. Видимо, эту информацию предполагалось использовать для дополнительного обсуждения, насколько враждебны к Израилю и насколько слепо дружелюбны к палестинцам мировые медиа. Штука в том, что в исследовании отсутствовали коды, которые можно было бы поставить за взвешенное обсуждение конфликта и вовлеченных в него сторон. Например, такая методология учитывает любые критичные высказывания в адрес Израиля, но не учитывает любые комплиментарные, которые могут быть в той же статье. Самая взвешенная статья, содержащая беспристрастный анализ со всех сторон, будет учтена как враждебная по отношению к Израилю и дружелюбная по отношению к палестинцам. Если цель состояла в том, чтобы доказать, насколько мировые медиа любят палестинцев и не любят Израиль, этот метод вполне рабочий. Если же задача была в том, чтобы беспристрастно померить, есть ли у медиа предрассудки против Израиля, то трудно понять, что могло заставить выбрать такую методологию.

Тем не менее, нужно отметить еще раз, что эти данные и эти оценки в формулировании выводов использованы не были, возможно, авторы и сами осознали однобокость своего подхода.

---

Итак, мое мнение – я не считаю, что это исследование доказывает тот тезис, который оно берется доказывать. Во-первых, на основании использованных данных в отсутствие сравнения с другими случаями, нельзя хоть с какой-нибудь долей уверенности утверждать, что сложившаяся медиа-картина аномальна. Нельзя, впрочем, утверждать и обратного, но в этом проблема использованного дата-сета и отсутствия контрольных образцов. Во-вторых, существует альтернативная plausible гипотеза, тоже объясняющая, почему журналисты мало ссылались на данные Израиля. Причина могла быть в недоступности этих данных и легкой доступности данных другой стороны. Авторы исследования считают, что отсутствие регулярных дисклеймеров, упоминающих этот факт – свидетельство предвзятого отношения медиа, но это не обсуждается в исследовании и не является очевидным. Авторы точно знали о проблеме недоступности данных, предоставляемых Израилем, но по какой-то причине предпочли никак не упоминать этот факт, что заставляет усомниться в добросовестности и беспристрастности исследования. Такое же сомнение вызывает возможная избирательность в выборе медиа, вошедших в периметр исследования.

Наконец, дополнительные элементы датасета и обсуждение между участниками свидетельствуют, что у авторов исследования была изначально поставленная задача подтвердить некоторую точку зрения, а не найти истину.

Таким образом, этот материал можно рассматривать как сильный ход в пропагандистской войне – он предоставляет сторонникам определенной точки зрения документ, на который можно ссылаться со словами «исследование, основанное на большом объеме данных, неопровержимо показало, что…», но как материал, позволяющий что-то узнать и понять об отношении западных журналистов к конфликту, его использовать нельзя, наоборот, выбранный подход к исследованию создает искаженную картину.