Разъяснил: как проводить, читайте экзит-поллы

С учетом различных прогнозов результатов выборов в Лок Сабха, какие из них более надежны, чем другие? Опытный аналитик описывает различные методы, проблемы и недостатки проведения экзит-полла.

Результаты экзит-полла в телевизионном магазине в Мумбаи, воскресенье. (Экспресс-фото: Ганеш Ширсекар)

Как обычный человек судит, какой экзит-пол наиболее надежен? Положиться на того, чьи числа вам нравятся больше всего, и отбросить того, чьи числа вам не нравятся? Сегодня некоторые даже судят о точности экзит-опроса, глядя на агентство, проводившее опрос, или на телеканал, заказавший опрос. Некоторые другие судят о размере выборки - широко распространено мнение, что чем больше размер выборки, тем более надежным должен быть опрос на выходе.

На самом деле, это не должны быть индикаторы для оценки точности экзитпола. Тогда как следует читать эти цифры и стоит ли вообще полагаться на эти экзит-полы?

Цифры, подброшенные различными экзит-полами, нельзя ни отвергнуть полностью, ни принять все без щепотки скепсиса. Есть хорошие экзит-поллы и есть не очень хорошие экзит-поллы. Поскольку наименьшее, что мы ожидаем от врача, - это измерение температуры пациента, то наименьшее, чего следует ожидать от экзит-опроса, - это дать зрителю / читателю оценку доли голосов.

Наука опросов, включая экзит-поллы, основывается на предположении, что данные были собраны после опроса большого числа избирателей с использованием структурированной анкеты. Другое дело, проводилось ли интервью по телефону или лицом к лицу с использованием ручки и карандаша или гаджета (iPad или мобильного приложения).

Читать | Опросы на выходе показывают, что NDA вернется, несмотря на потерю UP; огромный выигрыш для BJP в Бенгалии

Этот метод не нов; он начался еще в 1957 году, во время вторых выборов в Лок Сабха, когда Индийский институт общественного мнения провел опрос. Но даже самые лучшие предположения или оценки не могут обойтись без необходимой методологии. Без структурированной анкеты данные невозможно ни связно собрать, ни систематически проанализировать для получения оценок доли голосов.

Размер выборки, репрезентативность

С момента начала проведения экзит-поллов в 1957 году произошли огромные улучшения по крайней мере в одном аспекте, а именно в размере выборки. Прошли те времена, когда национальная выборка из 20 000–30 000 человек выглядела как очень большая выборка. Даже те, кто был пионером псефологии в Индии, например Пранной Рой и Йогендра Ядав, работали с подобными образцами с начала 1980-х до конца 1990-х годов. Хотя Центр изучения развивающихся обществ (CSDS) обычно не проводит экзит-поллы, некоторые из них он проводил - я вспоминаю первый экзит-полл CSDS во время опросов Лок Сабха 1996 года с Налини Сингхом и Дурдаршаном с размером выборки 17 604 человека.

Читать | Когда будут результаты выборов в Лок Сабха в 2019 году?

Далее мы сделали очень точный национальный прогноз как доли голосов, так и мест. CSDS продолжил свое исследование поведения при голосовании (Национальное исследование выборов), используя опросы после опроса в качестве инструмента, что является гораздо более масштабным исследованием, а также время от времени использовало это исследование для составления прогнозов доли голосов и мест. Наши выборки для опросов после опросов во время выборов 1998 и 1999 годов оставались ниже 10 000, и наши прогнозы не сбились с пути. В связи с изменением времени и для прогнозов и анализа на уровне штатов мы увеличили размер нашей выборки в 2004, 2009 и 2014 годах до немногим более 20 000 (самый большой размер выборки составлял около 37 000 в 2009 году). Когда мы завершим наш опрос по результатам выборов в Лок Сабха в 2019 году, у нас должна быть выборка из примерно 22000 человек. Наши прогнозы по количеству голосов в некоторых случаях могли не соответствовать действительности, но оценки доли голосов во многих случаях были очень близкими.

Я рад отметить, что объем выборки различных экзит-поллов на 2019 год составляет несколько сотен тысяч. Я только надеюсь, что смог научиться искусству собирать должным образом рандомизированную выборку из такого большого количества. Да, большой размер выборки важен, но, исходя из своего опыта, я могу с уверенностью сказать, что, чем размер выборки, гораздо важнее иметь выборку, которая репрезентативна для профиля избирателей. Но в последние годы давление на телеканалы (которые в большинстве случаев являются спонсорами этих экзит-поллов) с целью собрать наибольшую выборку привело к появлению экзит-поллов с все более и более крупными выборками.

Раньше конкуренция между каналами заключалась только в том, какой канал транслирует свой экзит-пол раньше; теперь речь идет также о том, чей опрос имеет наибольший размер выборки.

ПРОЧИТАЙТЕ | Что такое экзит-поллы и насколько надежны их результаты: ответы на все ваши вопросы

В последнее время прогнозы CSDS по количеству мест, основанные на опросах после опроса, полностью ошибались; в Чхаттисгархе мы неверно предсказали победителя, а на выборах в Ассамблею UP мы предсказали победителя правильно, но были далеко от истины для окончательных подсчетов для различных партий. Мы попытались проанализировать, что могло пойти не так в этих опросах, поскольку методология осталась прежней - мы получили данные, собранные из репрезентативных выборок. Если бы кто-то спросил, была ли возможность получить правильные оценки после опроса, если бы мы взяли более крупные выборки, я бы без колебаний ответил «нет», более крупная выборка не помогла бы. Конечно, что-то еще пошло не так с этими опросами после опроса; может быть, дело о фальшивых допросах, поданных следователями, о которых мы не могли вовремя разобраться. Технологии - обратная связь с респондентами, изображения проводимых интервью и телефонные звонки с мест, группы в WhatsApp и аналогичные инструменты - помогли нам преодолеть такие недостатки, но при этом не существует правила большого пальца для правильного прогноза.

Модель качелей и сложности

Есть и другие проблемы при проведении предварительного опроса, опроса после опроса или экзит-опроса. Прогноз количества мест основан на колебательной модели - текущий опрос оценивает доли голосов для различных партий и альянсов путем опроса выбранных респондентов, а прогноз мест делается на основе результатов предыдущих выборов.

Оценка доли голосов - тоже непростая задача, учитывая различие в Индии - разнообразие месторасположения, касты, религии, языка, разные уровни образования, разные уровни экономического класса - и все это имеет отношение к поведению при голосовании. Избыточное или недостаточное представительство любой из этих различных групп избирателей может повлиять на точность оценки доли голосов.

Если этого недостаточно, возникают другие трудности. Поскольку модель колебания применяется к предыдущей доле голосов, смена альянсов, разделение или слияние партий между двумя выборами затрудняет оценку доли голосов в прошлом. Во время выборов 2014 года в Лок Сабха JD (U) не был союзником BJP и набрал 15,7% голосов в Бихаре, в то время как NDA вместе набрала 38,7%, а UPA - 29,7%.

Теперь союзы изменились, и JD (U) является частью NDA. Поскольку JD (U) оспаривал NDA в 2014 г., трудно оценить, какой была бы доля голосов в 2014 г., если бы JD (U) была частью NDA. Проще говоря, если 38,7% голосов за NDA привели к 31 месту в Лок Сабха в 2014 году, сколько мест он может получить, если доля голосов, вероятно, увеличится или уменьшится? Это была история всего одного государства; представьте себе сложность разработки этого прогноза для 29 государств.

Задача применения качелей намного сложнее, чем можно подумать. Измерение колебаний и избирательных изменений легче, когда в соревновании участвуют две партии. Сложность качелей возрастает по мере того, как добавляется все больше и больше политических игроков. Например, переход от Конгресса к BJP или наоборот легче измерить, чем переход от BJP к Конгрессу, SP и BSP на одних и тех же выборах.

Эту модель могут понять только те, кто до сих пор проводит подобные опросы (до, после, на выходе) по традиционной методике. На текущем этапе экзит-поллов это скорее оценка только мест, которая может быть произведена другим методом (методом подсчета), чем методом колебания.

Насколько он всеобъемлющий?

Метод подсчета сам по себе требует времени и трудозатрат, так как предполагается, что нужно сделать оценку для каждого места. Когда агентства заявляют, что сделали оценки по количеству мест, это самый полный опрос. Это когда размер выборки достигает нескольких лакхов. Некоторые агентства внесли новшества в метод подсчета, и это привело к максимальному увеличению прибыли за счет относительно меньших затрат времени и ресурсов.

Хотя экзит-пол может утверждать, что охватывал все округа, на практике голосование не требуется на некоторых местах - например, зачем тратить время и силы на проведение опроса в Варанаси, где выступает премьер-министр, или в Гандинагаре, где Президент БДП оспаривается? Если внимательно посмотреть на округа с точки зрения штата, многие такие места могут быть исключены там, где нет необходимости в проведении опроса, и все же можно сделать наиболее точную оценку. После того, как этот метод исключения в сочетании с методом подсчета, потребуется обследование в ограниченном количестве сложных избирательных округов (колеблющиеся округа). Экзит-полл может быть намного точнее, чем опросы, проводимые с использованием традиционной методологии. Но в то время как опросы с использованием традиционной методологии оценивают долю голосов и помогают нам анализировать поведение при голосовании на основе различных социально-экономических условий, метод подсчета вряд ли может дать оценку доли голосов, и любой систематический анализ поведения при голосовании может быть только мечтой.

Время поразмышлять

Цифры различных экзит-поллов на выборах в Лок Сабха в 2019 году отсутствуют. Вопрос в том, постигнет ли эти цифры 23 мая та же участь, что и прогнозы 2004 года, или эти экзит-поллы будут более точными, чем те, что были в 2014 году? Во время выборов 2004 года все экзит-поллы предсказывали комфортную победу NDA, но, в конце концов, у нас был раздробленный мандат, когда Конгресс превратился в единственную крупнейшую партию.

Среднее значение всех прогнозов экзитполов для NDA составило 255 мест, и оно выиграло 187; Среднее значение прогнозов для UPA составило 183 места, и в итоге получилось 219. Будут ли последние экзит-поллы похожи на экзит-поллы 2014 года, когда большинство опросов правильно предсказывали победителя, но большинство не оценивало масштаб победы BJP ( хотя было несколько, которые тоже с большой точностью предсказывали масштабы победы)? На данный момент мы не знаем, насколько серьезно следует относиться к этим цифрам - какой из опросов может быть более точным, чем другой.

Исследование поведения при голосовании CSDS с использованием методов опроса после опроса будет завершено в ближайшие пару дней. Мы пока не можем оценить долю голосов, так как CSDS не проводила экзит-полл за пределами кабины для голосования в день выборов.

Профессор Санджай Кумар в настоящее время является директором Центра изучения развивающихся обществ. Выраженные взгляды являются личными.

ПОДЕЛИТЕСЬ С ДРУЗЬЯМИ: