Маркетинговые исследования

      Определение грубых ошибок. В процессе измерения иногда возникают грубые ошибки, причиной которых могут быть неправильные записи исходных данных, плохие расчеты, неквалифицированное использование измерительных средств и т. п. Это обнаруживается в том, что в рядах измерений попадаются данные, резко отличающиеся от совокупности всех остальных значений. Чтобы выяснить, нужно ли эти значения признать грубыми ошибками, устанавливают критическую границу, так чтобы вероятность того, что крайние значения превысят ее, была бы достаточно малой и соответствовала бы некоторому уровню значимости а. Это правило основано на том, что появление в выборке чрезмерно больших значений хотя и возможно как следствие естественной вариабельности значений, но маловероятно.

      Если  окажется, что какие-то крайние значения совокупности принадлежат ей с очень  малой вероятностью, то такие значения признаются грубыми ошибками и исключаются  из дальнейшего рассмотрения, Выявление  грубых ошибок особенно важно проводить для выборок малых объемов: не будучи исключенными из анализа, они существенно искажают параметры выборки. Для этого используются специальные статистические критерии определения грубых ошибок.

      Существует  несколько методов оценки устойчивости измерений: повторное тестирование; включение в анкету эквивалентных вопросов и разделение выборки на две части.

      Часто интервьюеры в конце опроса частично его повторяют, говоря при этом: “Заканчивая  нашу работу, вновь коротко пройдемся  по вопросам анкеты, чтобы я мог проверить, все ли я правильно записал из ваших ответов”. Конечно речь идет не о повторении всех вопросов, а только критических из их числа. При этом надо помнить, что если интервал времени между тестированием и повторным тестированием слишком короткий, то респондент просто может помнить первоначальные ответы. Если интервал – слишком велик, то могут иметь место некоторые реальные изменения.

      Включение в анкету эквивалентных вопросов предполагает использование в одной  анкете вопросов по той же проблеме, но сформулированных по-другому. Их респондент должен воспринимать как разные вопросы. Главная опасность данного метода заключается в степени эквивалентности вопросов; если это не достигается, то респондент отвечает на разные вопросы.

      Разделение выборки на две части основано на сравнении ответов на вопросы двух групп респондентов. Предполагается, что эти две группы являются идентичными по своей композиции и что средние оценки ответов для этих двух групп являются очень близкими. Все сравнения делаются только на групповой основе, поэтому сравнение внутри группы проводить невозможно.

      Вследствие  данного недостатка этот метод оценки устойчивости измерений является наименее популярным.

      О высокой надежности шкалы можно  говорить лишь в том случае, если повторные измерения при ее помощи одних и тех же объектов дают сходные результаты. Если устойчивость проверяют на одной и той же выборке, то часто оказывается достаточным сделать два последовательных замера с определенным временным интервалом – таким, чтобы этот промежуток не был слишком велик, чтобы сказалось изменение самого объекта, но и не слишком мал, чтобы респондент мог по памяти «подтягивать» данные второго замера к предыдущему (т. е. его протяженность зависит от объекта изучения и колеблется от двух до трех недель).

      Существуют  различные показатели оценки устойчивости измерений. Среди них чаще всего  используется средняя квадратическая ошибка.

      До  сих пор речь шла об абсолютных ошибках, размер которых выражался  в тех же единицах, что и сама измеряемая величина. Это не позволяет сравнивать ошибки измерения разных признаков по разным шкалам. Следовательно, помимо абсолютных, нужны относительные показатели ошибок измерения.

      В качестве показателя для приведения абсолютной ошибки в относительный вид можно использовать максимально возможную ошибку в рассматриваемой шкале, на которую делят среднеарифметические ошибки измерений.

      Однако  зачастую этот показатель «плохо работает»  из-за того, что шкала не используется на всей ее протяженности. Поэтому более показательными являются относительные ошибки, рассчитанные по фактически используемой части шкалы.

      Для повышения устойчивости измерения  необходимо выяснить различительные возможности  пунктов используемой шкалы, что  предполагает четкую фиксацию респондентами отдельных значений: каждая оценка должна быть строго отделена от соседней. На практике это означает, что в последовательных пробах респонденты четко повторяют свои оценки. Следовательно, высокой различимости делений шкалы должна соответствовать малая ошибка.

      Но  и при малом числе градаций, т. е. при низком уровне различительных возможностей шкалы, может быть низкая устойчивость, и тогда следует  увеличить дробность шкалы. Так  бывает, когда респонденту навязывают категорические ответы «да», «нет», а он предпочел бы менее жесткие оценки. И потому он выбирает в повторных испытаниях иногда «да», иногда «нет»,

      В том случае, если обнаружено смешение градаций, применяют один из двух способов укрупнения шкалы.

      Первый  способ. В итоговом варианте уменьшают дробность шкалы (например, из шкалы в 7 интервалов переходят на шкалу в 3 интервала).

Второй  способ. Для предъявления респонденту  сохраняют прежнюю дробность  шкалы и только при обработке  укрупняют соответствующие ее пункты.

      Второй  способ кажется предпочтительнее, поскольку, как правило, большая дробность шкалы побуждает респондента и к более активной реакции. При обработке данных информацию следует перекодировать в соответствии с проведенным анализом различительной способности исходной шкалы.

      Анализ устойчивости отдельных вопросов шкалы позволяет:

а) выявить  плохо сформулированные вопросы, их неадекватное понимание разными  респондентами;

б) уточнить интерпретацию шкалы, предложенной для оценки того или иного явления, и выявить более оптимальный вариант дробности значения шкалы.

      Обоснованность  измерения. Проверка обоснованности шкалы  предпринимается лишь после того, как установлены достаточные  правильность и устойчивость измерения  исходных данных.

      Обоснованность  данных измерения – это доказательство соответствия между тем, что измерено, и тем, что должно было быть измерено. Некоторые исследователи предпочитают исходить из так называемой наличной обоснованности, т. е. обоснованности в понятиях использованной процедуры. Например, считают, что удовлетворенность товаром– это то свойство, которое содержится в ответах на вопрос: «Удовлетворены ли Вы товаром?». В серьезном маркетинговом исследовании такой сугубо эмпирический подход может оказаться неприемлемым.

      Остановимся на возможных формальных подходах к выяснению уровня обоснованности методики. Их можно разделить на три группы:

1) конструирование  типологии в соответствии с  целями исследования на базе  нескольких признаков;

2) использование  параллельных данных;

3) судейские  процедуры. 

      Первый  вариант нельзя считать полностью формальным методом – это всего лишь некоторая схематизация логических рассуждений, начало процедуры обоснования, которая может быть на этом и закончена, а может быть подкреплена более мощными средствами.

      Второй  вариант требует использования по крайней мере двух источников для выявления одного и того же свойства. Обоснованность определяется степенью согласованности соответствующих данных.

      В последнем случае мы полагаемся на компетентность судей, которым предлагается определить, измеряем ли мы нужное нам свойство или что-то иное.

      Конструированная  типология заключается в использовании  контрольных вопросов, которые в  совокупности с основными дают большее  приближение к содержанию изучаемого свойства, раскрывая различные его  стороны.

      Использование параллельных данных заключается в  разработке двух равноправных приемов  измерения заданного признака. Это  позволяет установить обоснованность методов относительно друг друга, т. е. повысить общую обоснованность путем  сопоставления двух независимых результатов.

Рассмотрим  различные способы использования  этого подхода и прежде всего  – эквивалентные шкалы. Возможны равнозначные выборки признаков  для описания измерения поведения, отношения, ценностной ориентации, т.е. какой-то установки. Эти выборки и образуют параллельные шкалы, обеспечивая параллельную надежность.

      Каждую  шкалу рассматриваем как способ измерения некоторого свойства и  в зависимости от числа параллельных шкал имеем ряд способов измерении. Респондент дает ответы одновременно по всем параллельным шкалам.

      При обработке такого рода данных следует  выяснить два момента: 1) непротиворечивость пунктов отдельной шкалы; 2) согласованность  оценок по разным шкалам.

      Первая  проблема возникает в связи с  тем, что модели ответов не представляют идеальной картины; ответы нередко противоречат друг другу. Поэтому встает вопрос, что принимать за истинное значение оценки респондента на данной шкале.

      Вторая  проблема непосредственно касается сопоставления параллельных данных.

      Рассматриваемый здесь способ предъявления суждений списком дает возможность проанализировать пункты шкалы на непротиворечивость. При использовании упорядоченных  шкал наименований обычно считается, что  пункты, образующие шкалу, взаимно исключают  друг друга и респондент легко найдет тот из них, который ему подходит.

      Изучение  распределений ответов показывает, что респонденты выражают согласие с противоречивыми (с точки зрения исходной гипотезы) суждениями.

Данный  подход повышения надежности шкалы  является весьма сложным. Поэтому его можно рекомендовать лишь при разработке ответственных тестов или методик, предназначенных для массового употребления или панельных исследований.

      Возможна  проверка одного метода на нескольких респондентах. Если метод надежен, то разные респонденты дадут совпадающую информацию, но если их результаты плохо согласуются, то либо измерения ненадежны, либо результаты отдельных респондентов нельзя считать равноценными. В последнем случае надо установить, нельзя ли рассматривать какую-либо группу результатов заслуживающей больщего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение информации любым из рассматриваемых методов.

      Использование параллельных методов измерения  одного и того же свойства сталкивается с целым рядом трудностей.

      Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных критериев для проверки такой гипотезы не существует. Следовательно, необходимо прибегнуть к содержательному (логико-теоретическому) обоснованию того или иного метода.

      Во-вторых, если обнаруживается, что параллельные процедуры измеряют общее свойство (данные существенно не различаются), остается вопрос о теоретическом обосновании применения этих процедур.

      Нельзя  не признать, что сам принцип использования  параллельных процедур оказывается  не формальным, а скорее содержательным принципом, применение которого теоретически обосновать весьма трудно.

      Один  из широко распространенных подходов к установлению обоснованности – это использование так называемых судей, экспертов. Исследователи обращаются к определенной группе людей с просьбой выступить в качестве компетентных лиц. Им предлагают набор признаков, предназначенный для измерения изучаемого объекта, и просят оценить правильность отнесения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого объекта. В качестве набора признаков может выступить список отдельных суждений, характеристики объекта и т. д.

      Процедуры судейства многообразны. В основе их могут лежать методы парных сравнений, ранжирования, последовательных интервалов и т. д.