Мангейм Дж



страница25/123
Дата31.12.2017
Размер6.16 Mb.
ТипКурс лекций
1   ...   21   22   23   24   25   26   27   28   ...   123
ОШИБКА ИЗМЕРЕНИЯ

В результате измерения разным объектам приписываются различные значения на основе оценок, заданных нашими показателями. Дифференциация в оценках может возникать за счет двух основных источников. Первый источник – это величина реального проявления у объектов определенной степени или аспекта интересующего нас свойства. Разные оценки возникают тогда, когда наши измерения действительно улавливают эту дифференциацию. В этом случае измерения отражают реальные различия между понятиями. Другой источник дифференциации значений – та величина, которая относится к самому измерению или к условиям его осуществления, что предопределяет наличие разных значений у разных объектов. В этой ситуации наши измерения не демонстрируют реальных различий между объектами, т. е. таких, которые отражают подлинную дифференциацию понятий, которые мы хотим измерять. Наблюдаемые нами в этом случае различия возникают из-за погрешностей в процедуре измерения.

Если бы наши измерения были совершенны, они бы демонстрировали только различия первого рода. Однако наши измерения крайне редко (если вообще когда-либо) бывают безупречными. Дифференциация значений, приписываемых разным объектам, неизбежно отражает не только реальные различия в степени проявления некоторого понятия, но и “искусственные” различия, обусловленные процессом измерения. Любая дифференциация значений, приписанных реальным объектам, обусловленная чем бы то ни было, кроме действительных различий, относится к ошибкам измерения. Они представляют собой не действительные различия между объектами, а различия, зарегистрированные ошибочно, из-за недочетов процесса измерения.

Грань между истинными вариациями оценок и вариациями, обусловленными ошибкой измерения, подобна различиям между объектами, фиксируемыми невооруженным глазом, и различиями, отмечаемыми лишь при [c.94] разглядывании их отражения в зеркале. В той степени, в какой зеркало искажает образы, оно либо скрадывает различия, которые можно было бы увидеть невооруженным глазом, либо создает впечатление существования различий, которые мы в других условиях не заметили бы. В социальных науках у нас крайне редко появляется возможность наблюдать ключевые понятия непосредственно, и мы вынуждены полагаться на отражение этих понятий с помощью измерительных процедур, аналогичных зеркалу. Соответственно, правильность наших представлений зависит от точности, с которой наши измерения отражают действительность.

Каковы хотя бы некоторые из источников искажения образов, обусловленных нашими измерениями? Необходимо знать ответ на этот вопрос, если хотим контролировать ошибки измерения или распознавать их, когда они присутствуют в наших данных. Мы можем перечислить несколько основных источников ошибок измерения, установив наиболее частые источники различий в оценках, относимых к другим, неистинным различиям в характеристиках, которые мы хотим измерить5.

1. Различия в распределении между объектами других, относительно постоянных характеристик, которые были непреднамеренно выявлены нашими измерениями. Например, для понимания вопросов, предназначенных для измерения политической идеологии, и ответа на них может понадобиться определенный уровень интеллекта. Если это так, ответы на вопросы будут отражать не только политико-идеологические, но и интеллектуальные различия между людьми. В окончательном результате влияние интеллекта и влияние политической идеологии будут перемешаны, и мы не сможем определить различия в оценках, обусловленные идеологическими факторами, и отличить их от различий, обусловленных интеллектуальными факторами. Аналогичным образом другие характеристики наших единиц анализа (такие, как региональное расположение городов, культурные особенности нации или источники документов) могут случайно отразиться в наших измерениях и исказить наше восприятие рассматриваемых понятий. Там, где эти “возмущающие” воздействия можно выявить и измерить, необходимо посмотреть, что произойдет, если поддерживать их значения на постоянном [c.95] уровне: исчезнут, уменьшатся или увеличатся различия в оценках, которые получают объекты по нашим измерениям6.

2. Различия в распределении между объектами временных характеристик, которые отражаются в наших измерениях. Характер ответов на вопросы анкеты может определяться настроением или состоянием здоровья отвечающего. Недавние события в политической жизни города (например, раскрытие случаев коррупции среди должностных лиц) могут создавать временные, но систематические различия в том, как жители этих городов отвечают на вопросы исследования. Большое стихийное бедствие может произвести коренные и вместе с тем временные изменения в статистических данных, на которые мы опираемся при выяснении уровня экономического развития. Обнаруживать и контролировать воздействие таких временных “аномалий” труднее, чем воздействие постоянных характеристик объектов. Единственный способ уберечься от воздействий такого рода – это внимательно относиться к сигналам, предупреждающим о том, что отдельные объекты находятся под влиянием таких преходящих факторов (например, изучать недавние события в политической жизни городов, входящих в нашу выборку, или советовать интервьюерам не проводить интервью с человеком, который в данный момент тяжело болен), и выполнять процедуры, предназначенные для проверки надежности измерений (такие процедуры описываются в разделе данной главы, посвященном надежности).

3. Различия, проявляющиеся при интерпретации измерительного инструмента разными людьми. Это проблема возникает лишь в том случае, когда люди прямо отвечают на вопросы, а не тогда, когда исследователь осуществляет измерения, наблюдая за поведением. Если вопросы сформулированы неоднозначно, то и респонденты дадут им разные интерпретации, которые могут привести к различиям в оценках по измерениям, составленным на основании этих вопросов. Предположим, например, что, изучая поведение на выборах, мы несколько легкомысленно задали вопрос: “Вы принимали участие в последних выборах?” Если кто-либо из интервьюируемых не знает, что на прошлой неделе проводились муниципальные выборы, он может ответить да, так как думает, что вопрос относится к [c.96] последним общенациональным выборам, хотя он и не принимал участия в выборах, которые подразумевались в наших вопросах. Обезопасить себя от этих непредвиденных различий в оценках наших измерений можно с помощью предварительных вопросов (см. гл. 6) и проверки измерений на надежность.

4. Различия в условиях проведения измерения. Этот источник ошибок измерения также находится главным образом в исследованиях, результаты которых измеряются с помощью ответов на вопросы. Например, в ходе выборочного исследования надежно установлено, что на характер ответов могут оказывать влияние раса, пол и возраст интервьюера. Ответы (а следовательно, и оценки на шкалах) могут варьироваться от интервью к интервью в зависимости от характеристик самого интервьюера. Сходные проблемы могут возникнуть не только в ходе выборочного исследования. Например, мы можем ошибочно осуществить контент-анализ передачи последних известий, предназначенных для внутреннего вещания, и передачи последних известий, предназначенных для зарубежного вещания. Мы в таком случае будем применять один и тот же инструмент в совершенно разных условиях и на основе одного этого факта вправе ожидать появления различий в оценках. Избежать ошибки измерения такого рода можно одним способом – прилагать все усилия к тому, чтобы ситуации, в которых осуществляются измерения, были стандартизованы.

5. Различия в процессе применения измерительных инструментов. Приписываемые объектам оценки могут различаться в результате разнообразных ошибок, возникающих при сборе и записи информации. Интервьюеры могут неверно понять инструкции и задавать вопросы не так, как предполагал исследователь. Плохое освещение может оказаться причиной того, что респондент неправильно отметит пункты анкеты. В самый ответственный момент карандаш может сломаться, а в авторучке кончиться чернила, так что наблюдатели не сумеют зафиксировать ключевые для группового взаимодействия события. Из-за усталости кодировщик может изменить или проигнорировать инструкции по кодированию единиц в контент-анализе. Все эти типы отклонений в процессе применения измерительных инструментов приводят к [c.97] различиям в оценках вне зависимости от каких бы то ни было различий в реальных значениях исследуемой переменной. Основной способ борьбы с ошибками измерения (помимо привлечения к работе надежных ассистентов) – предварительная проверка инструментов измерения. Пробный прогон поможет вскрыть потенциальные “технические” проблемы, возникающие при применении данного инструмента (такие, как недостаток места в кодовой форме для записи типовых ответов), и человеческие факторы, которые могут сказаться на результатах (например, время, в течение которого наблюдатели могут работать не утомляясь).

6. Различия в обработке и анализе данных. Прежде чем информация может быть проанализирована, она должна подвергнуться тщательной обработке. Часто информация по нескольку раз меняет форму. Например, интервьюеры могут зафиксировать ответы на вопрос, записав каждое слово, сказанное интервьюируемым. Впоследствии, при кодировке ответов, эти письменные фрагменты могут сокращаться, превращаясь в одну-единственную цифру. Эта цифра может быть зафиксирована в битах магнитного диска или магнитной ленты. На каждом из этих этапов анализ данных становится все проще, однако с каждым следующим этапом увеличивается возможность ошибок, в результате которых объекты начинают различаться по некоторой переменной, в то время как на самом деле они не различаются. Возможность таких ошибок приводит к необходимости дважды и трижды проверять данные при каждом преобразовании и сохранять исходную форму для последующей проверки.

7. Различия в характере реакции индивидуумов на форму измерительных инструментов. Эта проблема приобретает важное значение тогда, когда объектами анализа являются люди. Измерительные инструменты могут выступать в самых разнообразных формах – это и устные интервью, и анкеты, которые должен заполнить опрашиваемый, и наблюдение подготовленного исследователя. Различные формы предъявляют к людям – объектам исследования разные требования. Интервью, к примеру, требует умения свободно говорить, анкета – читать и писать. Если люди различаются с точки зрения этих способностей, их оценки могут различаться даже тогда, когда люди [c.98] в действительности сходны по той переменной, которая операционализируется. Лучший способ избежать ошибок измерения такого типа – использовать более чем одну форму измерения для операционализации каждого понятия. Мы еще поговорим об этом в разделе данной главы, посвященном валидности.

Все эти факторы могут привести к проникновению в исследование ошибки измерения. Различные ошибки, происходящие из семи перечисленных источников, обычно подразделяются на систематические и случайные. Систематические ошибки – это ошибки, которые возникают из-за путаницы переменных в реальном мире (см. п. 1) или из-за особенностей самого инструмента. Они появляются каждый раз, когда используется данный инструмент, и постоянно сопутствуют объектам и исследованиям, в которых используется одно и то же измерение. Постоянные ошибки делают наши результаты невалидными в том смысле, что различия (или сходства), которые, как представляется, выявляют наши измерения, не есть точные отражения различий, которые мы, по нашему мнению, измеряем. Случайные ошибки проявляются по-разному и обусловлены преходящими характеристиками объектов, ситуационными различиями в применении инструмента, ошибками в проведении измерения и обработке данных и другими факторами. Они делают наши измерения невалидными почти так же, как и систематические ошибки. Кроме того, случайные ошибки делают наши измерения ненадежными в том смысле, что проявление случайных ошибок не дает возможности постоянно получать одни и те же результаты при использовании одного и того же измерения.

Как же избежать столь разрушительного воздействия на наши результаты ошибок измерения, которое превращает наше исследование в бесполезное или ошибочное? Чтобы ответить на этот вопрос, необходимо внимательно обсудить проблемы валидности и надежности. [c.99]



ВАЛИДНОСТЬ

Мы не так уж часто имеем возможность непосредственно измерить понятия, используемые в социологических теориях. Такие понятия, как власть, демократия и представительство, не так просто представить количественно, [c.99] как понятия типа длины и веса. Нам приходится пользоваться показателями, лишь косвенно соответствующими понятиям, которые они представляют. А в таком случае всегда существует опасность, что выбранные показатели будут неадекватно отражать понятия, которые мы хотим с их помощью измерять. Для обозначения степени соответствия измерений понятиям, которые эти измерения должны отражать, используется термин валидность. Интересоваться валидностью измерения – то же самое, что интересоваться, действительно ли с помощью данного измерения мы измеряем то, что предполагали измерять. Обеспечение валидности часто считается основной проблемой, связанной с измерением в социальных науках.

Чтобы быть валидным, измерение должно быть исчерпывающим и полным. Если, например, мы сравниваем качество коммунальных служб в разных городах, у нас может возникнуть искушение считать показателем качества системы образования количество преподавателей в школах. Это – неуместное измерение, поскольку количество работающих в системе школьного образования в значительной степени определяется количеством учащихся и размерами города и может иметь мало общего с качеством образования. Если за показатель качества системы образования принять отношение количества учащихся к количеству учителей, мы получим более уместное измерение, так что различия, вызванные размерами города, уменьшатся или вообще исчезнут. Тем не менее измерение все еще останется недостаточным. Образование – это не только преподаватели. Образование – это также школьные задания, фильмы, книги, учебные пособия и множество других факторов. Рассмотрение каждого из этих факторов в отрыве от остальных может создать неверное впечатление о качестве системы образования. Система школьного образования может иметь в высшей степени благоприятное соотношение учащихся и преподавателей, однако недостаточное количество средств обучения и учебных материалов. Было бы ошибкой утверждать, что эта система школьного образования не отличается от системы с таким же соотношением учащихся и преподавателей и прекрасными средствами обучения и учебными материалами. Если мы стремимся к валидности, мы должны [c.100] попытаться выбрать такие измерения, которые были бы и уместными и полными.

В этой ситуации возникает два вопроса: как осуществить исчерпывающие, полные и уместные измерения и как убедиться в том, что нам удалось это сделать.

Ответ на первый вопрос начинается с процесса операционализации. Мы можем определить валидность как степень, в которой различия оценок измерения отражают только различия в распределении значений переменной, которую мы собираемся измерять. Так как мы, вероятно, никогда не сможем достичь полной и всеобщей валидности, наша цель должна заключаться в выборе измерений, которые были бы минимально чувствительны к воздействию всех иных различий, кроме различий, обусловленных интересующей нас переменной. Для этого необходимо внимательно рассмотреть все процессы, связанные с нашими измерениями, для обнаружения возможных причин различий в оценках. На этом этапе мы должны быть особенно внимательны, чтобы застраховаться от влияния систематических ошибок.

Рассмотрим такой пример. Возможно, нам понадобится измерить, в какой степени граждане разных государств согласны с политикой своих правительств. Мы решаем использовать в качестве показателя согласия или несогласия ответы на ряд специально подготовленных вопросов. Мы считаем, что единственным источником различий в ответах на вопросы являются различия мнений. Однако минутное размышление наводит на мысль о другом возможном источнике вариаций. Если среди исследуемых нами государств есть государства с авторитарным правительством, прибегающим к услугам секретной полиции для подавления инакомыслия и рассматривающим любую критику своей политики как акт государственной измены, граждане этих государств, вполне возможно, побоятся высказывать в интервью несогласие со своим правительством. В этом случае оценки, полученные для нашего измерения, могут по крайней мере в той же степени определяться отношением правительства данного государства к несогласным, в какой – мнением интервьюируемых, Поскольку вероятность ошибки измерения такого рода очень высока, подготовленные вопросы оказываются неподходящей операционализацией. [c.101]

Сходным образом в самом начале процесса исследования мы должны позаботиться о полноте. Если мы хотим измерить относительное влияние различных групп интересов в законодательном собрании штата, можно подумать об использовании в качестве показателя газетных сообщений о выступлениях этих групп перед законодательными комиссиями. Однако следует спросить себя, сводится ли политическое влияние к произнесению клятвенных заверений на публичных заседаниях. Эта деятельность законно считается частью процесса влияния, однако существует так много других средств оказания влияния, что измерение, опирающееся исключительно на произнесение заверений как показатель влияния, оказывается неполным.

Таким образом, получение уместных и относительно полных операционализаций зависит как от хорошего знания объекта нашего исследования, так и от осуществления тщательного логического анализа альтернативных операционализаций. Однако проверить валидность наших измерений для определения того, хороши ли они, можно лишь после того, как собраны данные. Процесс оценки валидности измерений называется валидизацией.

Имеется четыре основных подхода к валидизации. Первый часто называется прагматической валидизацией, поскольку валидность измерения оценивается на основе данных о том, насколько хорошо оно позволяет предсказывать поступки и события. Например, мы разрабатываем измерение для определения пригодности кандидатов на общественную должность, с точки зрения избирателей. Некоторый показатель валидности этого измерения можно получить, применив его ко всем кандидатам в сенат США в данном избирательном году и предсказав их шансы быть выбранными на основе сравнительных оценок по шкале привлекательности для избирателей. Чем более успешно мы предскажем результаты выборов для всех кандидатов, тем сильнее наша уверенность в валидности измерения, в том, что оно точно отражает понятие, которое мы имеем в виду. Принято говорить, что измерения, позволяющие предсказать будущие события, обладают прогностической валидностью,

Прагматическая валидизация требует наличия у переменных некоторого альтернативного показателя, [c.102] который, по нашему убеждению, является их валидным отражением. Мы проверяем наши измерения по этому альтернативному показателю, как могли бы проверять точность сообщения о возрасте по свидетельству о рождении. К сожалению, для понятий, используемых в социологических исследованиях, редко встречаются явно валидные альтернативные показатели. В итоге нам обычно приходится рассчитывать на валидизацию второго типа – конструктную валидизацию.




Каталог: files
files -> Истоки и причины отклоняющегося поведения
files -> №1. Введение в клиническую психологию
files -> Общая характеристика исследования
files -> Клиническая психология
files -> Валявский Андрей Как понять ребенка
files -> К вопросу о формировании специальных компетенций руководителей общеобразовательных учреждений в целях создания внутришкольных межэтнических коммуникаций
files -> Русские глазами французов и французы глазами русских. Стереотипы восприятия


Поделитесь с Вашими друзьями:
1   ...   21   22   23   24   25   26   27   28   ...   123


База данных защищена авторским правом ©znate.ru 2019
обратиться к администрации

    Главная страница