Когда мы говорим о валидности измерения, нас интересует, насколько точно значения, получаемые с помощью этого измерения, соответствуют истинным значениям измеряемой переменной. Когда мы говорим о надежности измерения, нас интересует устойчивость получаемых с его помощью значений. Можем ли мы, применяя измерение несколько раз, получить для любого данного объекта одно и то же значение или же в результате разных подходов одним и тем же объектам приписываются разные значения? Если при неоднократном применении некоторого измерения один и тот же объект не получает одного и того же значения, это измерение является ненадежным показателем соответствующего понятия. Чтобы гарантировать надежность линеек, их изготавливают из нерастяжимого материала. Если бы линейки изготовляли из растяжимых материалов, они вполне могли бы [c.110] показывать разную длину одного и того же объекта (даже в том случае, если его длина на самом деле не изменилась) просто потому, что линейка растягивается и сжимается.

Измерение может быть вполне надежным и все-таки невалидным. Вспомним приводившееся в качестве примера исследование того, в какой степени люди в разных государствах одобряют политику своего правительства. Мы говорили, что вопросы, задаваемые в ходе обследования, могут привести к невалидным измерениям, поскольку в авторитарных странах люди боятся говорить правду о том, что они думают. Так как данный фактор обусловливает скорее систематическую, чем случайную ошибку, вопросы могли бы давать весьма устойчивые результаты. Вне зависимости от того, сколько раз их спрашивают, люди могли бы отвечать одно и то же. Это, однако, не делает измерение валидным.

Таким образом, измерение может быть надежным, не будучи валидным, но не может быть валидным, не будучи надежным. В то время как валидность уязвима и со стороны систематической, и со стороны случайной ошибки, надежность подвергается опасности лишь со стороны последней. Это означает, что, если в предшествующих исследованиях измерение было убедительно валидизировано, мы можем использовать его, не беспокоясь о его надежности: [c.111] если измерение валидно, оно должно быть надежно. Однако, продемонстрировав надежность, мы не гарантируем валидность.

В социальных науках часто бывает довольно сложно определить, надежно ли предлагаемое нами измерение. Это происходит потому, что истинное значение переменных, с которыми мы имеем дело, может коренным образом изменяться с течением времени и под давлением обстоятельств: люди меняют свое мнение под влиянием опыта; государства начинают по-иному распределять ресурсы между социальными службами и ведомствами оборонного характера в ответ на возникновение военной угрозы и т. п. Когда реальные значения так или иначе изменяются, трудно бывает отличить результаты воздействия случайных ошибок измерения от действительных колебаний в рамках измеряемых понятий. Это означает, что тесты на надежность следует проводить через максимально короткие промежутки времени.

В социальных науках имеется три типа методов установления надежности измерений. Первый – это метод неоднократного тестирования. В этом случае одно и то же измерение снова и снова применяется в отношении одного и того же набора объектов. Если объекты всякий раз получают одну и ту же оценку, измерение считается надежным. Трудности с данным методом возникают в том случае, когда измерение связано с интервьюированием людей (в отличие от измерения характеристик неодушевленных объектов или осуществления скрытого наблюдения за людьми). Если мы повторяем вопросы через короткий промежуток времени, интервьюируемые могут помнить данные ими ранее ответы и, стараясь быть последовательными, будут повторять эти ответы, вместо того чтобы правдиво отвечать на поставленный вопрос. Если возникает [c.112] такая ситуация, мы оказываемся не в состоянии правильно оценить надежность вопросов как показателя для данного понятия. Пытаясь избежать такого тест-эффекта, мы могли бы приступить к повторному опросу лишь по прошествии значительного промежутка времени. Однако в этом случае мы столкнемся с другой проблемой: с течением времени истинные значения переменной могли измениться, и мы можем оказаться не в состоянии отличить изменения в оценках, возникающие из-за ненадежности измерения, от действительных изменений переменной.

Указанная проблема привела к созданию другого теста на надежность – метода альтернативной формы. В соответствии с этим методом в один и тот же момент разные формы измерения применяются к одной и той же группе объектов либо одно и то же измерение применяется к разным группам объектов. В этом случае тест-эффект невозможен, поскольку ни один объект не измеряется более одного раза, а так как измерения не отделены друг от друга никакими временными интервалами, на результатах измерений не могут сказаться реальные изменения исследуемых переменных. Однако успех этой стратегии зависит от того, насколько хорошо сопоставимы друг с другом альтернативные формы измерения как измерения данного понятия, и от того, действительно ли две группы эквивалентны с точки зрения дистрибуции измеряемой переменной. Если у нас есть основания полагать, что эти условия выполняются, то, чем более близки оценки по двум измерениям или по двум группам, тем более мы можем быть уверены в надежности измерения. Однако если в нашем распоряжении нет сравнимых измерений или групп, мы не можем использовать данный метод должным образом.

Наконец, последний способ тестирования надежности измерения известен под названием метода подвыборки. Этот метод заключается в том, что, сформировав выборку из объектов, мы делим ее на несколько подвыборок таким образом, чтобы все они были похожи друг на друга. Затем мы применяем одно и то же измерение ко всем подвыборкам и используем сходство или различие результатов для подвыборок как показатель надежности измерения. Поскольку мы используем одно и то же измерение, у нас нет [c.113] необходимости заботиться о сопоставимости, как в случае метода альтернативной формы; а так как для обеспечения эквивалентности подвыборок мы можем опираться на теорию выборки, нам не приходится беспокоиться о том, что выбранные для измерения группы окажутся недостаточно однородными. Так как ни один объект не измеряется дважды, мы можем не считать тест-эффект угрожающим точности нашего теста на надежность; а поскольку [c.114] измерения осуществляются одновременно, реальные изменения переменной не могут иметь значения для данного метода, как это происходит в случае метода неоднократного тестирования. Однако возможность использования метода подвыборки определяется тем, в состоянии ли мы получить такую большую выборку, что, разделив ее на части, мы будем располагать подвыборками, достаточными для того, чтобы применяемые нами статистические тесты были осмысленными. Это не всегда возможно и может послужить препятствием для использования метода подвыборки при проверке надежности.

Для интерпретации результатов каждого из этих тестов на надежность имеется множество статистических процедур⁸.

Вне зависимости от того, какой тест на надежность мы предпочли использовать, надежность измерений важно установить до того, как будет начато исследование. Это требует предварительного тестирования измерения посредством сбора данных, предназначенных исключительно для оценки инструментов, которые будут использоваться в самом исследовании. Если нам не удастся это сделать, то может оказаться, что наши измерения ключевых переменных ненадежны (и поэтому невалидны), и выясниться это может лишь после того, как исследование завершено. А это означает, что мы не сможем доверять [c.115] результатам исследования и что наши усилия были полностью или частично потрачены впустую. Предварительное тестирование солидности и надежности измерения должно быть составной частью любого исследовательского проекта, если в нем используются измерения, которые не были где-нибудь убедительно валидизированы, или если этот проект полагается на измерения, которые были валидизированы только в условиях, очень сильно отличающихся от тех, в которых они будут использоваться. [c.116]

Далее:
Заключение

К оглавлению