Пара слов о валидности проективных тестов

В комментах к одному из предыдущих постов нам задали вопрос о том, насколько вообще надёжны эти ваши проективные тесты (ТАТы, РАТы и всякие рисовалки). Честно признаюсь, я не ожидал, что там всё настолько печально, и то, что я сейчас напишу, будет новым и неожиданным для меня самого.

Собственно, я решил ограничить выбор источников конкретными количественными исследованиями (и мета-анализами, построенными на результатах таких исследований) и не включать разного рода учебники и книги по проективным методикам, сколь бы авторитетными в профессиональной среде они ни были. Поэтому Венгер сегодня идёт лесом, сосредоточимся на тупом бездуховном количественном анализе.

Давайте сначала рассмотрим ТАТ (тематический апперцептивный тест). Суть его заключается в том, что нужно смотреть на картинки и рассказывать (придумывать) по ним истории.

Первое, что бросается в глаза — это то, что, несмотря на существование количественных интерпретаторов ТАТа, но у нас никто ими не пользуется. На практике специалисты предпочитают руководствоваться своими впечатлениями и клиническим опытом (что бы это ни значило).

Второй проблемой ТАТа является то, что практически все системы его интерпретации имеют низкую надёжность (в обоих смыслах: и как устойчивость к погрешностям измерений, и как внутреннюю согласованность).

Надёжность «свободной интерпретации» вообще невозможно измерить, поскольку это слишком субъективная штука, и показатели будут отличаться от специалиста к специалисту.

Третья (и главная) проблема ТАТа заключается в том, что его результаты не совпадают с результатами, полученными с помощью других методик. Т.е. либо он измеряет что-то другое (но что?), либо измеряет неправильно.

В одном из исследований мозгоправов просили с помощью ТАТа определять, «их клиент» ли испытуемый, или он является здоровым человеком. Результат — 57% «угадываний», примерно как если бы они случайным образом выбирали, кого куда отнести. Для сравнения в случае MMPI этот показатель достигал 88%.

Но, может быть, с другими тестами дела обстоят лучше? Давайте посмотрим на популярную проективку «Рисунок человека». На Западе его используют для оценки интеллектуального развития ребёнка. Но в исследовании, в котором его сравнили с простым и понятным Векслером, было показано, что корреляция — всего 0.27 (это очень мало, можно сказать, ничтожно мало). Т.е., опять же, либо эти тесты измеряют что-то разное, либо один из них врёт, и, скорее всего, это делает проективный тест.

Данных о надёжности использования «Рисунка человека» для диагностики психических заболеваний или исследования личностных особенностей мне найти не удалось.

В исследовании валидности популярного теста «Несуществующее животное» «многие интерпретации, принятые в литературе, не подтвердились» — в частности не была найдена связь между параметрами рисунка и уровнем тревоги, не подтвердилось, что присутствие на рисунке зубов, рогов и когтей связано с агрессией (Венгер, привет!).

Вообще, что интересно, в русскоязычных публикациях вопрос валидности проективных методик практически не поднимается. А результаты тех исследований, которые есть, отличаются от тех, которые представлены в западных мета-анализах.

Лично у меня есть множество вопросов к дизайну таких отечественных исследований. Так, например, ВАЛЯВКО С. М. С соавторами для оценки валидности теста Вартегга используют другие проективные методики (в т.ч. «Несуществующее животное», о котором речь шла выше). Да и к статистической обработке у меня есть некоторые вопросы (в частности, к гипотезе о нормальном характере распределения исходных данных).

Тут вообще нужно сказать о том, что данных по оценке валидности проективных тестов достаточно мало. И это понятно, т.к. многие из них допускают очень широкий спектр интерпретаций, и не совсем понятно, что они, в конце концов, должны измерять.

Вот, например, Шкала депрессии Бека (которая не является проективным тестом) проста и понятна: есть итоговый балл, который считается по заранее заданному алгоритму (не допускающему различий в интерпретации и подсчёте), на выходе у нас циферка, чем она больше, тем сильнее депрессия. Всё просто и понятно, легко сравнить как с другими шкалами, так и с клиническими наблюдениями.

А что измеряет «Несуществующее животное»? У того же Венгера — куча совершенно разных предположений на основе примеров, приведённых в качестве учебного материала, — там и диагностика психических заболеваний, и выявление личностных особенностей, и определение уровня агрессии и много всякого другого.

Даже Хиббард, который критикует Лилиенфелда (это автор одного из самых цитируемых мета-анализов по валидности проективных тестов, №1 в нашем сегодняшнем списке литературы), признаёт, что у него нет данных, которые могли бы доказать валидность ТАТа, «Рисунка человека» и Роршаха. Нужно больше исследований.

В общем, резюмируя, вынужден признать, что на сегодня нет каких-то весомых подтверждений того, что проективные тесты обладают приемлемым уровнем валидности (хотя отдельные исследования показывают, что это так, но там, как правило, с дизайном не всё хорошо — то выборка маленькая, то критерии оценки мутные, то ещё что).

Я благодарен читателю, задавшему вопрос о валидности и надёжности проективных методик за то, что он сподвиг меня выйти из уютненького мирка отечественных учебников и посмотреть на то, как обстоят дела на самом деле. В который раз убеждаюсь, что верить учебникам можно далеко не всегда, и лучше самому всё перепроверять.

P.s.: Буду рад, если кто-то из читателей предоставит опровергающую информацию, т.к. я не исключаю того, что она есть, просто я её не нашёл.

Что почитать:

1. Lilienfeld, S. O., Wood, J. M., & Garb, H. N. (2000). The scientific status of projective techniques. Psychological Science in the Public Interest, 1(2), 27-66.

2. Wildman, R.W., & Wildman, R.W. II. (1975). An investigation into the comparative validity of several diagnostic tests and test batteries. Journal of Clinical Psychology, 31, 455-458

3. Jenkins, S. R. (2008). Introduction: Why «score» TATs, anyway?. In S. R. Jenkins & (Eds.), A handbook of clinical scoring systems for the Thematic Apperception Test. New York, NY: Taylor and Francis Group.

4. Imuta, Kana; et al. (2013). «Drawing a Close to the Use of Human Figure Drawings as a Projective Measure of Intelligence». PLOS ONE. 8 (3): e58991. doi:10.1371/journal.pone.0058991

5. https://www.ncbi.nlm.nih.gov/pubmed/1556206

6. https://www.ncbi.nlm.nih.gov/pubmed/23516590

7. http://arthurjensen.net/wp-content/uploads/2014/06/The-Reliability-of-Projective-Techniques-Review-of-the-Literature-1959-by-Arthur-Robert-Jensen.pdf

8. Щербатых Ю.В. ПРОВЕРКА ВАЛИДНОСТИ ПРОЕКТИВНОГО ТЕСТА НА АГРЕССИЮ (НА ПРИМЕРЕ ТЕСТА «РИСУНОК НЕСУЩЕСТВУЮЩЕГО ЖИВОТНОГО»). Социосфера. Номер: 1 Год: 2017 Страницы: 111-116.

9. http://psyjournals.ru/files/72911/exp_2014_n4_Valyavko.pdf

10. A Critique of Lilienfeld et al.’s (2000) «The Scientific Status of Projective Techniques». Stephen Hibbard. Journal of Personality Assessment Vol. 80 , Iss. 3,2003

11. Mihura, J. L., Meyer, G. J., Dumitrascu, N., & Bombel, G. (2013). The validity of individual Rorschach variables: Systematic reviews and meta-analyses of the comprehensive system. Psychological Bulletin, 139(3), 548-605. http://dx.doi.org/10.1037/a0029406