Психолого-математическое обоснование и разработка способа повышения прогностичности компьютеризированных психодиагностических процедур в сфере профессионального отбора

Вид материала

Содержание

Подобный материал:

Министерство образования и науки
Российской Федерации

Всероссийский научно-исследовательский
институт технической эстетики

На правах рукописи

ВОРОБЬЕВ Андрей Викторович

ПСИХОЛОГО-МАТЕМАТИЧЕСКОЕ ОБОСНОВАНИЕ
И РАЗРАБОТКА СПОСОБА ПОВЫШЕНИЯ ПРОГНОСТИЧНОСТИ КОМПЬЮТЕРИЗИРОВАННЫХ ПСИХОДИАГНОСТИЧЕСКИХ ПРОЦЕДУР
В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОТБОРА

Специальность 19.00.03 – психология труда,

инженерная психология, эргономика

Автореферат

диссертации на соискание ученой степени

кандидата психологических наук

Москва - 2008

Работа выполнена в 178 Научно-практическом центре Генерального штаба Вооружённых Сил Российской Федерации и Всероссийском научно-исследовательском институте технической эстетики.

Научный руководитель: доктор психологических наук, профессор

Зараковский Георгий Михайлович.

Официальные оппоненты: доктор психологических наук, профессор

Глушко Алексей Николаевич

кандидат технических наук

Сугоняев Константин Владимирович

Ведущая организация: Московский государственный университет им. М.В.Ломоносова, факультет психологии

Защита диссертации состоится 17 октября 2008 г. в 13 часов на заседании Диссертационного совета Д 217.003.01 при Всероссийском научно-исследовательском институте технической эстетики по адресу: 129223, Москва, ВВЦ РФ, корп. 312.

С диссертацией можно ознакомиться в библиотеке ВНИИТЭ.

Автореферат разослан 16 сентября 2008 г.

Ученый секретарь

диссертационного совета М.М. Калиничева

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования:

Актуальность диссертации обусловлена, во-первых, значительным увеличением востребованности такой сферы прикладной психологии, как профессиональный отбор, во-вторых, широким внедрением в практику психодиагностики новых информационных технологий. В результате возник ряд проблем, требующих проведения научных исследований. Одна из них – поиски путей повышение прогностичности психодиагностических процедур как важнейшего этапа в технологии прогнозирования профессиональной пригодности человека по психологическим критериям (Бодров В.А., 2006).

Особо остро эта проблема стоит в Вооруженных Силах Российской Федерации, поскольку переход комплектования войск личным составом на контрактную основу в сочетании с призывом, при сокращении сроков службы по призыву, требует повышения качества прогнозов. Поэтому исследование было проведено на базе того сегмента сферы профессионального отбора, который относится к военной службе.

В последние годы в направлении повышения прогностичности психодиагностических процедур выполнен ряд работ, часть из них реализована в Вооруженных Силах. Это новые, более эффективные опросники – "Адаптивность" (Маклаков А.Г., Чермянин С.В.), ИТО+ (Сугоняев К.В., Иноземцев И.О.), опросник военно-профессиональной пригодности (ВПП) (Зараковский Г.М., Чунаева И.Н.), переведённые на русский язык и адаптированные к нашим условиям – тест "Ассертивность" (Львов В.М.), пятифакторный опросник (Шмелёв А.Г.).

Кроме этого разрабатываются новые методики обработки психодиагностических данных. А.А.Биркин предлагает так называемый «двухмерный» подход (Биркин А.А., 2004), в котором в дополнение к существующим методам обработки в качестве второго измерения включён показатель степени связи признаков, полученный на основе рангового корреляционного анализа. В.А. Жильцов (Жильцов В.А., 2000) предложил математическую процедуру двухкоординатной методики определения профессиональной пригодности, которая после усовершенствования П.П. Чуприной используется для проведения профессионального психологического отбора в Вооруженных Силах Российской Федерации.

Тем не менее, анализ опыта проводимых в Вооруженных Силах мероприятий по профессиональному психологическому отбору показывает, что развитие методик психодиагностической категоризации, применяемых для построения прогноза профессиональной успешности на основе психодиагностических данных, отстаёт от темпов развития тестовых методик, огромный потенциал математического аппарата остался еще не освоенным. Это объясняется тем, что развитие и распространение компьютерной техники значительно опередило научно-теоретические разработки в данной области.

Создавшееся положение можно исправить путем применения более совершенного математического обеспечения, учитывающего психологические аспекты психодиагностического процесса, базирующегося на положениях теории вероятности и теории распознавания образов. Есть основания считать, что использование подобного математического аппарата способно существенно повысить эффективность прогноза пригодности к овладению определённой профессии.

Таким образом, недостаточная теоретическая разработанность проблемы психолого-математического обеспечения психодиагностики в сфере профессионального отбора и практическая значимость разработки нового способа повышения прогностичности психодиагностических процедур, обусловили выбор темы диссертационного исследования, определили его объект, предмет, цель и задачи.

Объект исследования: компьютеризированные психодиагностические процедуры, предназначенные для сферы профессионального отбора (на примере профессионального отбора в Вооруженных Силах России).

Предмет исследования: психологические, математические и компьютерно-технологические аспекты психодиагностических процедур.

Гипотеза исследования: на основе использования результатов теоретического анализа специфики психологических, математических и компьютерно-технологических аспектов психодиагностических процедур возможно создание способа повышения их прогностичности.

Цель исследования: выявить специфику психологических аспектов психодиагностических процедур, используемых в сфере профессионального отбора, и на этой базе, с учетом возможностей и ограничений существующих математических аппаратов и компьютерных технологий, обосновать и разработать способ повышения прогностичности компьютеризованных психодиагностических процедур.

Задачи исследования:

Выполнить анализ психологических факторов, на основе которых возможно повышение прогностичности профессионального психологического отбора.
Осуществить анализ возможностей компьютеризации психодиагностических процедур.
Провести системный анализ психологических и математических аспектов психодиагностических процедур в сфере профессионального психологического отбора.
Проанализировать опыт использования различных математических процедур как инструмента психологической диагностики.
Разработать способ повышения прогностичности компьютеризированных психодиагностических процедур.
Разработать методику категоризации (распределения обследуемых лиц по группам пригодности), представляющей собой реализацию способа повышения прогностичности компьютеризированных психодиагностических процедур.
Провести экспериментальную проверку эффективности разработанной методики категоризации.
Разработать рекомендации по практическому использованию разработанного способа повышения прогностичности компьютеризированных психодиагностических процедур, реализованного в виде конкретной методики категоризации.

Методологическую основу исследования составили:

- системная парадигма эргономики, согласно которой оптимизация любой трудовой деятельности должна включать, с одной стороны, приспособление техники к человеку, а с другой стороны, приспособление человека к этой технике, в том числе путем психологического отбора для работы с ней лиц, обладающих определенными психологическими качествами (Зараковский Г.М., Королев Б.А., Медведев В.И., Шлаен П.Я., 1974; Мунипов В.М., Зинченко В.П., 2001),

- совокупность методологических принципов современной психологии, в том числе, определяющих соотношение качественной и количественной стороны психологического знания (Крылов В. Ю., 1990, Савченко Т.Н. 2002, 2006), деятельностный и системный подходы к решению научных и прикладных проблем (Корнилова Т.В., Смирнов С.Д., 2006);

положения теории вероятностей (Вентцель Е.С., 2003) и теории распознавания образов (Горелик А. Л., 1989).

Методы исследования:

приёмы теоретического анализа и обобщения;
методы статистического исследования эмпирических данных;
методы постановки вычислительных экспериментов с использованием компьютерных технологий.

Научная обоснованность и достоверность выводов исследования обеспечена применением адекватных предмету и цели исследования методов теоретического анализа, результатами математического эксперимента с использованием большой эмпирической выборки (3047 обследуемых).

Научная новизна и теоретическая значимость диссертационной работы состоит в следующем:

Получены эмпирические подтверждения гипотезы о возможности разработки способа повышения прогностичности компьютеризированных психодиагностических процедур в сфере профессионального отбора на основе использования результатов теоретического анализа психологических, математических и компьютерно-технологических аспектов этих процедур.

Специфическими психологическими аспектами, которые легли в основу разработки предлагаемого способа, явились следующие:

вероятностная природа зависимостей психологических качеств индивида от результатов психодиагностического обследования, сложный характер которых требует применение таких методик обработки данных, которые способны учесть данные особенности;
более значимое проявление психологических качеств индивида в результатах реагирования на каждый стимул теста, чем в результатах, отражаемых обобщенными показателями (шкалами теста);
неоднозначность определения степени успешности профессиональной деятельности индивида через его психологические качества (за счёт применения различных операциональных алгоритмов, использования компенсаторных функций, выработки индивидуальных стилей деятельности и т.д.).

Следствием из названных психологических особенностей диагностических процедур явились следующие принципы построения нами более эффективной психодиагностической процедуры:

использование данных по всем единичным показателям (первичной психодиагностической информации, получаемой в виде ответа на каждый вопрос теста) непосредственно для определения успешности профессиональной деятельности индивида;
формирование образов эталонных групп, психологически адекватных группам специалистов, различающихся по военно-профессиональной успешности, в виде, максимально приближенном к виду первичной психодиагностической информации, получаемой путем проведения обучающего (пилотажного) эксперимента с выборкой из актуального контингента лиц;
применение в качестве методики категоризации математического алгоритма, способного наилучшим образом учесть специфику психодиагностической информации.

В результате, на основе названных психологических принципов, а также на базе положений теории вероятности и теории распознавания образов, с учетом особенностей современных компьютерных технологий, разработан способ повышения прогностичности компьютеризированных психодиагностических процедур, оформленный в виде "Методики многомерной категоризации на основе эмпирических средних".

Практическая значимость исследования:

Разработанный способ повышения прогностичности компьютеризированных психодиагностических процедур с использованием математической методики многомерной категоризации на основе эмпирических средних может быть использован в ходе совершенствования специального программного обеспечения штатных программно-технических комплексов профессионального психологического отбора Вооруженных Сил Российской Федерации.
Предлагаемый способ повышения прогностичности компьютеризированных психодиагностических процедур может быть непосредственно использован в качестве математического аппарата методического обеспечения мероприятий по профессиональному психологическому отбору в межвидовых региональных учебных центрах Минобороны России.
Способ повышения прогностичности компьютеризированных психодиагностических процедур может быть распространен на любые специальности и их группы, учитывая при этом особенности конкретных условий профессиональной деятельности.
Использование предлагаемой методики многомерной категоризации на основе эмпирических средних в качестве математической процедуры для обработки психодиагностических данных, полученных в результате тестирования, позволяет повысить точность и достоверность оценки степени выраженности различных психологических свойств личности, что в конечном итоге может существенно повысить эффективность психодиагностической практики.

Сведения о практическом использовании результатов исследования.

Результаты исследования использованы:

в ходе опытно-конструкторской работы "Разработка унифицированных программно-технических комплексов второго поколения для профессионального психологического отбора военных специалистов" (г. Москва, 2002-2005 г.г.);
в процессе разработки Комплекса программ автоматизации профессионального отбора военных специалистов "Отбор-В" (г. Москва, 2006-2008 г.г.).

Положения, выносимые на защиту:

Специфика психологических аспектов психодиагностических процедур, используемых в сфере профессионального отбора, состоит в том, что в силу своей вероятностной природы и сложного характера зависимостей психологические качества индивида проявляются более значимо в результатах реагирования на каждый стимул теста, чем в результатах, отражаемых обобщенными показателями (шкалами теста).
Обоснован и разработан способ повышения прогностичности компьютеризованных психодиагностических процедур в сфере профессионального психологического отбора, основанный на использовании математического аппарата распознавания образов и учитывающий специфику психологической информации, отличительной особенностью которого является использование первичных данных тестирования или обследования и применение решающего правила определения степени близости свойств индивида эмпирически установленным образам эталонных групп, психологически адекватных группам специалистов, различающихся по военно-профессиональной успешности.
Разработанный способ реализован в виде математической процедуры «Методика многомерной категоризации на основе эмпирических средних». Применение методики может существенно повысить прогностичность психодиагностических процедур в сфере профессионального отбора (вероятность правильного прогноза достигает 0,8 и выше).
Процедура «Методика многомерной категоризации на основе эмпирических средних» может быть использована в любых сегментах сферы профессионального психологического отбора.

Апробация работы:

Материалы диссертационного исследования докладывались и обсуждались:

на заседаниях научного совета 178 Научно-практического центра (разработки теории и методов военно-профессиональной ориентации и отбора на военную службу) Генерального штаба Вооруженных Сил Российской Федерации (г. Москва, 2002-2008 г.г.);
на научно-практической конференции "Использование новейших информационных технологий в мероприятиях по профессиональному психологическому отбору в Вооруженных Силах Российской Федерации" (г. Москва, 2002 г.);
на 3-ей Международной конференции "Психология и эргономика. Единство теории и практики" (г.г. Москва, Тверь, 2003 г.).

Структура и объем диссертации:

Диссертация состоит из введения, четырёх глав, заключения, списка литературы и трёх приложений. Объем основного текста составил 121 страницу. Содержание текста проиллюстрировано 5 рисунками и 14 таблицами. Библиография насчитывает 185 источников.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во Введении обосновывается актуальность работы, определяется методологическая основа, указываются объект и предмет исследования, формулируются цель, задачи и гипотезы исследования. Раскрывается научная новизна работы, ее теоретическая и практическая значимость, формулируются положения, выносимые на защиту.

В первой главе проводится анализ различных психологических факторов профессионального психологического отбора (ППО) с целью определения основных направлений повышения его прогностичности (прогностической валидности), под которой понимается информация о том, с какой степенью точности и обоснованности методика (тест) позволяет судить о диагностируемом психологическом качестве спустя определённое время после измерения (Л.Ф.Бурлачук, С.М.Морозов, 1999).

В качестве психологических факторов повышения прогностичности ППО рассматриваются психологические характеристики основных участников мероприятий (лица, проводящего обследование, и самого обследуемого) и используемых при этом технологий и средств, на основе знания которых может быть повышена прогностичность.

Анализ психологических факторов повышения прогностичности ППО за счет совершенствования деятельности лица, проводящего обследование, показал, что основным направлением развития данного подхода является значительное усиление роли экспериментатора, что отражает сущность клинического подхода, особенностью которого является доверие к «субъективному суждению» (А.Анастази, 1982). К этому направлению принадлежит широко известный в США и Западной Европе метод «assessment-center», на основе которого постоянно разрабатываются новые методики (например, комплексная технология психолого-управленческой оценки, С.К.Сергиенко, 1999).

Кроме того, изучается «профессиональный менталитет» психологов (например, Караяни А.Г., Сыромятников И.В., 2006, М.Т. Сизова, 1999). Основными психологическими характеристиками лица, проводящего обследование, значимыми для прогностичности ППО, являются: уровень мотивации на выполнение своих профессиональных обязанностей, профессиональная компетентность, в том числе – способность к аналитическому восприятию обследуемого лица, к его пониманию его психического состояния, способность абстрагироваться от личного эмоционального отношения к обследуемому лицу, сохранять выдержку в конфликтных ситуациях. В значительной мере названые условия зависят от профессиональной подготовки психолога как специалиста по ППО. Влияют, естественно, и другие факторы, анализ которых выходит за пределы задач психологии как науки. Кроме того, в условиях проведения массовых обследований при необходимости соблюдения требований к единообразию вынесения заключения о профессиональной пригодности (что характерно, например, для современных Вооруженных Сил), невозможно использование методов, требующих большую степень вовлечённости эксперта, что значительно ограничивает возможности повышения прогностичности ППО за счёт совершенствования деятельности лица, проводящего обследования.

Анализ психологических факторов повышения прогностичности ППО за счет повышения качества деятельности обследуемого лица в процессе его изучения выявил следующее:

Во-первых, ответ обследуемого представляет собой следствие многих внешних и внутренних психологических причин, многие из которых не связаны с изучаемым свойством личности, но оказывают на результат теста значительное влияние даже при соблюдении всех необходимых организационных требований к проведению психодиагностической процедуры (А. Анастази, 1982, П. Клайн, 1994, А.Г. Шмелев, В.И. Похилько, 1985, Edwards, 1957, Nunnally, 1978, Berg, 1967).

Во-вторых, изучаемое свойство личности выступает в качестве только одной из многих причин, влияющих на ответ обследуемого, ее связь с ответом всегда будет не детерминистическая, а статистическая (Goldberg, 1963; Nowakowska, 1975; Fiske, 1971, Sanocki, 1978).

В-третьих, связь между прогнозом поведения обследуемого, полученного по результатам тестирования, и его поведением в реальной ситуации также имеет статистическую, а не детерминистическую природу, причём прогноз тем лучше, чем психологически адекватнее в психодиагностической процедуре воссоздана реальная ситуация (А. Анастази, 1982, Бурлачук Л. Ф., 2006, Кулагин Б. В., 1984).

В-четвёртых, имеются теоретические основания для выдвижения гипотезы о том, что изучаемое свойство личности находится в статистической связи не только с вопросами теста, входящими в соответствующую шкалу, но и с другими вопросами теста (А. Анастази, 1982, Биркин А.А., 2004, Кулагин Б. В., 1984).

Выявленные аспекты позволяют нам сделать вывод о том, что направление повышения прогностичности ППО за счет факторов, непосредственно воздействующих на обследуемое лицо во время тестирования, нельзя считать перспективным. В то же время необходимо отметить, что выявленные аспекты говорят о большом информационном потенциале, заключённом в первичных психодиагностических данных, который можно более полно раскрыть на последующих этапах психодиагностической процедуры.

Анализ психологических факторов повышения прогностичности ППО за счет совершенствования методов показал, что в последние годы большое внимание уделяется изысканием новых способов получения первичных данных. К ним, например, относятся: инструментально-регистрируемые физиологические характеристики, связанные с эмоциональной устойчивостью (Spielberger Ch., 2000), контент-психологический анализ речи (компьютерная система ВААЛ, разработанная Шалак В.И.), применение акустических характеристик речи (Беловол Е.В., 1999, Чернов Д.Н., Паршуков А.Ю. , 2006). Кроме этого, актуальным является развитие в направлении использования в качестве первичных данных более сложных психологических образований, чем отдельные черты личности. К ним, например, относятся: методика работы с искусственными языками, моделирующая профессиональную деятельность программиста (Орёл Е.А., 2007), методика «Рабочие ситуации сотрудника Военного комиссариата» (Радченко Ю.И., 2007), новые шкалы опросника MMPI (Калашников М.О., 1996).

На основе проведённого анализа делается заключение о целесообразности проведения дальнейшего исследования в направлении поиска новых способов обработки данных компьютеризированных психодиагностических процедур и анализ факторов, связанных с использованием в процессе тестирования вычислительной техники, которая может быть востребована для реализации этих способов.

Во второй главе проводится анализ возможностей и ограничений, накладываемых компьютерными технологиями и подходами к обработке психодиагностической информации, а также опыта их практического использования, на основе чего формулируются основные положения разработки способа повышения прогностичности психодиагностики в системе профессионального отбора.

Анализ учёта психологических факторов при компьютеризации психодиагностических процедур показывает, что современные компьютеризированные методики во многом позволяют улучшить организацию и проведение психодиагностической процедуры.

Во-первых, они помогают создавать единообразные и психологически комфортные психологические условия проведения тестирования, минимизируя негативные воздействия, нередко возникающие в ситуации межличностного взаимодействия между экспериментатором и обследуемым, что, в итоге, является важным психологическим фактором повышения прогностичности ППО за счет совершенствования качества деятельности обследуемого лица в процессе его изучения.

Во-вторых, при проведении обследования экспериментатор освобождается от рутинной, трудоемкой работы, что позволяет использовать дополнительное время для более полного социально-психологического изучения обследуемых, что, в конечном итоге, также повышает точность прогноза. Следовательно, использование компьютеризированных методик является значимым психологическим фактором повышения прогностичности ППО за счет совершенствования деятельности лица, проводящего обследование.

В-третьих, становится возможным образовывать, хранить и дополнять единые банки психодиагностических данных, используемых для получения эмпирически более обоснованных тестовых норм, что повышает надёжность и валидность методики.

В-четвёртых, расширяются возможности как по получению первичных данных за счёт точности и множественности регистрации реакций обследуемого (например, при компьютеризации теппинг-теста), так и по использованию методов обработки данных за счёт применения мощного математико-статистического аппарата анализа данных.

Анализ используемых в психодиагностике математических методов показывает, что необходимый учёт психологических факторов производится, как правило, только на этапе конструирования психодиагностической процедуры. В то время как методика категоризации (решающее правило), являясь непосредственным алгоритмом расчета прогноза успешности профессиональной деятельности, традиционно строится по упрощённой схеме с потерей ценнейшей психодиагностической информации. В связи с этим рассмотрение математических методов производится именно с точки зрения степени учёта психологических факторов, отражающихся психодиагностических данных и способствующих повышению прогностичности ППО.

Формальные алгоритмы математических методов, основанных на критерии автоинформативности (свойстве массива данных в неявном виде хранить информацию об исследуемой характеристике), непосредственно не оперируют обучающей информацией о диагностируемом показателе (данные о внешнем критерии отсутствуют). Тем не менее, эта информация закладывается на самом первом этапе конструирования психодиагностического теста, когда специалист формирует исходное множество признаков, каждый из которых отражает определенные аспекты тестируемого свойства, и в неявном виде всегда присутствует в экспериментальных данных. Наиболее известными методами данной группы являются метод главных компонент и факторный анализ (Дюк В.А., 1994, Налимов В.В., 1971, Александров В.В., 1990, Г. Харман, 1972), которые целесообразны при конструировании психодиагностических тестов, но в связи с отсутствием в их механизме алгоритма сравнения с внешним критерием не могут быть предложены в качестве методики категоризации.

Математические методы другой группы при построении диагностической модели используют не только первичные психодиагностические данные (результаты тестирования), но и оценку успешности профессиональной деятельности (внешний критерий). Наиболее известными методами, основанными на использовании внешнего критерия, являются: дискриминантный анализ (Губерман Т.А., 1983, Мешалкин Л.Д., 1969, Э. Ллойд, У. Ледерман, Айвазян С.А., Тюрин Ю.Н., 1990), типологический метод (Ямпольский Л.Т., 1986, Дюк В.А., 1994), метод сравнения с прототипом (Вапник В.Н., 1974, Горелик А.Л., 1989, Губерман Т.А., 1983). Необходимо отметить некоторые оригинальные подходы, например, процедуру последовательного статистического анализа отношения вероятностей (Бодров В.А., Генкин А.А., 1967, 2006), в которой математическая методика последовательного анализа Вальда (Вальд А., 1960) успешно модифицируется для целей определения профессиональной пригодности. В каждом из этих методов есть механизмы, способные учесть специфику психодиагностических данных, но в то же время ряд особенностей значительно затрудняют их непосредственное применение в качестве методики категоризации, ограничивая область применения, как правило, этапом формирования диагностической модели. Этим объясняется широкое использование в настоящее время в качестве решающего правила регрессионного анализа (Губерман Т.А., 1983, Демиденко Е.3., 1981), при использовании которого прогноз успешности профессиональной деятельности рассматривается как зависимая переменная, выражаемая через множество независимых переменных (обычно значений шкал тестовой методики).

Тем не менее, ряд серьёзных причин (нелинейный характер зависимости психодиагностических данных и внешнего критерия, мультиколлинеарность психодиагностических данных и т.д.) обуславливают необходимость разработки новых подходов. Новые методики обработки психодиагностических данных (например, Жильцов В.А., 2000, Биркин А.А., 2004) только частично решают данную проблему. Так, например, математическая процедура двухкоординатной методики определения профессиональной пригодности, используемая в настоящее время при проведении профессионального психологического отбора граждан, призываемых на военную службу, имеет недостаточно высокую степень прогностической валидности (по выборке из 2230 человек были получены значения коэффициентов корреляции прогноза и внешнего критерия от 0,20 до 0,29, среднее значение – 0,26).

На основе проведённого анализа используемых в психодиагностике математических методов делается заключение о том, что основной проблемой их использования в качестве методики категоризации является недостаточный учёт специфики первичных психодиагностических данных. Для решения данной проблемы предлагается подойти с позиций теории распознавания образов и задействовать ряд механизмов, содержащихся в математических методах, основанных на использовании внешнего критерия.

Анализ опыта повышения прогностичности компьютеризированных психодиагностических процедур в сфере профессионального отбора позволяет сделать вывод о том, что в настоящее время большое внимание уделяется получению первичной и вторичной информации, в то время как методики психодиагностической категоризации ограничиваются сравнением реального профиля, представляющего собой совокупность значений показателей методики, и эталонного, построенного на основе мнений экспертов. Проблема повышения достоверности эталонного профиля решается разными путями: эмпирико-статистическая проверка (А.Г.Шмелев и сотрудники HR-Лаборатории) или использование оригинальной стандартной методики (А.А.Фрумкин и Т.П.Зинченко). Тем не менее, использование показателей методик в качестве системы координат для построения психологического эталона специальности ведёт к дополнительным неоправданным потерям информации, что является недостаточным учётом специфики психодиагностической процедуры. Кроме того, в ходе данного анализа (например, реализации методики СМИЛ, Собчик Л.Н.) находит подтверждение гипотеза о том, что первичные данные по сравнению со вторичными содержат в себе значительно большее количество психодиагностической информации, которую можно выявить с помощью новых методов обработки данных.

На основе проведённого во второй главе анализа делается вывод о том, что к решению задачи повышения прогностичности профотбора путём совершенствования методов обработки психодиагностических данных целесообразно подойти с позиций теории распознавания образов с учётом специфики психологических аспектов психодиагностического процесса; это выражается, во-первых, в более полном использовании первичных психодиагностических данных, во-вторых, в формировании образов эталонных групп, психологически адекватных группам специалистов, различающихся по военно-профессиональной успешности.

В третьей главе описывается процесс разработки способа повышения прогностичности компьютеризированных психодиагностических процедур, включающий в себя построение концептуальной диагностической модели и её реализацию в конкретной методике психодиагностической категоризации – методике многомерной категоризации на основе эмпирических средних. Проводится экспериментальная проверка разработанной методики и уточнение её параметров.

В концептуальной диагностической модели нашли отражение основные положения способа повышения прогностичности компьютеризированных психодиагностических процедур:

С целью получения максимально точного прогноза профессиональной успешности предлагается максимально сохранять психодиагностическую специфику результатов обследования за счёт использования в качестве исходных данных для методики категоризации первичных показателей (ответов обследуемого на вопросы теста), что также позволит повысить статистическую мощность тестовой методики и её надёжность. С этой же целью формирование образов эталонных групп, психологически адекватных группам специалистов, различающихся по военно-профессиональной успешности, проводится также по эмпирическим данным, которые получаются путём обобщения первичных показателей по определённой (выбираемой для конкретной диагностической модели) статистической мере результатов тестирования обследуемых из обучающей выборки, отнесенных по внешнему критерию к данной категории. Для прогнозирования успешности профессиональной деятельности обследуемого используется математическая методика, основанная на одном из методов распознавания образов – методе сравнения с прототипом, в качестве которого используются образы эталонных групп, отражающие совокупности психологических характеристик успешности военно-профессиональной деятельности.

Разработанный способ реализован в виде математической процедуры, сущность которой заключается в следующем:

Методика многомерной категоризации на основе эмпирических средних является методикой психодиагностической категоризации и служит для практической реализации вышеописанного способа повышения прогностичности компьютеризированных психодиагностических процедур при использовании тестов, у которых ответы на вопросы подчиняются ранговому или интервальному шкалированию (предлагающих обследуемому оценить степень проявления какого-то признака). Следовательно, множество таких тестов ограничивает область применение данной методики (например, она не распространяется на тесты, у которых ответы на вопросы подчиняются только номинальному шкалированию). Особенностью методики является использование в качестве статистической меры для объединения результатов тестирования обучающей выборки оценки математического ожидания – арифметические средние, полученные эмпирическим путём.

Экспериментальная проверка разработанной методики осуществлялась на основе результатов психодиагностического исследования военнослужащих, проходящих службу по призыву, по опроснику военно-профессиональной пригодности, разработанному в 178 НПЦ ГШ ВС РФ Г.М. Зараковским и И.Н. Чунаевой с целью получения информации о военно-профессиональной направленности призывника, его личностных особенностях и возможных акцентуациях характера (общий объём выборки – 1534 человека).

Основным результатом экспериментальной проверки явилось подтверждение предположения о том, что методика многомерной категоризации на основе эмпирических средних действительно позволяет повысить прогностичность компьютеризированных психодиагностических процедур, о чём однозначно свидетельствует сравнение полученных результатов с показателями существующих методик психодиагностики: коэффициенты корреляции внешнего критерия и прогноза профессиональной успешности в среднем равны 0,61, в то время, как методика, используемая в настоящее время для отбора военных специалистов, характеризуется более низким показателем – 0,26.

Кроме того, экспериментальная проверка подтвердила гипотезу о способности на основе данной методики формировать образы эталонных групп, психологически адекватных группам специалистов, различающихся по военно-профессиональной успешности (путём обобщения по определённой статистической мере первичных показателей психодиагностических данных обследуемых, отнесенных по внешнему критерию к данной категории). Была выявлена высокая чувствительность методики к степени однородности выборок (по степени сходства профессионально важных качеств), на основе которых формировались образы эталонных групп.

В ходе проведения экспериментальной проверки был проверен и уточнён алгоритм методики: 1) в качестве статистической меры обобщения первичных показателей для тестов, предлагающих обследуемому оценить степень проявления какого-то признака, целесообразно использовать оценку математического ожидания (арифметическое среднее); 2) в качестве метрики при вычислении расстояний между результатами теста данного обследуемого и эмпирическими средними образов эталонных групп целесообразно использовать Евклидово расстояние.

В четвёртой главе на примере четырех межвидовых региональных учебных центров Министерства обороны Российской Федерации приведены результаты апробации способа повышения прогностичности компьютеризированных психодиагностических процедур, реализованного в виде методики многомерной категоризации на основе эмпирических средних. Основное внимание было уделено исследованию возможности применения данного способа в любых сегментах сферы профессионального психологического отбора, в частности, в условиях проведения психодиагностического обследования по тестовым батареям.

Исследования проводились по сформированным батареям психодиагностических тестов, содержащих опросник «ИТО+» и от 3 до 6 методик из следующего списка: "S-тест", "Установление закономерностей", "Перепутанные линии", "Фигуры", "Узоры", "Арифметический счет", "Аналогии", "Вербальная память", "Слуховая память". Сбор внешнего критерия осуществлялся на основе экспертных оценок и объективных показателей успешности профессиональной деятельности (успеваемость по профилирующим дисциплинам и т.д.). Общее количество обследованных составило 1513 человек.

В ходе апробации была осуществлена постановка вычислительного эксперимента по нахождению оптимального сочетания результатов нескольких тестовых методик, в результате чего получен соответствующий алгоритм, позволяющий расширить область применения разработанного способа повышения прогностичности.

Полученные в ходе работы показатели прогностичности (в ходе апробации в качестве показателя прогностичности использовался показатель, применяемый в ППО ВС РФ – относительное количество совпадений прогноза категорий профессиональной пригодности с внешним критерием) имеют высокие значения – в диапазоне от 80 % до 100 % (в среднем – 95 %).

Кроме того, использование разработанного способа позволяет значительно (в среднем – более чем в 2 раза) сократить время проведения обследования за счёт получения из одной методики психодиагностических данных, дублирующих информацию других методик тестовой батареи (которая терялась при применении традиционного математического аппарата). При этом показатель прогностичности превосходил соответствующий показатель существующей методики: 96 % по сравнению с 92 %. Показатель надёжности (по внутренней согласованности) тестовой методики «ИТО+» в случае использования разработанного способа также превышает аналогичный показатель традиционного подхода: 0,94 по сравнению с 0,62.

Полученные результаты демонстрирует высокую эффективность практического применения предлагаемого способа повышения прогностичности компьютеризированных психодиагностических процедур в системе профессионального отбора.

Разработаны рекомендации по практическому использованию способа повышения прогностичности компьютеризированных психодиагностических процедур, реализованного в виде методики многомерной категоризации на основе эмпирических средних:

Выбор показателя успешности профессиональной деятельности, используемого в качестве выходных данных, и определение дискретного множества его возможных значений (например, для профессионального психологического отбора в Вооружённых Силах Российской Федерации – категория профессиональной пригодности, имеющая множество возможных значений: {1 (рекомендуется в первую очередь), 2 (рекомендуется), 3 (рекомендуется условно), 4 (не рекомендуется)}).
Разбиение обучающей выборки по внешнему критерию, однозначно сопоставимому с выбранным показателем успешности профессиональной деятельности, на группы G_k (где , K – количество групп).
Вычисление эмпирических арифметических средних по обучающей выборке для каждой группы G_k и для каждого первичного показателя (вопроса теста):

,

где i – порядковый номер первичного показателя (вопроса теста);

n – количество первичных показателей (вопросов теста);

j – порядковый номер обследуемого;

m_k – количество обследуемых, принадлежащих группе G_k;

k – порядковый номер группы G_k;

K – количество групп G_k;

x_ij – массив исходных данных.

Полученный двухмерный массив эмпирических арифметических средних является множеством k образов эталонных групп и необходим для принятия решения при определении принадлежности последующих обследуемых к одной из групп.

При наличии нескольких специальностей (групп специальностей) пункт 3 повторяется для каждой из них.
Для определения принадлежности j-ого обследуемого к одной из групп G_k вычисляется Евклидово расстояние r_kj в n-мерном пространстве между результатами теста данного обследуемого и эмпирическими арифметическими средними образов эталонных групп:

Минимальное из полученных расстояний позволяет сделать вывод о принадлежности данного (j-ого) обследуемого к определенной группе:

При наличии нескольких специальностей (групп специальностей) пункт 5 повторяется для каждой из них.
В случае использования тестовой батареи, состоящей из нескольких разнотипных тестовых методик, находятся их веса (при которых прогностичность будет наибольшей), для чего рекомендуется следующий алгоритм:

веса вопросов одного из тестов (опросника) принимаются равными единице;
производится вычисление значений показателя прогностичности в узловых точках (через 10 единиц) в диапазоне от 0 до 100 единиц;
в области максимального полученного значения, расширенной на 10 единиц в большую и меньшую стороны, вычисляются значения показателя прогностичности во всех точках с целочисленным значением (через 1 единицу);
в случае, если максимального значение достигается на границе диапазона одного из параметров, то повторяется расчет в узловых точках с увеличением данного параметра на 100 единиц;
рекомендуемыми считаются веса тестов, соответствующие координатам центра многомерной области, на которой показатель прогностичности сохраняет своё максимальное значение.

Для определения принадлежности обследуемого к одной из групп G_k в случае использования тестовой батареи расчёт ведётся аналогично пункту 5 с учётом весов, рассчитанных в пункте 7, путём вычисления средневзвешенных показателей методик. При этом все значения первичных показателей должны быть приведены к единому виду, при котором диапазон их значений варьирует от 0 до 1.

Область применения: данная методика рекомендуется для использования в качестве методики категоризации в любых сегментах сферы профессионального психологического отбора при обработке результатов обследования по одной или нескольким тестовым методикам, у которых ответы на вопросы подчиняются ранговому или интервальному шкалированию (предлагающих обследуемому оценить степень проявления какого-то признака, например, «Опросник военно-профессиональной пригодности»). Кроме того, данная методика может быть использована в случаях, когда ответы на вопросы теста представляют собой дихотомические переменные (например, «ИТО+») или когда вопросы теста равнозначны, а ответы на них интерпретируются только как "правильные" и "неправильные" (например, «S-тест»).

Общие выводы:

Анализ опыта разработки математического обеспечения психологической диагностики профессиональной пригодности граждан, призываемых на военную службу и поступающих на военную службу по контракту, выявил ряд проблем.

Во-первых, это недостаточный учёт специфики психологических факторов, которые опосредовано отражаются в психодиагностических данных обследуемых и в психологическом эталоне специальности, что демонстрируют низкие показатели прогностичности (коэффициенты корреляции прогноза и успешности военно-профессиональной деятельности находятся в диапазоне от 0,20 до 0,29). Во-вторых, обязательным условием ставилась возможность ручной обработки данных, что не позволяло повысить прогностичность ППО за счёт совершенствования методик категоризации.

В настоящее время массовое распространение компьютерной техники создало все предпосылки для кардинального изменения подхода к математическому обеспечению обработки психодиагностической информации. Стало возможным использование в качестве решающего правила сложнейших и трудоемких вычислительных механизмов, наиболее полно учитывающих психологические аспекты формирования и обработки психодиагностических данных.

В ходе исследований был разработан способ повышения прогностичности компьютеризированных психодиагностических процедур, реализованный в конкретной методике психодиагностической категоризации (решающем правиле) – методике многомерной категоризации на основе эмпирических средних.

Данный способ прошел всестороннюю экспериментальную проверку (общий объём выборок – 3047 обследуемых) и подтвердил свою эффективность:

показатель прогностичности, применяемый в ППО ВС РФ (относительное количество совпадений прогноза категорий профессиональной пригодности с внешним критерием), имел высокие значения – в среднем 95 % (в диапазоне от 80 % до 100 %);
время проведения при использовании разработанного способа можно значительно сократить (в среднем – более чем в 2 раза), при этом показатель прогностичности превосходил соответствующий показатель существующей методики: 96 % по сравнению с 92 %;
показатель надёжности (по внутренней согласованности) в случае использования разработанного способа (на примере тестовой методики «ИТО+») превышает аналогичный показатель при использовании традиционного подхода: 0,94 по сравнению с 0,62.

В результате исследований выработаны рекомендации по практическому использованию предлагаемого способа, включающие в себя методические приемы выбора оптимальных параметров как для отдельного теста, так и для батареи, состоящей из нескольких разнотипных тестовых методик.

Основное содержание диссертации отражено в следующих публикациях автора:

Штатные технические средства профессионального психологического отбора военных специалистов: состояние и перспективы развития // Безопасность жизнедеятельности. – № 8. – 2005. – С. 7-9.
Совершенствование психодиагностики посредством математической методики многомерной классификации на основе эмпирических средних // Вестник психотерапии. – 2007. – № 20 (25). – С. 19-28.
Использование методики многомерной классификации в качестве решающего правила для прогноза успешности профессиональной деятельности // Использование новейших информационных технологий в мероприятиях по профессиональному психологическому отбору в Вооруженных Силах Российской Федерации: Тезисы научно-практической конференции. – Москва, 2002 г. – С. 96-97.
Прогнозирование профессиональной успешности с использованием методики многомерной классификации на основе эмпирических средних // Психология и эргономика. Единство теории и практики. 3-я Международная конференция. – Москва, 2003 г. – С. 76-77.
Прогнозирование профессиональной успешности с использованием методики многомерной классификации на основе эмпирических средних // Проблемы психологии и эргономики.– Тверь. – № 1. – 2003. – С. 73-76.

Blog

Содержание

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ