Способности определяются как "свойства функциональных систем, реализующих отдельные психические функции, имеющие индивидуальную меру выраженности и проявляющиеся в успешности и качественном своеобразии освоения и реализации деятельности" (Шадриков, 2004, с. 27-28).
Проблема валидности методов изучения способностей человека к постановке и решению комплексных задач связана со спецификой этой деятельности (Поддьяков, 2000). Последняя актуализируется и развертывается в условиях высокой неопределенности, сложности, новизны. Соответственно, методы изучения РКП должны создавать испытуемому условия, неопределенные и новые настолько, чтобы инициировать, "запустить" эту деятельность и дать ей развернуться. Но неопределенность условий приводит к неопределенности того набора способностей, который тот или иной испытуемый может попытаться актуализировать в своей деятельности. Эта высокая неопределенность и новизна создает испытуемым свободу и богатство выбора. Это достоинство, но это и недостаток, поскольку критерии оценки деятельности испытуемых тоже неизбежно становятся не вполне определенными и постоянно требуют новых интерпретаций.
Экспериментальным материалом, который предлагается испытуемым в подходе РКП, обычно служат реальные динамические системы или их модели разной сложности – например, реальные игрушки-головоломки; компьютерные сценарии, моделирующие социальные процессы (общение с незнакомцем и т.п.); компьютерные модели нового технического устройства, фабрики, города, государства и т.д. Любой из этих стимульных объектов характеризуется неизвестными и неочевидными внутренними связями и множественными, сетевыми взаимодействиями. Перед испытуемым ставится заведомо нечетко сформулированная, не вполне определенная задача исследовать эту систему, и не уточняется, что именно и как надо исследовать. Лишь в некоторых случаях в инструкции формулируется цель вывести систему на определенные значения некоторых из ее параметров функционирования. Но при этом в целом все равно сохраняется общая очень высокая степень неопределенности деятельности решающего.
В целом, задачи, предлагаемые испытуемым в подходе РКП, можно охарактеризовать как задачи с открытым началом и открытым концом (Поддьяков, 2000), поскольку испытуемые имеют возможность постоянно добирать и доопределять информацию об условиях, и могут предлагать существенно различающиеся решения. Тем самым задачи в подходе РКП сильно отличаются от, например, традиционных задач в тестах интеллекта. Последние можно охарактеризовать как задачи с закрытым началом и закрытым концом, поскольку их начальные условия однозначно оговорены в инструкции, и от испытуемого требуется найти единственно правильный ответ. Тесты интеллекта и тесты РКП часто либо не имеют между собой корреляции, либо имеют отрицательные (Frensch, Funke, 1995).
При этом следует понимать, что, несмотря на "тестовое" разведение при диагностике, в реальной познавательной деятельности интеллект, креативность, исследовательские способности образуют единство. Е.П.Торранс писал: "Я настаиваю, что интеллект и креативность – это взаимодействующие или частично перекрывающие друг друга переменные и что попытки их насильственных четких различений создали бы картину ложных различий, не существующих в реальной жизни" (Torrance, 1980, с. 8). Для этих групп способностей справедливо общее положение В.Д.Шадрикова: "Существует один интеллект, но внутри единства, в зависимости от различных условий, в которых совершается мыслительный процесс, дифференцируются типы мыслительных операций, характер их протекания" (Шадриков, 2004, с. 134).
Возможная существенная причина отрицательных корреляций между тестами, отрывающая их от реальности, связана с общим методологическим законом исследования сложных динамических систем (Поддьяков, в печати). Он развивает принцип неопределенности, который был сформулирован в физике: в ходе измерения невозможно определить и координату, и скорость микрочастицы. Более общий методологический закон гласит: из-за множественных положительных и отрицательных связей, существующих в сложной динамической системе, любой метод, раскрывающий одни ее характеристики, будет неизбежно скрывать, подавлять и деформировать другие ее существенные характеристики. Универсальный метод исследования, который бы только раскрывал характеристики сложной системы, ничему при этом не мешая, невозможен.
Остается открытым вопрос, какие способности человека при экспериментальном изучении РКП отсекаются (им не дали развернуться вообще), и какие актуализировавшиеся способности вступают во взаимоподавляющие взаимодействия, попадая в "силок" используемого метода.
Развитие сложных динамических систем в значительной степени непредсказуемо. Это касается и развития познавательной сферы человека. Поэтому можно предполагать, что несмотря на изобретение и разработку все новых и новых методов исследования, человечество всегда будет не вполне готово к диагностике своего развивающегося интеллектуального и творческого потенциала. Соответственно, человечеству всегда будут требоваться все новые методы выявления и оценивания способностей человека – ранее неизвестных, впервые открываемых, хотя и существовавших, или же только возникающих в ходе социального развития. Это еще один источник неопределенности и незавершенности. В целом, можно заключить, что диагностика способностей к решению комплексных проблем сама по себе является комплексной проблемой с высокой степенью неопределенности на различных уровнях.