Вероятностно-статистические методы принятия решений
Эконометрика в контроллинге. О принятии решений в контроллинге уже не раз говорилось. Поэтому обсуждение проблем использования вероятностно-статистических методов в теории принятия решений естественно начать с проблематики контроллинга. Контроллеру нужна разнообразная информация, нужны удобные инструменты ее анализа. Следовательно, информационная поддержка контроллинга необходима для успешной работы контроллера. Без современных компьютерных инструментов анализа и управления, основанных на продвинутых эконометрических и экономико-математических методах и моделях, невозможно эффективно принимать управленческие решения. Недаром специалисты по контроллингу большое внимание уделяют проблемам создания, развития и применения компьютерных систем поддержки принятия решений.
Высокие статистические технологии и эконометрика - неотъемлемая часть любой современной системы поддержки принятия решений. Используемые термины требуют пояснений. Высокие статистические технологии - это процедуры анализа статистических данных, основанные на последних достижениях прикладной математической статистики. О них – несколько позже.
Что такое эконометрика? Согласно Большому Энциклопедическому словарю (М.: Изд-во «Большая Российская Энциклопедия», 1997), эконометрика – наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей. Эконометрические методы - это прежде всего методы статистического анализа конкретных экономических данных, естественно, с помощью компьютеров [1]. В нашей стране они пока сравнительно мало известны, хотя именно в России уже полтора столетия активно работает наиболее мощная (в мире) научная школа в области основы эконометрики – теории вероятностей.
Статистические (эконометрические) методы используются в зарубежных и отечественных экономических и технико-экономических исследованиях, работах по управлению (менеджменту). Применение прикладной статистики и других эконометрических методов дает заметный экономический эффект. Например, в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества. В 1988 г. затраты на статистический анализ данных в нашей стране оценивались в 2 миллиарда рублей ежегодно. Согласно расчетам сравнительной стоимости валют на основе потребительских паритетов, эту величину можно сопоставить с 2 миллиардами долларов США. Следовательно, объем отечественного "рынка статистических и эконометрических услуг" был на порядок меньше, чем в США, что совпадает с оценками и по другим показателям, например, по числу специалистов.
В мировой науке эконометрика занимает достойное место. Об этом свидетельствует, например, присуждение Нобелевских премий по экономике. Их получили эконометрики Ян Тильберген, Рагнар Фриш, Лоуренс Клейн, Трюгве Хаавельмо. В 2000 г. к ним добавились еще двое - Джеймс Хекман и Дэниель Мак-Фадден. Выпускается ряд научных журналов, полностью посвященных эконометрике, в том числе: Journal of Econometrics (Швеция), Econometric Reviews (США), Econometrica (США), Sankhya (Indian Journal of Statistics. Ser.D. Quantitative Economics. Индия), Publications Econometriques (Франция), электронный еженедельник "Эконометрика" (Россия). Публикуются также масса книг и статей в иных изданиях. Действуют национальные и международные эконометрические общества, объединяющие десятки тысяч специалистов.
А что у нас? База для успешного развития и применения эконометрики есть. Так, только в секции “Математические методы исследования” журнала “Заводская лаборатория” за последние 35 лет напечатано более 1000 статей по высоким статистическим технологиям и их применениям. Однако в нашей стране по ряду причин эконометрика не была сформирована как самостоятельное направление научной и практической деятельности, в отличие, например, от Польши, не говоря уже об англосаксонских странах. Польша стараниями известного экономиста Оскара Ланге и его коллег покрыта сетью эконометрических "институтов" (в российской терминологии - кафедр вузов). В результате - специалистов по эконометрике у нас на порядок меньше, чем в США и Великобритании (Американская статистическая ассоциация включает более 20000 членов).
В настоящее время в России начинают развертываться теоретические и практические эконометрические исследования, а также положено начало распространению обучения этой дисциплине. Преподавание эконометрики ведется в Московском государственном университете экономики, статистики и информатики (МЭСИ), на экономическом факультете МГУ им. М.В. Ломоносова и еще в нескольких экономических учебных заведениях. Среди технических вузов МГТУ им. Н.Э.Баумана имеет в настоящее время приоритет в развитии и преподавании эконометрики.
Высокие статистические технологии в эконометрике. Особый интерес представляют эконометрические применения высоких статистических технологий. Речь идет об их применении для анализа конкретных экономических данных, прежде всего в контроллинге).
Может возникнуть естественный вопрос: зачем нужны высокие статистические технологии, разве недостаточно обычных статистических методов? Исследователи в области эконометрики считают (и доказывают своими теоретическими и прикладными работами), что совершенно недостаточно. Так, многие данные в реальной социально-экономической деятельности, а потому и в информационных системах поддержки принятия решений имеют нечисловой характер, например, являются словами или принимают значения из конечных множеств (выбор происходит из конечного числа градаций). Нечисловой характер имеют и упорядочения, которые дают эксперты или менеджеры, например, выбирая главную цель предприятия, следующую по важности и т.д., сравнивая образцы продукции с целью выбора наиболее подходящего для запуска в серию и др. Значит, для контроллинга нужна статистика нечисловых данных. Далее, многие величины известны не абсолютно точно, а с некоторой погрешностью - лежат в пределах от одной границы до другой. Другими словами, исходные данные - не числа, а интервалы. Это -следствие общеинженерного утверждения: любое измерение проводится с погрешностями. Следовательно, контроллеру нужна статистика интервальных данных. Ниже мы показываем, что мнения людей естественно описывать в терминах теории нечеткости. Значит, контроллеру нужна статистика нечетких данных. Ни статистики нечисловых данных, ни статистики интервальных данных, ни статистики нечетких данных нет и не могло быть в классической статистике. Все это - высокие статистические технологии. Разработанные за последние 10-30 лет, они основаны на последних достижениях прикладной математической статистики. А обычные курсы по общей теории статистики и по классической математической статистике разбирают научные результаты, полученные в первой половине ХХ века.
Важная часть эконометрики - применение высоких статистических технологий к анализу конкретных экономических данных. Такие исследования зачастую требуют дополнительной теоретической работы по "доводке" статистических технологий применительно к конкретной ситуации. Большое значение для контроллинга имеют не только общие методы, но и конкретные эконометрические модели, например, вероятностно-статистические модели тех или иных процедур экспертных оценок или экономики качества, имитационные модели деятельности организации. И конечно, такие конкретные применения, как расчет и прогнозирование индекса инфляции. Сейчас уже многим специалистам ясно, что годовой бухгалтерский баланс предприятия может быть использован для оценки его финансово-хозяйственной деятельности только с привлечением данных об инфляции. Различные области экономической теории и практики еще далеко не согласованы. При оценке и сравнении инвестиционных проектов принято использовать такие характеристики, как чистый приведенный доход, внутренняя норма доходности, основанные на учете изменения стоимости денежной единицы во времени (учет осуществляется с помощью дисконтирования). А при анализе финансово-хозяйственной деятельности организации на основе данных бухгалтерской отчетности про необходимость дисконтирования "забывают". Эта ошибочная практика объясняется тем, что основы бухгалтерской науки и практики были заложены во времена отсутствия инфляции.
Бесспорно, что экономисты, менеджеры и инженеры, прежде всего специалисты по контроллингу, должны быть вооружены современными средствами информационной поддержки, в том числе высокими статистическими технологиями и эконометрикой. Очевидно, преподавание должно идти впереди практического применения. Ведь как применять то, чего не знаешь?
Один раз - в 1990-1992 гг. отечественные специалисты по эконометрике уже обожглись на недооценке необходимости предварительной подготовки тех, для кого предназначены современные компьютерные средства. Всесоюзной статистической ассоциацией и Всесоюзным центром статистических методов и информатики Центрального правления Всесоюзного экономического обществабыла разработана система диалоговых программных систем обеспечения качества продукции. Их созданием руководили ведущие специалисты страны. Но распространение шло на 1-2 порядка медленнее, чем ожидалось (единицы и десятки продаж вместо сотен и тысяч). Причина стала ясна не сразу. Как оказалось, работники предприятий просто не понимали возможностей разработанных систем, не знали, какие задачи можно решать с их помощью, какой экономический эффект они дадут. А не понимали и не знали потому, что в вузах и после вузов никто их не учил статистическим методам управления качеством. Без такого систематического обучения нельзя обойтись - сложные концепции "на пальцах" за пять минут не объяснишь.
Есть и противоположный пример - положительный. В середине 1980-х годов в советской средней школе ввели новый предмет "Информатика". И сейчас молодое поколение превосходно владеет компьютерами, мгновенно осваивая быстро появляющиеся новинки, и этим заметно отличается от тех, кому за 30-40 лет. Если бы удалось ввести в средней школе курс вероятности и статистики - а такой курс есть в Японии и США, Швейцарии, Кении и Ботсване, почти во всех странах мира (см. подготовленный ЮНЕСКО сборник докладов [2]) - то ситуация могла бы быть резко улучшена. Надо, конечно, добиться, чтобы такой курс был построен на высоких эконометрических (статистических) технологиях, а не на низких. Другими словами, он должен отражать современные достижения, а не концепции пятидесятилетней или столетней давности.
Вполне закономерно, что в деятельности российского объединения профессионалов в области контроллинга - "Общества контроллеров" - выделено направление, посвященное применению высоких статистических технологий и эконометрики в контроллинге, а также обучению основам этого направления при подготовке и переподготовке контроллеров.
Статистические технологии применяют для анализа данных двух принципиально различных типов. Один из них - это результаты измерений различных видов, например, результаты управленческого или бухгалтерского учета, данные Госкомстата и др. Короче, речь идет об объективной информации. Другой - это оценки экспертов, на основе своего опыта и интуиции делающих заключения относительно экономических явлений и процессов. Очевидно, это - субъективная информация. Стабильная экономическая ситуация позволяет рассматривать длинные временные ряды тех или иных экономических величин, полученных в сопоставимых условиях. В подобных условиях данные первого типа вполне адекватны. В быстро меняющихся условиях приходятся опираться на экспертные оценки. Такая новейшая часть эконометрики, как статистика нечисловых данных, была создана как ответ на запросы теории и практики экспертных оценок [3].
Для решения каких экономических задач может быть полезна эконометрика? Практически для всех, использующих конкретную информацию о реальном мире. Только чисто абстрактные, отвлеченные от реальности исследования могут обойтись без нее. В частности, эконометрика необходима для прогнозирования, в том числе поведения потребителей, а потому и для планирования. Выборочные исследования, в том числе выборочный контроль, основаны на эконометрике. Но планирование и контроль - основа контроллинга [4, 5]. Поэтому эконометрика - важная составляющая инструментария контроллера, воплощенного в компьютерной системе поддержки принятия решений. Прежде всего оптимальных решений, которые предполагают опору на адекватные эконометрические модели. В производственном менеджменте это может означать, например, использование оптимизационных эконометрических моделей типа тех, что применяются при экстремальном планировании эксперимента (они позволяют повысить выход полезного продукта на 30-300%).
Высокие статистические технологии в эконометрике предполагают адаптацию применяемых методов к меняющейся ситуации. Например, параметры прогностического индекса меняются вслед за изменением характеристик используемых для прогнозирования величин. Таков метод экспоненциального сглаживания. В соответствующем алгоритме расчетов значения временного ряда используются с весами. Веса уменьшаются по мере удаления в прошлое. Многие методы дискриминантного анализа основаны на применении обучающих выборок. Например, для построения рейтинга надежности банков можно с помощью экспертов составить две обучающие выборки - надежных и ненадежных банков. А затем с их помощью решать для вновь рассматриваемого банка, каков он - надежный или ненадежный, а также оценивать его надежность численно, т.е. вычислять значение рейтинга.
Один из способов построения адаптивных эконометрических моделей - нейронные сети [6]. При этом упор делается не на формулировку адаптивных алгоритмов анализа данных, а - в большинстве случаев - на построение виртуальной адаптивной структуры. Термин "виртуальная" означает, что "нейронная сеть" - это специализированная компьютерная программа, "нейроны" используются лишь при общении человека с компьютером. Методология нейронных сетей идет от идей кибернетики 1940-х годов. В компьютере создается модель мозга человека (весьма примитивная с точки зрения физиолога). Основа модели - весьма простые базовые элементы, называемые нейронами. Они соединены между собой, так что нейронные сети можно сравнить с хорошо знакомыми экономистам и инженерам блок-схемами. Каждый нейрон находится в одном из заданного множества состояний. Он получает импульсы от соседей по сети, изменяет свое состояние и сам рассылает импульсы. В результате состояние множества нейтронов изменяется, что соответствует проведению эконометрических вычислений.
Нейроны обычно объединяются в слои (как правило, два-три). Среди них выделяются входной и выходной слои. Перед началом решения той или иной задачи производится настройка. Во-первых, устанавливаются связи между нейронами, соответствующие решаемой задаче. Во-вторых, проводится обучение, т.е. через нейронную сеть пропускаются обучающие выборки, для элементов которых требуемые результаты расчетов известны. Затем параметры сети модифицируются так, чтобы получить максимальное соответствие выходных значений заданным величинам.
С точки зрения точности расчетов (и оптимальности в том или ином эконометрическом смысле) нейронные сети не имеют преимуществ перед другими адаптивными эконометрическими системами. Однако они более просты для восприятия. Надо отметить, что в эконометрике используются и модели, промежуточные между нейронными сетями и "обычными" системами регрессионных уравнений (одновременных и с лагами). Они тоже используют блок-схемы, как, например, универсальный метод моделирования связей экономических факторов ЖОК [1].
Заметное место в математико-компьютерном обеспечении принятия решений в контроллинге занимают методы теории нечеткости (по-английски - fuzzy theory, причем термин fuzzy переводят на русский язык по-разному: нечеткий, размытый, расплывчатый, туманный, пушистый и др.). Начало современной теории нечеткости положено работой Л.А.Заде 1965г., хотя истоки прослеживаются со времен Древней Греции [3,7] Это направление прикладной математики получило бурное развитие. К настоящему времени по теории нечеткости опубликованы тысячи книг и статей, издается несколько международных журналов (больше половины - в Китае и Японии), постоянно проводятся международные конференции. В области теории нечеткости выполнено достаточно много как теоретических, так и прикладных научных работ, практические приложения дали ощутимый технико-экономический эффект.
Основоположник рассматриваемого научного направления Лотфи А. Заде рассматривал теорию нечетких множеств как аппарат анализа и моделирования гуманистических систем, т.е. систем, в которых участвует человек. Его подход опирается на предпосылку о том, что элементами мышления человека являются не числа, а элементы некоторых нечетких множеств или классов объектов, для которых переход от "принадлежности" к "непринадлежности" не скачкообразен, а непрерывен. В настоящее время методы теории нечеткости используются почти во всех прикладных областях, в том числе при управлении качеством продукции и технологическими процессами.
Нечеткая математика и логика - мощный элегантный инструмент современной науки, который на Западе и на Востоке (в Японии, Китае) можно встретить в программном обеспечении десятков видов изделий - от бытовых видеокамер до систем управления вооружениями. В России он был известен с начала 1970-х годов. Однако первая монография российского автора по теории нечеткости [7] была опубликована лишь в 1980 г. В дальнейшем раз в год всесоюзные конференции собирали около 100 участников - по мировым меркам немного.
При изложении теории нечетких множеств обычно не подчеркивается связь с вероятностными моделями. В нашей стране в середине 1970-х годов установлено [3,7], что теория нечеткости в определенном смысле сводится к теории случайных множеств, хотя эта связь и имеет, возможно, лишь теоретическое значение. В США подобные работы появились лет на пять позже.
Профессионалу в области контроллинга полезны многочисленные интеллектуальные инструменты анализа данных, относящиеся к высоким статистическим технологиям и эконометрике.
Эконометрические методы в контроллинге. Обсудим подробнее, что может дать эконометрика контроллеру, какие инструменты анализа данных она может предложить для решения типовых задач, стоящих перед контроллером.
Проблемы такого рода - а именно, что может дать эконометрика той или иной области, какие средства решения типовых задач она может предложить – рассматриваются постоянно. Проводились дискуссии на весьма актуальную и широкую тему: "Что дает прикладная статистика народному хозяйству?" [8]. Подробно обсуждался набор эконометрических и экономико-математических инструментов, поддерживающих менеджмент и маркетинг малого бизнеса [9]. Средством поддержки проведения экспертных исследований, в частности, в задачах обеспечения химической безопасности биосферы и экологического страхования, служило автоматизированное рабочее место "Математика в экспертизе" (сокращенно АРМ МАТЭК) [10]. С целью эконометрической поддержки задач сертификации и обеспечения качества промышленной продукции была разработана упомянутая выше обширная система программных продуктов. В нее входили диалоговые системы по статистическому приемочному контролю, планированию эксперимента, контрольным картам, надежности и испытаниям, прикладной статистике и другим вопросам [11]. Обобщая, можно сказать, что любая достаточно важная и развитая прикладная сфера деятельности требует создания адекватного эконометрического сопровождения. Это сопровождение дает рассматриваемой сфере деятельности инструменты (методы) анализа данных для решения стоящих перед нею задач.
Эконометрика - дисциплина методическая, посвящена методам, которые могут применяться в различных предметных областях. Напротив, контроллинг - предметная дисциплина, для решения задач своей предметной области привлекает те методы, которые оказываются полезными.
Прежде всего надо обсудить вопрос: полезны ли для решения задач контроллинга эконометрические методы?
Для ответа на этот вопрос проанализируем "Глоссарий по контроллингу", включенный в материалы симпозиума "Теория и практика контроллинга в России". Симпозиум состоялся 4-5 октября 2001 г. в МГТУ им. Н.Э.Баумана. В глоссарии, в частности, содержатся термины:
Абсолютные отклонения, Вербальные переменные, Индексы,
Интервальные данные, Исследование операций, Кривая опыта,
Кумулятивные отклонения, Метод сценариев,
Относительные отклонения, Принятие решений,
Размытые множества, Риски (угрозы), Ряды,
Системный анализ, Средние величины,
Управление по отклонениям, Фактические величины,
Шансы, Эконометрика, Эмпирико-индуктивные показатели.
Все эти многочисленные термины относятся к эконометрике. Термины относятся к различным ее разделам - от классических (средние величины) до самых современных. Оказались необходимыми, в частности, методы статистики объектов нечисловой природы (включая эконометрику вербальных и размытых переменных) и статистики интервальных данных.
Ответ на поставленный вопрос давно уже не вызывает сомнений у специалистов - эконометрические методы представляют собой важную часть научного инструментария контроллера, а их компьютерная реализация - важную часть информационной поддержки контроллинга. Обсуждать целесообразно содержание этого инструментария.
Классификация эконометрических инструментов может быть проведена по различным основаниям: по методам, по виду данных, по решаемым задачам и т.п. В частности, при классификации по методам целесообразно выделять следующие блоки:
1.1. Описание данных и их графическое представление.
1.2. Углубленный вероятностно-статистический анализ.
1.3. Поддержка экспертных исследований.
1.4. Методы сценариев и анализа рисков.
При классификации на основе вида данных эконометрические алгоритмы естественно делить по тому, каков вид данных "на входе":
2.1. Числа.
2.2. Конечномерные вектора.
2.3. Функции (временные ряды).
2.4. Объекты нечисловой природы, в том числе упорядочения (и другие бинарные отношения), вербальные (качественные) переменные, нечеткие (размытые, расплывчатые) переменные, интервальные данные, и др.
Наиболее интересна классификация по тем задачам контроллинга, для решения которых используются эконометрические методы. При таком подходе могут быть выделены блоки:
3.1. Поддержка прогнозирования и планирования.
3.2. Слежение за контролируемыми параметрами и обнаружение отклонений.
3.3. Поддержка принятия решений, и др.
От каких факторов зависит частота использования тех или иных эконометрических инструментов контроллинга? Как и при иных применениях эконометрики, основных групп факторов два - это решаемые задачи и квалификация специалистов.
Искусственное упрощение перечня решаемых задач, естественно, приводит, к искусственному сокращению списка применяемых методов. Например, Госкомстат РФ так ограничил область своей деятельности, что для решения поставленных им перед собой задач вполне достаточно обычных статистических таблиц и диаграмм - инструментов XIX в. (Для подтверждения этой мысли достаточно обратиться к публикациям Госкомстата РФ.) Подчеркнем, что для решения этих задач ему не нужны разработки наиболее известных в эконометрике специалистов, получивших за свои исследования нобелевские премии по экономике. Как не нужны и вообще все работы по эконометрике ХХ в. Однако весь арсенал современной эконометрики может быть с успехом использован, если мы откажемся от искусственного ограничения перечня решаемых задач. В частности, если от простого описания существующего положения перейдем к прогнозированию на основе вероятностно-статистических моделей.
Как влияет квалификация специалистов? Она ограничивает круг решаемых задач и методов их решения. Зачастую то, что люди не знают - для них не существует. Однако конкурентная борьба требует поиска преимуществ по сравнению с другими фирмами. Знание эконометрических методов дает такие преимущества.
Часто задают вопрос: "Что же такое эконометрика? Расскажите о ней". Достаточно подробное представление об эконометрике могут дать лишь монографии, содержащие описания основных подходов, идей, алгоритмов, Примером является учебное пособие [1]. Здесь же эконометрика рассматривается "с птичьего полета". Такой подход дает возможность познакомиться с общей ситуацией, но не с конкретными алгоритмами анализа данных.
При практическом применении эконометрических методов в работе контроллера необходимо применять соответствующие программные системы. Могут быть полезны и общие статистические системы типа SPSS, Statgraphics, Statistica, ADDA, и более специализированные Statcon, SPC, NADIS, REST (по статистике интервальных данных), Matrixer и многие другие. Массовое внедрение удобных в работе программных продуктов, включающих современные эконометрические инструменты анализа конкретных экономических данных, можно рассматривать как один из эффективных способов ускорения научно-технического прогресса, распространение современных эконометрических знаний [12].
Почему старые методы эконометрики не подходят для новых условий? При взгляде на эконометрику со стороны часто возникает мысль о том, что за долгие десятилетия развития этой научно-практической дисциплины все ее основные проблемы решены, остается только применять разработанные методы к тем конкретным экономическим данным, которые представляют интерес для исследователя. Эта мысль неверна в принципе, причем по двум основным причинам. Во-первых, прикладные исследования приводят к необходимости анализировать данные новой природы, например, являющиеся перечисленными выше видами объектов нечисловой природы. Во-вторых, выясняется необходимость более глубокого анализа классических методов.
Хорошим примером для обсуждения являются методы проверки однородности двух выборок. Есть две совокупности, и надо решить, различаются они или совпадают. Для этого из каждой из них берут по выборке и применяют тот или иной эконометрический метод проверки однородности. Около 100 лет назад был предложен метод Стьюдента, широко применяемый и сейчас. Однако он имеет целый букет недостатков. Во-первых, согласно Стьюденту распределения элементов выборок должны быть нормальными (гауссовыми). Как правило, это не так. Во вторых, он нацелен на проверку не однородности в целом (т.н. абсолютной однородности, т.е. совпадения функций распределения, соответствующих двум совокупностям), а только на проверку равенства математических ожиданий. Но, в-третьих, при этом обязательно предполагается, что дисперсии для элементов двух выборок совпадают. Самое интересное, что проверять равенство дисперсий, а тем более нормальность, гораздо труднее, чем равенство математических ожиданий. Поэтому критерий Стьюдента обычно применяют, не делая таких проверок. А тогда и выводы по критерию Стьюдента повисают в воздухе.
Более продвинутые в теории специалисты обращаются к другим критериям, например, к критерию Вилкоксона. Он является непараметрическим, т.е. не опирается на предположение нормальности. Но и он, как выяснилось, не лишен недостатков. С его помощью нельзя проверить абсолютную однородность (совпадение функций распределения, соответствующих двум совокупностям). Это можно сделать только с помощью т.н. состоятельных критериев, в частности, критериев Смирнова и типа омега-квадрат (Лемана-Розенблатта).
С практической точки зрения критерий Смирнова обладает необычным недостатком - его статистика принимает лишь небольшое число значений, ее распределение сосредоточено в небольшом числе точек, и не удается пользоваться традиционными уровнями значимости 0,05 и 0,01. Поэтому в настоящее время остается рекомендовать критерий типа омега-квадрат (Лемана-Розенблатта). Но - для него нет достаточно подробных таблиц, он не включен в популярные пакеты эконометрических программ.
Отметим фиаско специалистов по математической статистике. Они не в состоянии ответить на естественный вопрос: "Каким методом проверять однородность двух выборок?" Дело в том, что для каждого метода она могут указать т.н. альтернативную гипотезу, при котором этот метод является наилучшим (в том смысле, который они рассматривают; этих смыслов несколько - оптимальность по Ходжесу-Леману, по Бахадуру и др.). Однако в практических задачах обычно совершенно непонятно, откуда брать "альтернативную гипотезу". Таким образом, в данной области математическая статистика выродилась в схоластику.
Проблему выбора наилучшего эконометрического метода проверки однородности двух выборок (независимых или связанных) нельзя считать окончательно решенной [1].
Рассмотрим другой важный пример. Многие данные в информационных системах имеют нечисловой характер, например, являются словами или принимают значения из конечных множеств. Нечисловой характер имеют и упорядочения, которые дают эксперты или менеджеры, например, выбирая главную цель, следующую по важности и т.д. Значит, нужна статистика нечисловых данных. Далее, многие величины известны не абсолютно точно, а с некоторой погрешностью - от и до. Другими словами, исходные данные - не числа, а интервалы. Нужна статистика интервальных данных. Интервальные данные являются частным случаем нечетких данных. Ни статистики нечисловых данных, ни статистики интервальных данных, ни статистики нечетких данных не было и не могло быть в классической статистике. Они разработаны за последние десятилетия.
Важная часть эконометрики - применение высоких эконометрических технологий (см. ниже) к анализу конкретных экономических данных, что зачастую требует дополнительной теоретической работы по доработке технологий применительно к конкретной ситуации. Большое значение имеют конкретные эконометрические модели, например, модели экспертных оценок или экономики качества. И конечно, такие конкретные применения, как расчет и прогнозирование индекса инфляции. Сейчас уже многим ясно, что годовой бухгалтерский баланс предприятия может быть использован для оценки его финансово-хозяйственной деятельности только с привлечением данных об инфляции.
Высокие эконометрические технологии и их возможности для решения задач управления и контроллинга. Перейдем к подробному обсуждению уже не раз упомянутых выше «высоких эконометрических (статистических) технологий». Термин "высокие технологии" популярен в современной научно-технической литературе. Он используется для обозначения наиболее передовых технологий, опирающихся на последние достижения научно-технического прогресса. Есть такие технологии и среди эконометрических технологий анализа конкретных экономических данных для решения задач управления и контроллинга - как в любой интенсивно развивающейся научно-практической области.
Примеры высоких эконометрических технологий и входящих в них алгоритмов анализа данных, подробный анализ современного состояния и перспектив развития даны в работе [13], написанной по результатам дискуссий в Российской академии статистических методов. В частности, в качестве "высоких эконометрических технологий" были выделены технологии непараметрического анализа данных; устойчивые (робастные) технологии; технологии, основанные на размножении выборок, на использовании достижений статистики нечисловых данных и статистики интервальных данных.
Термин "высокие эконометрические (в более общей ситуации - статистические) технологии". Обсудим пока не вполне привычный термин "высокие статистические технологии". Каждое из трех слов несет свою смысловую нагрузку.
"Высокие", как и в других областях, означает, что технология опирается на современные достижения теории и практики, в частности, теории вероятностей и прикладной математической статистики. При этом "опирается на современные научные достижения" означает, во-первых, что математическая основа технологии в рамках соответствующей научной дисциплины получена сравнительно недавно, во-вторых, что алгоритмы расчетов разработаны и обоснованы в соответствии в нею (а не являются т.н. "эвристическими"). Со временем, если новые подходы и результаты не заставляют пересмотреть оценку применимости и возможностей технологии, заменить ее на более современную, "высокие эконометрические (статистические) технологии" переходят в "классические эконометрические (статистические) технологии", такие, как метод наименьших квадратов. Итак, высокие статистические технологии - плоды недавних серьезных научных исследований. Здесь два ключевых понятия - "молодость" технологии (во всяком случае, не старше 50 лет, а лучше - не старше 10 или 30 лет) и опора на "высокую науку".
Термин "статистические" привычен, но разъяснить его нелегко. Во всяком случае, к деятельности Государственного комитета РФ по статистике высокие эконометрические (статистические) технологии отношения не имеют. Как известно, сотрудники проф. В.В. Налимова собрали более 200 определений термина "статистика" (см. об этом в работе [13]). Полемика вокруг терминологии иногда принимает весьма острые формы (см., например, редакционные замечания к статье [8], написанные в стиле известных высказываний о генетике и кибернетике конца 1940-х годов). В частности, с точки зрения эконометрики статистические данные – это результаты измерений, наблюдений, испытаний, анализов, опытов, а "эконометрические (статистические) технологии" - это технологии анализа эконометрических (статистических) данных.
Наконец, редко используемый применительно к статистике термин "технологии". Эконометрический (статистический) анализ данных, как правило, включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. В частности, можно выделить следующие этапы:
- планирование статистического исследования;
- организация сбора необходимых статистических данных по оптимальной или хотя бы рациональной программе (планирование выборки, создание организационной структуры и подбор команды специалистов (эконометриков или статистиков), подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.);
- непосредственный сбор данных и их фиксация на тех или иных носителях (с контролем качества сбора и отбраковкой ошибочных данных по соображениям предметной области);
- первичное описание данных (расчет различных выборочных характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм и т.д.),
- оценивание тех или иных числовых или нечисловых характеристик и параметров распределений (например, непараметрическое интервальное оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т.е. оценивание функции),
- проверка статистических гипотез (иногда их цепочек - после проверки предыдущей гипотезы принимается решение о проверке той или иной последующей гипотезы),
- более углубленное изучение, т.е. применение различных алгоритмов многомерного статистического анализа, алгоритмов диагностики и построения классификации, статистики нечисловых и интервальных данных, анализа временных рядов и др.;
- проверка устойчивости полученных оценок и выводов относительно допустимых отклонений исходных данных и предпосылок используемых вероятностно-статистических моделей, допустимых преобразований шкал измерения, в частности, изучение свойств оценок методом размножения выборок;
- применение полученных статистических результатов в прикл