МЕТОДИКА ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ СУПЕРКОМПЬЮТЕРОВ

На рынке компьютерных технологий сейчас широко представлены и активно продолжают разрабатываться различные суперпроизводительные микропроцессоры: Alpha, MIPS, PowerPC/POWER2, HP72OO/8OOO, Pentium Pro, превосходящие на различных тестах многие вычислительные системы, построенные на процессорах предыдущего поколения. Однако, несмотря на впечатляющие успехи микропроцессорных технологий, разработчики уделяют большое внимание SMP, МРР и кластерным архитектурным решениям. Решение наиболее "емких" вычислительных задач, например численного аэродинамического моделирования, связывается именно с суперкомпьютерными архитектурами, обеспечивающими максимальную степень параллелизма. Так, например, NASA Armes Research Center определяет необходимость тысячекратного увеличения требуемых вычислительных мощностей.

Кроме крупнейших исследовательских центров, таких, как Cornell University, NASA, Air Force High Performance Computing Center, системы массового параллелизма используются для анализа и прогнозирования в бизнесе, что имеет целый ряд особенностей, связанных с вычислительными методами, ОС, мониторами параллельной обработки транзакций, библиотеками параллельных вычислений и т.п. Ведущие производители поставляют на рынок коммерческих приложений вычислительные системы IBM SP2, SNI RM1000, CRAY T916 Intel/Paragon и др.

Широко используемые системы Benchmark SPEC, TPC и LINPACK, применяемые для традиционных архитектур, неприемлемы для МРР- архитектур. Например, тесты SPEC дают возможность определить лишь производительность самих процессоров, тесты ТРС и LINPACK хотя и учитывают текущую конфигурацию вычислительной системы в целом и пригодны для оценки задач OLTP и DSS, все же не достаточны для многопроцессорных архитектур, К тому же объемы используемых в этих тестах данных (даже для теста LINPACK TPP - матрица размером 1000x1000) не позволяют полностью загрузить вычислительные ресурсы для получения реальных оценок. Для решения этой задачи специалистами из исследовательского центра NASA Ames Research Center были сформулированы основополагающие требования, которым должны удовлетворять тестовые методики оценки производительности суперкомпьютерных многопроцессорных систем, особенно МРР;

• системы с массовым параллелизмом часто требуют новых алгоритмических и программных решений, а их конкретные реализации могут существенно зависеть от архитектуры компьютера и, как следствие, отличаться друг от друга;

• тестовые смеси должны носить общий характер и не следовать какой-либо конкретной архитектуре, что исключает использование архитектурно-зависимого кода, например message passing code;

• корректность результатов должна быть легко проверяема, т.е. должны быть точно описаны входные и выходные данные и природа вычислений;

• используемая память и вычислительные ресурсы должны быть масштабируемыми для повышения производительности;

• тесты и спецификации используемых тестов должны быть доступны и подтверждаться повторной реализацией.

Существует подход, удовлетворяющий этим требованиям, при котором выбор конкретных структур данных, алгоритмов распределения процессоров и выделения памяти оставляется на усмотрение разработчика и решается в конкретной реализации тестов. Но система тестирования должна соответствовать некоторым правилам:

• все операции с плавающей точкой должны быть выполнены с использованием 64-разрядной арифметики;

• все тесты должны быть запрограммированы на языках Фортран 90 и Си;

• не допускается смешение кодов этих языков;

• допускается использование компилятора High Performance Fortran (HPF) версии от января 1992 г, или более поздней;

• все используемые расширения языка и библиотеки должны официально поставляться фирмой-производителем;

• библиотечные подпрограммы за исключением оговоренного списка должны быть написаны на одном из указанных языков.

Использование языков Си и Фортран обусловлено их распространенностью для подобного класса вычислительных систем. При этом важен запрет на использование ассемблерного кода, для того чтобы уравнять разрабатываемые тесты программ.

Тест NAS. Целью программы NAS, в рамках которой был разработан тест, было достижение к 2000 г. возможности проведения за несколько часов полномасштабного численного моделирования полета космического аппарата. Возможно, первой компьютерной системой, способной справиться с этой задачей, будет архитектура МРР.

Комплекс тестов NAS состоит из пяти тестов NAS Benchmarks Kernel и трех тестов, основанных на реальных задачах гидро- и аэродинамического моделирования. Этот круг задач не покрывает всего спектра возможных приложений, однако на сегодняшний день этот комплекс тестов является лучшим и общепризнанным для оценки параллельных многопроцессорных систем.

Как наиболее перспективные для определения производительности систем МРР выделяются именно последние три теста. Все требования к тестам описаны исключительно на уровне общего алгоритма, что позволяет производителям компьютеров выбрать наиболее приемлемые с их точки зрения методы решения задачи, структуры данных, дисциплину распределения заданий между процессорами и т.п.

Тесты NAS призваны в первую очередь оценить вычислительные возможности компьютерной системы и скорость передачи данных между процессорами в параллельных системах, а производительность при выполнении операций ввода-вывода или различных пре- и постпроцессорных функций в данном тесте не оценивается.

При выполнении каждого теста замеряется время в секундах, необходимое задаче, имеющей конкретный размер.

Для более наглядной оценки потенциальных возможностей тестируемой конфигурации вычисляется относительная производительность по сравнению с показателями традиционного векторного суперкомпьютера, в качестве которого обычно выступает одна из моделей Cray.

Для NAS Benchmarks Kernel определяются два класса тестов: класс А и класс В, которые фактически отличаются размерностью вычислений. Размер задач из класса В превосходит размер задач из класса А примерно в четыре раза. Результаты тестирования в классе А нормируются на производительность однопроцессорного компьютера Cray Y-MP, а в классе В — на производительность однопроцессорного Cray C90. Тесты класса А адекватно отражают производительность масштабируемых систем с числом процессорных узлов менее 128. При оценке систем с количеством узлов до 512 следует использовать тесты класса В.

Результаты тестирования некоторых известных вычислительных систем приведены в табл. 3.4. Эти данные весьма точно подтверждаются списком используемых во всем мире суперкомпьютеров ТОР500.

Таблица 3.4Результаты тестирования суперкомпьютеров

Комплекс тестов NAS Benchmarks kernel включает следующие расчетные задачи:

1. ЕР (Embarrasinghly Parallel). Вычисление интеграла методом Монте-Карло - тест усложненного параллелизма для измерения первичной вычислительной производительности плавающей арифметики. Этот тест минимального межпроцессорного взаимодействия фактически определяет чисто вычислительные характеристики узла при работе с вещественной арифметикой.

2. MG (3D Multigrid). Тест по решению уравнения Пуассона (трехмерная решетка) в частных производных требует высокоструктурированной организации взаимодействия процессоров, тестирует возможности системы выполнять как дальние, так и короткие передачи данных.

3. CG (Conjugate Gradient). Вычисление наименьшего собственного значения больших разреженных матриц методом сопряженных градиентов. Это типичное неструктурированное вычисление на решетке, и поэтому тест применяется для оценки скорости передачи данных на длинные расстояния при отсутствии какой-либо регулярности.

4. FFT (Fast Fourier Transformation). Вычисление методом быстрого преобразования Фурье трехмерного уравнения в частных производных. Эта задача - важный тест для оценки эффективности взаимодействия по передаче данных между удаленными процессорами. При создании программы, реализующей данный тест, могут использоваться библиотечные модули преобразования Фурье различной размерности.

5. IS (Integer Sort). Тест выполняет сортировку целых чисел и используется как для оценки возможностей работы системы с целочисленной арифметикой (главным образом одного узла), так и для выявления потенциала компьютера по выполнению межпроцессорного взаимодействия.

Комплекс тестов NAS Benchmarks Kernel по модельным задачам включает следующие модули:

1. LU (LU Solver). Тест выполняет вычисления, связанные с определенным классом алгоритмов (JNS3D-LU по классификации центра NASA Armes), в которых: решается система уравнений с равномерно разреженной блочной треугольной матрицей 5x5.

2. SP (Scalar Pentadiagonal). Тест выполняет решение нескольких независимых систем скалярных уравнений - с использованием пентаднагональных матриц, в которых преобладают недиагональные члены.

3. ВТ (Block Tridiagonal). Решение серии независимых систем уравнений с использованием блочных трехдиагональных матриц 5x5 с преобладанием недиагональных элементов.

Тест ЕР. Чтобы понять принципы построения тестов типа NAS и особенности их реализации на конкретных суперкомпьютерных архитектурах, рассмотрим несколько подробнее тест ЕР. Данный тест формулируется следующим образом: формирование двухмерной статистики из большого числа случайно распределенных по Гауссу чисел, которые генерируются наилучшим (оптимальным) образом для каждой конкретной вычислительной архитектуры. Эта постановка является типичной для большинства приложений, использующих метод Монте-Карло. Как и все остальные тесты ядра NAS Kernel, этот тест имеет два класса, определяемых в данном случае числом сгенерированных и обработанных случайных чисел: первый - 2²⁸, второй - в четыре раза больше.

На многопроцессорной архитектуре каждый из процессоров независимо генерирует статистику для множества из п/р пар. Так как генерация статистик происходит параллельно на каждом процессоре, то фактически не требуется межпроцессорного взаимодействия. И только лишь десять пар от каждого процессора аккумулируются - пересылаются в один узел, чем, однако, можно пренебречь. Ключевым моментом для данного теста является только оптимизация вычислений на узле, что позволяет оценивать вычислительные возможности системы по работе с вещественными числами.

Для приоритетного определения коммуникационных показателей системы с массовым параллелизмом используются три оставшихся теста, в основе которых - алгоритмы численных методов на решетке. Основная идея реализации этих алгоритмов, в частности, для теста MG заключается в том, что на процессорах строится логическая модель трехмерной решетки. Это предполагает создание подобластей, в узлах которых параллельно проис ходят вычисления. Однако при этом важное значение имеет вычисление граничных условий для каждой подобласти, что требует интенсивного взаимодействия между процессорами. Кроме, того, не менее существенным моментом, влияющим на эффективность реализации теста, является репликация данных при переходе вычислительного процесса на новые слои решетки, что также определяется эффективностью реализации межпроцессорного взаимодействия.

Результаты последних оценок суперкомпьютерных платформ можно найти на WWW-сервере NAS www.nas.nasa.gov/NAS/NPB. Анализ этих данных показывает, что даже самая быстродействующая система VPP500 по соотношению цена/производительность уступает или сравнима с намного более дешевым сервером DEC 8400, суперкомпьютером SGI Power Challenge или RS/6000 SP.

1.8 МЕТОДИКА ОЦЕНКИ КОНФИГУРАЦИЙ WEB

Тестовая методика оценки конфигураций Web - WebSTONE - представляет собой одно из первых средств оценки эффективности оборудования и программного обеспечения при работе с протоколом HTTP.

По своему функциональному назначению WWW во многом напоминает NFS, для оценки эффективности которой существует тест LADDIS. Но адаптация этого теста к конкретной архитектуре часто оказывается весьма проблематичной. Тест WebSTONE более точно отражает специфику работы с глобальными сетями с многократными переключениями, исправлением ошибок, переадресациями и т.п. Данный тест способен моделировать разнородную среду, в которой работают одновременно множество клиентов, порождающих разнообразных потомков, способных запрашивать информацию от серверов.

Предусмотрены четыре смеси, моделирующие различные конфигурации подключения Web-сервера. Первая смесь - общий набор, использующийся для моделирования подключения к сети через модем. Файлы данной смеси содержат небольшие, обычно текстовые страницы размером не более 20 Кбайт, для передачи которых по модему со скоростью 14,4 Кбит/с требуется не очень много времени. Вторая смесь применяется для моделирования работы клиентов локальной сети. Размер файлов в данной смеси колеблется от 1 до 100 Кбайт. Третий тестовый набор представляет собой массив информации мультимедиа, использующий для своей обработки все ресурсы тестируемой системы. Файлы этого набора - MPEG и Quicklime, звуковые клипы и большие графические файлы. Размер таких файлов изменяется от 20 Кбайт до нескольких мегабайт. В четвертой смеси объединены первый и третий наборы.

Главными показателями WebSTONE являются пропускная способность, измеряемая в байтах в секунду, и латентность - время, необходимое для выполнения Запроса. Кроме того, WebSTONE содержит информацию о количестве страниц в минуту, среднем числе соединений и другую информацию, позволяющую провести более точную оценку качества конфигурации и выявить ее узкие места. Пропускная способность измеряется как для всей системы в целом, так и по каждому клиенту в отдельности; в обоих случаях она усредняется за все время проведения тестирования. Различают два типа латентности: время соединения и время запроса. Первое показывает продолжительность установки соединения, а второе - временные затраты на непосредственную передачу данных.

В WebSTONE включена также оценка по закону Литтла (Little Law), показывающая, сколько времени затрачивается сервером на выполнение полезной работы по обработке запроса, а не на действия типа коррекции ошибок или вспомогательные операции. В идеальном случае этот показатель прямо пропорционален числу клиентских процессов. Если сервер Web оказывается загружен сверх нормы, происходит массированный выброс ошибочных сообщений, свидетельствующих о том, что запросы клиента не могут быть обработаны в течение отпущенного им временного интервала. Фактически показатель дает представление об уровне максимальной загрузки для конкретного сервера.

WebSTONE достаточно просто настраивается для получения оценок следующих параметров работы сервера: среднее и максимальное время соединения; среднее и максимальное время отклика; пропускная способность; количество обработанных страниц; число открытых файлов.

Основная задача теста - оценить скорость и безошибочность обслуживания установленного множества клиентов. Программы WebSTONE организуют передачу запросов серверу по протоколу HTTP и обрабатывают данные по мере их поступления. Поскольку тест ориентирован на оценку работы программного и аппаратного обеспечения сервера, производительность броузеров или приложений клиента им не учитывается.

Архитектура теста WebSTONE включает две локальные сети. В первой сети работают потомки (Webchildren), управляемые программой WebMASTER, отвечающей также за управление всем ходом тестирования. Сама программа WebMASTER размещается на отдельном сегменте независимо от потомков и может функционировать как на одном компьютере вместе с клиентом, так н на отдельной машине. При определении режима функционирования теста может задаваться произвольная конфигурация сетей. Однако размещение WebMASTER на отдельном компьютере позволяет получить гибкость при моделировании всевозможных конфигураций подключения клиентов.

WebSTONE является распределенным тестом, работающим со многими процессами, когда главный процесс или WebMASTER и считывает файл конфигурации клиента, и выполняет необходимые функции. Затем WebMASTER формирует командные последовательности для каждого потомка и инициирует их. Каждый потомок, в свою очередь, читает команду, устанавливает связь с WebMASTER и выполняет последовательность действий, предусмотренных в тестовом наборе. После завершения работы каждого потомка вызывается WebMASTER с функцией сбора данных от каждого клиента н формирования отчета. В процессе работы каждый потомок является независимым как от других потомков, так и от WebMASTER.

Одна из главных особенностей теста WebSTONE — его гибкость, позволяющая моделировать произвольные конфигурации и имитировать работу с различными узлами. При выполнении стандартной тестовой смеси можно получить показатель общей производительности конфигурации. В качестве параметров настройки используются продолжительность выполнения теста, число повторений, количество тестовых файлов, число страниц, опции программного и аппаратного обеспечения сервера, количество потомков, количество сетей, число клиентов, загрузка страниц, ведение журнала, отладка.

Продолжительность выполнения теста задается в минутах. Максимальное время определяется числом потомков и емкостью памяти, выделяемой для каждого клиента. Многократное повторение теста позволяет устранить элемент случайности, неизбежный при работе в сети, и выявить устойчивые закономерности.

Количество страниц, представляющих собой документ в формате HTML (текст, картинки в форматах GIF или JPEG), задается при формировании тестируемой конфигурации, максимально приближенной к реальной. Обычно страницы, подобранные в тестовом файле, являются типичными страницами Web, используемыми на наиболее распространенных узлах WWW.

При описании операционного окружения для работы теста необходимо задать конфигурацию программ и аппаратуры, число потомков Webchildren, страниц или файлов, загружаемых с сервера. Это позволяет имитировать различные реальные сетевые комплексы. Варьируя параметры и анализируя результаты тестирования, можно выявить оптимальные параметры для решения конкретной задачи. Для имитации нескольких сетей, управляемых одним сервером, достаточно задать параметр "количество сетей", не заботясь об именовании серверных узлов и организации потоков клиентов. Задание числа клиентов н их потомков позволяет имитировать различные режимы использования ресурсов, необходимых для работы каждого клиента и собственно процесса WebMASTER. При варьировании значений данного параметра можно моделировать клинчевые ситуации, когда много потомков одновременно запрашивают один и тот же ресурс. Каждая страница в тестовом наборе WebSTONE обладает весом, задающим активность использования страницы - чем выше вес, тем чаще будет осуществляться обращение к данной странице. Иногда для более подробного анализа работы клиента требуется точный протокол его работы, который не включается в результирующий отчет, формируемый процессом WebMASTER, а используется отдельно.

Тестируемая конфигурация должна состоять не менее чем из двух компьютеров, соединенных сетью. Первый является сервером Web, в качестве которого может выступать любой программный сервер, поддерживающий протокол HTTP 1.0.

Необходимо иметь WebMASTER, а также на этой или другой машине один или несколько клиентов Web - обычно это Unix-узлы. Например, на одной станции Indy с 32 Мбайт памяти могут нормально работать до 120 клиентов вместе с WebMASTER. Далее необходимо определить порядок взаимодействия между WebMASTER и клиентами, каждый из которых должен быть сконфигурирован так, чтобы WebMASTER мог перезапускать на них программу WebSTONE. Также полезно, чтобы суперпользователь имел возможность управлять работой клиентов и Web-сервера.

Основные понятия теста включают следующие определения.

Клиенты - один или несколько процессов, работающих с сервером. Увеличивая число одновременно работающих клиентов, можно выявить максимально допустимую для каждого конкретного сервера конфигурацию.

Число соединений в секунду - число успешных соединений TCP/IP, выполненных сервером за одну секунду при работе со всеми клиентами. Кроме собственно установления связи в процедуру соединения входят передача подтверждающего сообщения, получение ответа н закрытие ТСР/IР-соединения. Чем больше количество соединений, тем выше производительность конфигурации. Данный показатель определяет, с какой скоростью сервер способен отвечать на новые запросы, одновременно завершая текущие.

Число ошибок в секунду - количество сбоев, произошедших в процессе взаимодействия сервера с клиентом, например ошибка типа Connection Refused, возникающая при попытке установить соединение TCP/IP. Чем меньше значение данной характеристики, тем лучше и эффективнее работает конфигурация.

Латентность - среднее время, затрачиваемое на соединение клиента и сервера, а также на обработку запроса. Чем меньше латентность, тем лучше.

Закон Литтла (Little-s Law) - отношение времени, затрачиваемого на посылку сообщения, к времени ожидания ответа. Чем ближе значение этого показателя к числу клиентов, обслуживаемых данным сервером, тем лучше его производительность. Термин взят из теории очередей.

Пропускная способность - суммарное количество мегабит в секунду, проходящих через всех клиентов. Чем выше пропускная способность, тем лучше производительность.

В перспективе возможности WebSTONE будут расширены средствами поддержки proxy-серверов, стоимостными оценками, например затратами на эксплуатацию и модернизацию Web-сервера, оценками организации работы с транзакциями, активно использующими двоичные сценарии CG (Common Gate Interface), оценками эффективности построения защиты и производительности работы с распределенными базами данных.

Одновременно с началом использования WebSTONE рабочая группа SPEC SFS была расширена командой SGI WebSTONE, основная цель которой - доведение данного теста до уровня стандарта и выпуск отчетов SPEC Webperf. Кроме WebSTONE для проведения общего анализа эффективности работы Web можно также использовать программы WebStat - сценарий анализа трафика, WebTap - анализатор работы сервера при взаимодействии с приложениями Java, WebTrac - анализатор Web. Эти программы позволяют получить статистические оценки функционирования выбранной конфигурации.

Глава 2. Описание модуля электронного учебника по теме "Методы организации сложных экспертиз компьютерных систем"

2.1ПОНЯТИЕ И ТРЕБОВАНИЯ К ЭЛЕКТРОННОМУ УЧЕБНИКУ

Большие трудности часто возникают при оперативной подготовке, изготовлении и распространении учебных пособий различных видов. Данные факторы негативно сказываются на качестве подготовки обучаемых. В связи с этим большое внимание уделяется применению прогрессивных методик обучения, в том числе предполагающих использование вычислительной техники. Это позволяет существенно повысить качество и эффективность учебного процесса. Одной из форм повышения эффективности обучения являются электронные учебники.