Классификация технологий интеграции

Введение

Интегрированные технологии представляют собой взаимосвязанную совокупность отдельных технологий, т. е. объединение частей какой-либо системы с развитым информационным взаимодействием между ними. Достигается согласованное управление организацией, системой, объектом, координация функций, реализуется доступ многих пользователей к общим информационным ресурсам т.е. достигается качественно новый уровень управления.

Создание интегрированных информационных технологий требует учета особенностей структуры, специализации и объемов экономической деятельности предприятия. Это относится к организационному взаимодействию подразделений, которое вызывает необходимость строить многоуровневые и многозвенные технологии со сложными информационными связями. Так, необходимость учета многих критериев и факторов требует выработки концептуальной (идеологической) основы в построении информационных технологий сложного объекта. Для выработки идеологии требуется создание многоуровневой модели объекта, объединяющей ряд уровней и звеньев и отражающей предметную область наиболее полно. Выбор концептуальной основы должен опираться и на сложившуюся практику ведения и управления организацией. В российских условиях она еще не наработана.

Неинтегрированные комплексы технологий сложны и неэкономичны. Интеграция технологий, создавая единую информационную среду, позволяет расширить границы управления, повысить качество информации о состоянии хозяйственной деятельности. Следующая ее цель - обеспечить руководителям возможность оперативного воздействия на производственную деятельность, иными словами, повысить эффективность управления. Такой подход подразумевает использование всего ассортимента промышленных методов и средств построения информационных технологий в экономической практике.

Интеграция названных технологий в единые системы позволит многократно повысить эффективность выполнения операций и управления экономическим объектом. Их внедрение должно быть увязано со стратегией и тактикой развития объекта (фирмы, банка, предприятия).

Интеграция ИТ: основные понятия и технологии

Интеграция - задача очень объемная. Она тянет за собой огромную цепочку проблем, которые приходится решать компаниям, вставшим на путь обновления ИТ-инфраструктуры. Это и адаптация программных модулей под специфику деятельности, и корпоративные закупки новых аппаратных средств, и обучение сотрудников новым технологиям.

Интеграция может рассматриваться как возможность обмениваться данными между приложениями или как полная реструктуризация информационной среды предприятия для решения каких-то сверхзадач. Если только первое не вызывает особенных сложностей, то соответствующие технологии приняты и внедрены уже давно. Во втором случае за изменением тянется целая цепочка других проблем: как обеспечить «диалог» между программами, какие решения предпочесть для хранения данных, для разработки и взаимодействия программ и т. д. Задача осложняется еще и тем, что новые модули нужно объединять с существующими так, чтобы работа не останавливалась надолго. Иногда это находится на грани невозможного, поскольку методы интеграции приложений и данных порой требуют полного изменения структуры и формата БД, из-за чего перестают работать старые программы.

Сейчас есть три технологии, которые именуют «три «И» (или «три «Е» в английском варианте). Это интеграция корпоративных приложений (enterprise application integration, сокр. EAI), интеграция корпоративной информации (enterprise information integration, сокр. EII) и программное обеспечение для извлечения, преобразования и загрузки данных (extract, transform and load, сокр. ETL).

Эти технологии могут быть использованы для широкого круга задач: от интеграции в режиме реального времени до пакетной интеграции и от интеграции данных до интеграции приложений.

Краткие определения каждой из функций: - это технология, с помощью которой организация добивается централизации и оптимизации интеграции корпоративных приложений, обычно используя те или иные формы технологии оперативной доставки информации (push technology), которая управляется внешними событиями (event-driven); - это технология, которая преобразует данные (обычно с помощью их пакетной обработки) из операционной среды, включающей гетерогенные технологии, в интегрированные, согласующиеся между собой данные, пригодные для использования в процессе поддержки принятия решений. ETL-технология ориентирована на базы данных, например, хранилище, витрину или операционный склад данных; - это технология для интеграции в режиме реального времени несопоставимых типов данных из многочисленных источников как внутри, так и за пределами корпорации. Инструменты EII обеспечивают универсальный уровень доступа к данным и используют технологию поиска информации (pull technology) или возможности работы по запросам. Технология EII ориентирована на конкретных сотрудников, которые получают информацию через инструментальную панель или отчет.

Далее необходимо рассмотреть место этих технологий в уже существующей архитектуре. Технология EAI интегрирует транзакции двух или более приложений, технология ETL интегрирует данные операционных систем и компонентов поддержки принятия решений, а технология EII осуществляет виртуальную интеграцию данных из различных источников.

Технология EAI наиболее функциональна тогда, когда необходимо связать приложения в реальном времени для автоматизации бизнес-процессов. Второй случай применения EAI - это ситуация, когда необходимо, чтобы изменения, внесенные в одно приложение (обычно это небольшой набор записей), были отражены во всех других. Эта технология очень хорошо справляется с задачей фиксации изменений и их переноса в соответствующие приложения или системы. В бизнес-среде под «интеграцией приложений» понимается адаптация существующих настольных приложений, ERP-компонентов, данных в БД-форматах или открытых XML-стандартов, а также Java-аплетов к созданию новых бизнес-возможностей за счет совместного использования распределенных ресурсов.

Технология ETL оказывается наиболее полезной в тех случаях, когда необходимо создать хранилище данных, содержащее хорошо документированные и надежные данные для исторического анализа, например для анализа временных рядов или многомерных запросов. Эта технология также используется для интеграции ключевых справочных данных. Технология ETL незаменима для таких задач, как удаление дублирующихся данных, осуществление процессов проверки качества данных и т. п. Эти инструменты также используются для создания отдельных витрин данных, обслуживающих конкретный отдел или бизнес-процесс или предназначенных для каких-либо долгосрочных целей. Инструменты ETL дают пользователю возможность запустить повторяющиеся процессы для большей слаженности действий и возможности их многократного использования. Такие процессы включают создание точных технических метаданных, поддерживающих общую целостность среды business intelligence (BI).

Технология EII лучше всего подходит в тех случаях, когда необходимо создать общий шлюз (gateway) с едиными языком и точкой доступа к несогласованным источникам данных. Такие инструменты предоставляют приложениям и конечным пользователям возможности более гибкого, а также незапланированного доступа к данным, при этом не требуя постоянного использования данных или долговременных целей для получения этого доступа. Помимо традиционных реляционных баз данных, инструменты EII могут работать с XML- и LDAP-файлами, плоскими файлами и другими нереляционными данными. Эти инструменты также способны представлять реляционные данные в формате XML или формате web-сервисов. Особенно полезны инструменты EII, если есть необходимость добавить к справочным данным хранилища дополнительные детали, в частности детальную информацию в реальном времени (например, сопоставление исторических данных с текущей ситуацией).

Кроме понимания того, когда необходимо использовать эти технологии, нужно также знать и проблемы, которые им присущи. Во-первых, внедрение этих технологий требует от IT-персонала глубокого понимания тех требований, которые предъявляются к данным для принятия как тактических, так и стратегических решений. Применительно к технологии ETL это означает, что необходимые данные извлекаются, преобразуются и загружаются в виде, пригодном для использования непосредственно аналитиками или EII-сервером. В случае EII-технологии, способы представления данных должны удовлетворять отчетным требованиям аналитиков, т.е. данные должны быть пригодны для использования в аналитических отчетах. Во всех случаях понимание источников данных и требований, предъявляемых к данным, является необходимым шагом при внедрении этих технологий и безусловно оправдывает то время, которое приходится тратить, чтобы достичь этого понимания. интеграция информационный технология корпоративный

Кроме того, необходимо понимать, что внедрение этих инструментов в уже сложившуюся архитектуру требует от бизнес- и IT-персонала разработки такой стратегии управления данными и приложениями, которая будет постоянно поддерживать этот процесс в активном состоянии.

Обязательной составляющей такой стратегии должно быть осознание того, что повышается важность механизмов архивирования, а также того, что с самого начала должны быть созданы контрольные журналы. Это необходимо для обеспечения слаженности и надежности интегрированных данных и приложений.

И наконец, очень важен постоянный мониторинг производительности и эффективности этих технологий в условиях конкретной инфраструктуры. Их производительность в значительной степени будет зависеть от скорости архивирования данных, размеров и детальности данных, а также от эффективности функционирования системы в условиях полной нагрузки. При определении производительности также следует оценить влияние, которое эти инструменты могут оказывать на операционные приложения и системы. Поэтому необходим постоянный мониторинги этого влияния.

Интеграция корпоративных приложений (EAI) актуальна и по сей день, и особенно для корпоративных пользователей. Дело в том, что для большинства организаций поддержание в синхронизованном состоянии данных из множества гетерогенных систем по-прежнему является серьезной задачей. Именно поэтому EAI и остается важнейшим типом интеграции. Рассмотрим эту технологию подробнее.

Для взаимодействия приложений обычно используются такие методы, как обмен файлами, общая база данных, удаленный вызов и асинхронный обмен сообщениями. В этом списке нет прямого обмена данными между базами данных приложений: этот метод ближе не к интеграции приложений, а к перемещению данных. С точки зрения интеграции приложений важна возможность в процессе обмена данными выполнять какую-то содержательную обработку (например, при загрузке накладных пересчитывать товарные остатки). Прямой обмен данными, который обычно выполняется средствами класса ETL (extract, transfer, load) или самодельными утилитами, обычно такой возможности не предоставляет.

Обмен файлами

Обмен файлами - самый распространенный подход к организации взаимодействия. Это связано с относительной простотой реализации, а также существованием стандартных (или «почти» стандартных) форматов обмена. Например, большая часть корпоративных информационных систем позволяет загружать и выгружать файлы, например в формате CSV (Comma-Separated Values - «поля, разделенные запятыми»). Но у этого подхода есть и недостатки; если необходимо оперировать сложными структурами, то простые форматы обмена уже не пригодны. Возникающие в таких случаях специализированные форматы файлов должны «понимать» взаимодействующие системы, что ведет к жесткой зависимости систем друг от друга. Этот недостаток обычно преодолевают всевозможными утилитами конвертации данных. Кроме того, обычно обмен файлами подразумевает участие человека - кто-то должен выгрузить файл, скопировать его на другой компьютер, загрузить. Однако если интегрируемые методом обмена файлами системы имеют возможность автоматической загрузки/выгрузки (например, по расписанию), то данный подход позволяет построить полностью автоматизированное решение, которое вследствие своей простоты обладает высокой надежностью и пропускной способностью.

Общая база данных

Данный подход концептуально очень прост: несколько информационных систем или приложений используют одну базу данных. Главный его недостаток - связь между интегрированными приложениями настолько тесная, что иногда невозможно заметить границу между ними (обычно так интегрируются продукты одного производителя). Примером такого подхода могут служить большинство ERP-систем, где различные модули системы используют одну базу. Однако слишком тесная связь превращает конгломерат интегрированных приложений в монолит, в «суперсистему», отдельные части которой с трудом поддаются самостоятельной модернизации и замене. С этим борются, используя механизмы серверов баз данных (представления данных, промежуточные таблицы и т. п.), но далеко не всегда эффективно.

Удаленный вызов

Стандарты на удаленный вызов процедур возникли два десятка лет назад, позволяя программному коду, который выполняется на одном компьютере, вызывать код на другом. Стандарты: RPC, CORBA, DCOM, SOAP. Основной недостаток удаленного вызова - требование работоспособности всех задействованных приложений в момент взаимодействия.

Асинхронный обмен сообщениями

Это, пожалуй, единственный из перечисленных выше подходов, который создавался специально для интеграции информационных систем.

Идея концептуально проста и напоминает работу электронной почты. Когда приложению А необходимо вызвать какое-то действие в приложении Б, оно формирует соответствующее сообщение с данными и инструкциями и отправляет его посредством системы доставки сообщений. Слово «асинхронный» означает, что приложение А не должно ждать, пока сообщение дойдет до Б, будет обработано, сформирован ответ и т. п. Сообщение гарантированно доставляется благодаря механизму очередей сообщений, которые снимают с взаимодействующих систем заботу о надежности сети передачи данных, работоспособности взаимодействующих систем в конкретные моменты времени и т. д.

Недостаток данного подхода - высокая цена. Система гарантированной доставки на основе очередей сообщений обычно сама по себе недешева; единственным известным мне исключением является Microsoft Message Queue (MSMQ), компонент серверных операционных систем семейства Windows. Правда, есть и свободно распространяемые бесплатные (например, ActiveMQ), которые, тем не менее, нужно развернуть, обучить специалистов, поддерживать, написать адаптеры между системой доставки и приложениями и т. д.

Классификация технологий интеграции

На уровне отдельной организации проблема интеграции возникает сразу, как только в ней внедряется несколько корпоративных приложений. Как видно из предыдущего раздела, на уровне страны, региона или города предоставление услуг государством гражданам и бизнесу и реализация других деловых процессов в государстве требует также интеграции систем и данных.

Можно дать следующую классификацию технологий интеграции:

Системы интеграции корпоративных приложений (Enterprise Applications Integration, EAI) - технологии, ориентированные на решение проблем интеграции различных систем, приложений и данных внутри отдельной организации. Иногда для этих технологий используется аббревиатура A2A (Application-to-Application - приложение-приложение).

Системы интеграции между организациями (межведомственной интеграции) Business-to-Business (Business-to-Business Integration, B2Bi) - технологии, ориентированные на обеспечение безопасного, надежного информационного обмена между различными организациями и их информационными системами. Эти технологии обеспечивают пересылку информации за пределы сетевых экранов (firewall) и дают возможность автоматизировать бизнес-процессы в рамках «расширенных организаций», которые включают поставщиков, партнеров, потребителей продуктов и услуг и т.д.

Технологии управления бизнес-процессами (Business Process Management, BPM), являющиеся результатом естественной эволюции классических систем документооборота и делопроизводства (workflow systems) и систем класса EAI и B2Bi. Традиционные системы управления документами ориентировались в основном на пересылку информации между людьми, выполнявшими определенные действия. В отличие от технологий B2Bi, которые ориентированы на интеграцию данных в межведомственной среде, технологии BPM интегрируют данные, приложения и людей через единые бизнес-процессы. Это отражает современную точку зрения, что основой интеграции должны быть бизнес-процессы. Причина здесь состоит в том, что бизнес-процессы организации «пересекают» границы различных приложений, департаментов и организаций.

Следующая таблица показывает разницу между упомянутыми классами систем.

Традиционные технологии интеграции корпоративных приложений EAI и межведомственной интеграции B2Bi основаны на использовании так называемого брокера (узлапересылки, шлюза) сообщений.

Технологическим фундаментом брокера сообщений является, как правило, программное обеспечение промежуточного слоя пересылки сообщений (Messaging-Oriented Middleware, MOM), которое обеспечивает транспорт доставки информации и данных между прикладными системами. Примером такого программного обеспечения является «сервер очередей сообщений» MSMQ (Microsoft Message Queuing). Продукты этого класса обеспечивают транспорт гарантированной доставки сообщений между приложениями в территориально распределенной среде. Подход к интеграции приложений на основе продуктов класса MOM стал стандартным в области интеграции корпоративных информационных систем в конце 90-х годов.

Базовая идея этой технологии заключается в следующем. Пусть имеется несколько приложений, связанных некоторой коммуникационной средой, но, возможно, не очень надежной. Одно приложение (например, система документооборота A) должно переслать информацию/документ другому приложению (системе документооборота B). Система A передает документ серверу пересылки сообщений и «забывает» о нем. Сервер пересылки сообщений обеспечит гарантированную и однократную доставку информации в систему B.

Если при этом интегрируемые приложения находятся внутри организации в рамках одной корпоративной сети, то обеспечивается пересылка информации в режиме, «близком к реальному времени».

Если интегрируются приложения, находящиеся в разных организациях, то принцип «очереди сообщений» и гарантированной доставки, который реализуется MOM-продуктами, обеспечивает асинхронное взаимодействие и так называемое «слабое связывание». Приложение организации A не вправе ожидать мгновенной доступности приложения организации B, но программное обеспечение гарантированной доставки сообщений берет на себя ответственность за доставку информации между ними.

Таблица 1. Классификация технологий интеграции⁵

Технология	Кто принимает решение об использовании	Решаемая проблема
Workflow	Руководитель Департамента, отдела	Управление документами и пересылка документов
EAI и B2Bi	Руководитель департамента информационных технологий	Интеграция данных
BPM	Высшее руководство Организации (бизнес - руководство)	Улучшение выполнения Бизнес процессов и Повышение Эффективности работы за счет большей гибкости процессов

Необходимость наличия такого интеграционного элемента, как правительственный шлюз, не является очевидной в условиях, когда предоставление услуги не требует информационного обмена между ведомствами или когда число вовлеченных во взаимодействие ведомств невелико. В конце концов, при небольшом количестве ведомств можно организовать взаимодействие по принципу «каждый с каждым» и написать соответствующие независимые интерфейсы обмена.

Но на этапе реализации предоставления государством электронных услуг, которые требуют выполнения транзакций и связанного с ними информационного обмена между несколькими ведомствами, возникает необходимость создания службы интеграции информационных систем различных ведомств между собой. В противном случае задача интеграции по принципу «каждый с каждым и все со всеми» приведет к квадратичному росту сложности, а, значит, и стоимости такой интеграции.

Наличие одного узла, одной точки интеграции на основе брокера сообщений позволяет справиться с ростом сложности задачи интеграции по мере подключения новых информационных систем.

Сегодня брокеры сообщений могут объединять большое количество взаимодействующих систем. Результатом этого является то, что компания Gartner Group называет «Корпоративной нервной системой», т.е. инфраструктура брокера сообщений, к которой легко могут быть подключены по сути дела любые приложения и которая обеспечивает взаимодействие между ними в режиме, близком к реальному времени (см. рис. 1).

Рис. 1. Брокер сообщений

Брокер сообщений интегрирует гетерогенные приложения и хранилища данных и предоставляет три типа служб:

Пересылка сообщений и перемещение данных обеспечивает физический транспорт доставки сообщений между приложениями. Это может быть сделано на основе таких интернет-протоколов, как Hypertext Transfer Protocol (HTTP) и традиционных систем пересылки сообщений, например Microsoft Messaging Queuing и IBM MQ Series. Первые поколения этих технологий использовали собственные закрытые форматы для своих сообщений. В последнее время языком описания сообщений все больше становится XML.

Интеллектуальная маршрутизация, которая определяет для каждого сообщения то, к какому приложению оно должно попасть. Маршрутизация часто включает механизмы публикации и подписки, когда серверное приложение один раз «публикует» некоторое бизнес-событие для брокера сообщений, а определенное количество других бизнес-приложений, заинтересованных в данном событии, «подписываются» на него.

Трансформирование обеспечивает мапирование (определение соответствия) данных между потенциально различными семантиками одного приложения или разных приложений. Так, если одно приложение использует в формате своих данных буквы «М» и «Ж» для описания пола человека, а другое приложение использует для такого кодирования «1» и «0», то уровень трансформации брокера сообщений может мапировать информацию между приложениями, не меняя логику каждого из них. В более сложных ситуациях, когда одно приложение может ожидать 5 атрибутов в записи о клиенте, а другое приложение обеспечивает эти же атрибуты в двух различных записях баз данных, уровень трансформации может обеспечить мапирование между такими различными структурами данных.

Архитектура брокера сообщений может включать две дополнительных высокоуровневых службы:

управление бизнес-процессами (оркестрирование бизнес-процессов) доводит уровень интеллектуальной маршрутизации до возможностей автоматизации потоков работ (workflow), которые полностью обслуживают внутренние и внешние процессы;

мониторинг процессов и событий превращает брокер сообщений в центр информационных потоков внутри и вне предприятия, а также обеспечивает функции анализа бизнес-операций в масштабе, близком к реальному времени.

Помимо этого, брокеры сообщений, как правило, поддерживают работу со специфическими адаптерами для различных типов приложений и данных:

адаптеры к веб-службам;

адаптеры к мониторам транзакций;

адаптеры к различным реляционным СУБД;

API-адаптеры для популярных коробочных приложений.

Наличие указанных дополнительных высокоуровневых служб, а также средств для моделирования процессов (графических средств описания и модификации процессов), по сути дела, превращают системы EAI и B2Bi в системы класса BPM (системы управления бизнес-процессами).

Сервер Microsoft BizTalk Server представляет собой именно такую систему управления бизнес-процессами (BPM), которая обеспечивает широкий набор средств для определения сложных бизнес-процессов, в которых могут участвовать внешние организации. BizTalk Server включает в себя:

графические средства определения сложных, распределенных и долго протекающих (часы, дни, недели) бизнес-процессов. Эти средства имеют возможность разделения логики бизнес-процессов и физической реализации;

средства визуального определения структурированных бизнес-документов;

средства мапирования (определения соответствия) между различными форматами бизнес-документов, включая возможности задания правил трансформации;

средства управления (консоль) для определения организаций, вовлеченных в бизнес-процесс, и средства определения правил взаимодействия и обработки сообщений;

средства анализа, отслеживания и хранения документов для последующего анализа;

средства мониторинга и управления работой интеграционного шлюза.

Заключение

Использование принципа интеграции в компьютерных системах относится к различным аспектам организации технологий: интеграция информации в базах и банках данных; интеграция программ в единые интегрированные пакеты; интеграция распределенных сетевых технологий в целостные системы; интеграция функций управления предприятием в единый управляемый объект. Интегрированные технология представляют собой взаимосвязанную совокупность отдельных технологий, т. е. объединение частей какой-либо системы с развитым информационным взаимодействием между ними. Достигается согласованное управление организацией, системой, объектом, координация функций, реализуется доступ многих пользователей к общим информационным ресурсам, т. е. достигается качественно новый уровень управления.

К настоящему времени информационные технологии представляют собой совокупность отдельных локальных процессов, которые имеют узко специализированную направленность, не объединены в единую систему, не имеют автоматизированного информационного взаимодействия. Многие проблемы управления организацией, фирмой, банком решаются упрощенными, менее эффективными методами и средствами. Например, в коммерческом банке автоматизация фондовых операций и расчеты по пластиковым картам не имеют информационного взаимодействия. Не интегрированные комплексы технологий сложны и не экономичны. Интеграция технологий, создавая единую информационную среду, позволяет расширить границы управления, повысить качество информации о состоянии хозяйственной деятельности. Следующая ее цель - обеспечить руководителям возможность оперативного воздействия на производственную деятельность, иными словами, повысить эффективность управления. Такой подход подразумевает использование всего ассортимента промышленных методов и средств построения информационных технологий в экономической практике. Примерами технологий, в основу которых заложены промышленные средства их реализации, являются технологии:

оперативной обработки текущих данных;

оперативной обработки аналитических данных;

промышленные системы управления документами.

Интеграция названных технологий в единые системы позволит многократно повысить эффективность выполнения операций и управления экономическим объектом. Их внедрение должно быть увязано стратегией и тактикой развития объекта (фирмы, банка, предприятия).

Список литературы

1. Интеграция корпоративных приложений: основные понятия [Электронный ресурс].- Режим доступа: https://www.citcity.ru/11132/.

2. Имхофф Клодиа (Claudia Imhoff). Аналитические решения: понимание трех составляющих [Электронный ресурс].- Режим доступа: https://www.citcity.ru/11156/.

. Радаев Александр. Как сделать интеграцию бизнес-приложений эффективной? [Электронный ресурс].- Режим доступа: https://www.insapov.ru/integration-business- applicaton.html.

. Боркус Владислав. Методы и инструменты интеграции корпоративных приложений: Отчет/ RC Group.- М.: RC Group, 2006.- 13 с.

. Дэвид Оринштейн. Интеграция корпоративных приложений.- М.: Microsoft Press, 2002.- 454 c.

. Советов Б.Я. Информационные технологии: Учебник для студентов вузов / Б.Я. Советов, В.В. Цехановский.- М.: Высшая школа, 2006.- 260 с.

. Проектирование и реализация баз данных Microsoft SQL Server 2000 // Официальный учебный курс Microsoft.- 3-е издание.- М.: Питер, 2006.- 650с.

Классификация технологий интеграции

Поиск по сайту