Системы технического (машинного) зрения позволяют автоматизировать контроль выпускаемой продукции и управление производственными процессами путем анализа визуальной информации. Для формирования изображений используются промышленные видеокамеры. Программное обеспечение систем машинного зрения анализирует увиденное и передает эту информацию оператору, автоматизированной системе управления технологическим процессом, роботу или напрямую исполнительным механизмам для управления производственным процессом. Системы машинного зрения особенно эффективны в тех случаях, когда объем, скорость или сложность анализируемой информации существенно превышает способности оператора.
Рисунок 1 – Основные компоненты СТЗ
Термин «Машинное зрение», как правило, употребляется при описании систем и технологий, используемых в промышленной автоматизации, там, где используются «машины» в их наиболее широком понимании: техника как механизмы или устройства, выполняющие какую-либо работу. Термин «компьютерное зрение», несет несколько иную смысловую нагрузку: в первую очередь речь идет об использовании вычислительной машины – компьютера как основного элемента таких систем. Системы компьютерного зрения находят применение не только в промышленности (технике), но и в медицине (подсчет эритроцитов, иридодиагностика и др.), в задачах охраны и безопасности (распознавание номеров, лиц) и других. Основной упор в компьютерном зрении делается скорее на алгоритмическую часть, математику, нежели на области его практического применения.
Одно из наиболее распространенных приложений технического зрения –инспекции промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарственные препараты. Люди, работавшие на сборочных линиях, осматривали части продукции, делая выводы о качестве исполнения. Системы технического зрения для этих целей используют цифровые интеллектуальные камеры, а также программное обеспечение, обрабатывающее изображение для выполнения аналогичных проверок.
Системы технического зрения запрограммированы на выполнение узкоспециализированных задач, таких как подсчет объектов на конвейере, чтение серийных номеров или поиск поверхностных дефектов. Польза системы визуальной инспекции на основе технического зрения заключается в высокой скорости работы с увеличением оборота, возможности 24-часовой работы и точности повторяемых измерений. Преимущество машин перед людьми заключается в отсутствии утомляемости, болезней или невнимательности. Тем не менее, люди обладают тонким восприятием в течение короткого периода и большей гибкостью в классификации и адаптации к поиску новых дефектов.
Фотокамеры не эквивалентны системе зрения человека, в то время, как люди могут опираться на догадки и предположения, системы технического зрения должны «видеть» путем изучения отдельных пикселей изображения, обрабатывая их и пытаясь сделать выводы с помощью базы знаний и набора функций таких, как устройство распознавания образов. Однако, некоторые алгоритмы технического зрения были разработаны, чтобы имитировать зрительное восприятие человека, большое количество уникальных методов были разработаны для обработки изображений и определения соответствующих свойств изображения.
Типовое решение системы технического зрения включает в себя несколько следующих компонентов:
1. Цифровые или аналоговые камеры (черно-белые или цветные) с подходящей оптикой для получения изображений.
2. Интерфейс для изготовления изображений для обработки. Для аналоговых камер это оцифровщик изображений. Когда этот интерфейс –отдельное устройство, его называют «устройством захвата изображения».
3. Процессор (современный ПК c многоядерным процессором или встроенный процессор).
4. Программное обеспечение технического зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения.
5. Оборудование ввода/вывода или каналы связи для доклада о полученных результатах.
6.«Умная» камера – одно устройство, которое включает в себя все вышеперечисленные пункты.
7. Объективы, чтобы фокусировать требуемое поле зрения на формирователь изображения.
8. Специализированные источники света (светодиоды, люминесцентные и галогенные лампы и другие).
9. Специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.
10. Датчик для синхронизации частей обнаружения (часто оптический или магнитный датчик) для захвата и обработки изображений.
11. Приводы определенной формы, используемые для сортировки или отбрасывания бракованных деталей.
Датчик синхронизации определяет, когда деталь, которая часто движется по конвейеру, находится в положении, подлежащем инспекции. Датчик запускает камеру, чтобы сделать снимок детали, когда она проходит под камерой и часто синхронизируется с импульсом освещения, чтобы сделать четкое изображение. Освещение, используемое для подсветки деталей, предназначено для выделения особенностей, представляющих интерес, и скрытия или сведения к минимуму появления особенностей, которые не представляют интереса (например, тени или отражения). Для этой цели часто используются светодиодные панели подходящих размеров и расположения.
Изображение с камеры попадает в захватчик кадров или в память компьютера в системах, где захватчик кадров не используется. Захватчик кадров – это устройство оцифровки (как часть «умной» камеры или в виде отдельной платы в компьютере), которое преобразует выходные данные с камеры в цифровой формат. Как правило, это двумерный массив чисел, соответствующих уровню интенсивности света определенной точки в области зрения, называемых пикселями. Этот массив размещает изображения в памяти компьютера так, чтобы оно могло быть обработано с помощью программного обеспечения для технического зрения.
Программное обеспечение, как правило, совершает несколько шагов для обработки изображений. Часто изображение сначала обрабатывается с целью уменьшения шума или конвертации множества оттенков серого в простое сочетание черного и белого (бинаризации). После первоначальной обработки программа будет считать, производить измерения и/или определять объекты, размеры, дефекты и другие характеристики изображения. В качестве последнего шага, программа пропускает или забраковывает деталь в соответствии с заданными критериями. Если деталь идет с браком, программное обеспечение подает сигнал механическому устройству для отклонения детали; другой вариант развития событий – система может остановить производственную линию, предупредить рабочего о необходимости решения возникшей проблемы и сообщить о том, что именно привело к неудаче.
В основном большинство систем технического зрения полагаются на «черно-белые» камеры, использование цветных камер становится все более распространенным явлением. Все подобные системы используют цифровые камеры прямого подключения, а не камеры с отдельным захватчиком кадров, что сокращает расходы и упрощает систему.
«Умные» камеры со встроенными процессорами, захватывают все большую долю рынка технического зрения. Использование встроенных (и часто оптимизированных) процессоров устраняет необходимость в карте захватчика кадров и во внешнем компьютере, что позволяет снизить стоимость и сложность системы, обеспечивая вычислительную мощность для каждой камеры.
«Умные» камеры, как правило, дешевле, чем системы, состоящие из камеры, питания и внешнего компьютера, в то время как повышение мощности встроенного процессора и ЦСП часто позволяет достигнуть сопоставимой или более высокой производительности и больших возможностей, чем могут обеспечить обычные ПК-системы.
Коммерческие пакеты программ для технического зрения и пакеты программ с открытым исходным кодом обычно включают в себя ряд методов обработки изображений, таких как:
– счетчик пикселей – подсчитывает количество светлых или темных пикселей;
– бинаризация – преобразует изображение в серых тонах в бинарное (белые и черные пиксели);
– сегментация – используется для поиска и/или подсчета деталей;
– поиск и анализ блобов – проверка изображения на отдельные блобы связанных пикселей (например, черной дыры на сером объекте) в виде опорных точек изображения, блобы часто представляют цели для обработки, захвата или производственного брака;
– покомпонентное распознавание и извлечение геонов (geons) на входном изображении;
– надежное распознавание по шаблонам – поиск по шаблону объекта, который может быть повернут, частично скрыт другим объектом, или отличаться по размеру;
– чтение штрихкодов – декодирование 1D и 2D кодов, разработанных для считывания или сканирования машинами;
– оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров;
– измерение – измерение размеров объектов в дюймах или миллиметрах;
– обнаружение краев – поиск краев объектов;
– сопоставление шаблонов – поиск, подбор, и/или подсчет конкретных моделей;
– обработка нейронной сети – взвешенное и самообучающееся многовариантное принятие решений.
В большинстве случаев, системы технического зрения используют последовательное сочетание этих методов обработки для выполнения полного инспектирования. Например, система, которая считывает штрихкод, может также проверить поверхность на наличие царапин или повреждения и измерить длину и ширину обрабатываемых компонентов.
Применения технического зрения разнообразны и используются в различных областях, в том числе:
– крупное промышленное производство;
– ускоренное производство уникальных продуктов;
– системы безопасности в промышленных условиях;
– контроль предварительно изготовленных объектов (контроль качества, исследование допущенных ошибок);
– системы визуального контроля и управления (учет, считывание штрихкодов);
– контроль автоматизированных транспортных средств;
Системы технического зрения широко используются в производстве полупроводников, без технического зрения процент работающих микросхем был бы существенно снижен. Системы технического зрения проверяют кремниевые пластины, процессорные чипы и компоненты, такие как резисторы и конденсаторы.
Для зондовых установок и установок разделения, объектом распознавания которых является кремниевая пластина, СТЗ включает оптико- телевизионную систему с системой освещения, устройство распознавания, обрабатывающее сигнал от фрагмента изображения пластины, устройство управления координатными перемещениями и координатный привод. Система использует при распознавании и ориентации координатный X, Y, j привод, имеющийся в установке для выполнения основной технологической операции. Оптико-телевизионная система фиксируется неподвижно, поскольку относительно нее перемещается объект (пластина), расположенный на координатном приводе, в связи с чем ее масса и габаритные размеры не ухудшают динамические характеристики привода и уменьшают производительность оборудования. Стационарное положение оптико-телевизионной системы позволяет сравнительно несложно решить задачу равномерного освещения ее поля зрения. Требуемая для оборудования погрешность ориентации пластины по углу достигается с помощью ее перемещений координатным приводом относительно оптико-телевизионной системы, поэтому ее отклонения от ортогональности систем координат ТВ датчика и координатного привода могут достигать 0,3°. Структурная схема СТЗ приведена на рисунке 2.
Рисунок 2 – Структурная схема СТЗ
Анализируемый фрагмент пластины может иметь одинаковые размеры для любых ее типов и размеров, поскольку с помощью координатного привода можно последовательно осмотреть всю пластину. Это позволяет иметь оптическую с постоянной кратностью увеличения.
СТЗ установок монтажа кристаллов предназначена для ориентации объекта относительно инструмента – вакуумной присоски, однако объектом распознавания является кристалл, а не пластина. Кроме функции ориентации, на этих установках необходимо распознавать маркировочные отметки на кристалле, сколы и царапины на его поверхности, неразделенные кристаллы и другие.
СТЗ с однопольной оптической системой имеют недостаток – низкое быстродействие, непосредственно влияющее на производительность оборудования. Специальная конструкция оптической системы с двумя разнесенными каналами и проекцией двух фрагментов изображения пластины на мишень ТВ – датчика обеспечивает значительное уменьшение погрешности угловой ориентации пластины без применения координатного привода.
Соответствующая структурная схема СТЗ позволяет сократить время ориентации за счет исключения «переездов» координатного привода.
К недостаткам двупольной оптической системы относятся:
– проекция двух оптических изображений на одну мишень ТВ – датчика требует выравнивания их средней яркости раздельной регулировкой осветителей;
– затруднены юстировка и проверка правильности установки оптической системы координат, особенно в том случае, если имеется привод только по j;
– конструктивно двупольная оптическая система требует значительно большего пространства для установки и, следовательно, например, в зондовом оборудовании на рабочей позиции практически не компонуется.
Основным объектом сборки являются кристаллы полупроводникового прибора. Они могут находиться в неразрезанной пластине, приклеенными на адгезионном носителе, смонтированными в корпусе прибора и присоединенными проволочными выводами.
На позицию зондового контроля поступает пластина, на которой методом планарной технологии изготовлены кристаллы ИС. Кристаллы на пластине содержат рисунок металлизации, который наносится на различных по глубине слоях. Глубина слоев около микрометра, что соизмеримо с длинами волн видимого спектра. Поверхность кристалла защищена слоем пассивации толщиной 0,5 – 2 мкм, от которого зависит цвет кристалла в отраженном потоке света. Контактные площадки на кристалле, предназначенные для присоединения проволочных выводов, вскрываются из – под защитного покрытия. Они являются наиболее стабильными объектами на поверхности кристалла по отражательной способности, однако коэффициент отражения от них также изменяется в зависимости от качества поверхности алюминия, его окисления при длительном хранении и нагревании, т.е. от технологии изготовления кристаллов. Таким образом, контрастность изображения кристалла может изменяться в значительных пределах, и стабильность этой характеристики кристалла определяется, в первую очередь, стабильностью технологического процесса изготовления пластины.
После операции зондового контроля пластина приклеивается на адгезионный носитель, помещается в спутник и поступает в установку разделения. В данном случае изображение пластин уже деформировано по сравнению с исходным, поскольку на контактных площадках остались следы зондов, а центре кристаллов, не прошедших по электрическим параметрам, краской нанесены маркировочные отметки. После разделения пластины на отдельные кристаллы последние, будучи приклеенными на адгезионном носителе в спутнике, сохраняют форму пластины, однако вместо дорожек разделения имеются пропилы от инструмента разделения. В ряде случаев, если разделение осуществляется лазерным лучом с последующей ломкой пластины на кристаллы перед помещением их на установку монтажа, пленка с кристаллами растягивается так, чтобы между ними образовался зазор. В этом случае кристаллы уже не сохраняют первоначальную форму пластины, однако взаимные расстояния между ними выдержаны достаточно точно. Объектом распознавания является индивидуальный кристалл. Изображение отдельного кристалла, кроме указанных выше деформаций в виде искажения поверхности контактных площадок зондами и маркировочных отметок краской, может иметь сколы, царапин, а в некоторых случаях и неразделенные между собой два и более кристалла. Все эти деформации за исключением следов от зондов, СТЗ должна выделить.
Для малых кристаллов, размер стороны которых менее 1 мм, имеются случаи отклонения плоскости поверхности кристалла относительно плоскости пластины.
Оптико-телевизионные системы (ОТС) сборочного оборудования предназначены для визуального контроля процессов, происходящих на позиции сборки, наладочных операций, выполняемых оператором, наблюдающим за объектами и протекающими процессами на экране монитора, а также для преобразования свет – сигнал при автоматизации визуальных операций.
Конструктивное решение сборочной установки непосредственно обусловливает конструкцию оптической системы. Поскольку решаются задачи распознавания различных объектов, в СТЗ, как правило, предусмотрена возможность изменения кратности оптического увеличения – панкратическим объективом.
Оптическая система имеет два полупрозрачных зеркала: первое для формирования светлого поля изображения, в второе – для видиконов, поворачивающее изображение на 90°. Развертки ТВ датчика и видеоконтрольного устройства установлены одинаковым образом так, что их начало находится в левом верхнем углу. При этом рассматриваемое изображение будет прямым по отношению к наблюдателю.
Наклонное зеркало в оптическом канале дает на мишени ТВ датчика зеркальное изображение рассматриваемого предмета, которое не согласуется с изображением того же предмета, рассматриваемого оператором с помощью оптических устройств. Если для системы технического зрения нет принципиальной разницы, прямое или зеркальное изображение подвергается распознаванию, то оператору это может приносить неудобства, поскольку на установках сборки изделий микроэлектроники он манипулирует с миниатюрными объектами (проволока диаметром 25 – 40 мкм, кристаллы с контактными площадками размером 100 х 100 мкм и другие). Для установки зеркального отображения объекта формируется зеркальный растр ТВ датчика или видеоконтрольного устройства изменением порядка подключения катушек развертывающих токов отклоняющей системы. Схема оптической системы с переменным увеличением приведена на рисунке 3.
Изменение кратности увеличения оптической системы обусловливается различными причинами. Например, при размере кристаллов 0,4 х 0,4 мм рекомендуемое поле зрения должно быть на более 0,8 х 0,8 мм. Для больших кристаллов поле зрения ограничено величиной 2,5 х 2,5 мм исходя уже не из размеров кристаллов, а из допустимой погрешности определения положения пластины 10 мкм. Практически поле зрения в установках монтажа кристаллов может изменяться от 0,8 х 0,8 до 7,5 х 7,5 мм.
Рисунок 3 – Оптическая система с переменным увеличением
Распознавание изображений – отнесение данного изображения к одному из заранее описанных теми или иными средствами классов изображения. Устройство распознавания изображения СТЗ сборочного оборудования анализирует поступающий видеосигнал, опознает по нему наличие объекта сборки и определяет его положение в плоскости.
Устройство распознавания полупроводниковых пластин методом проекций и сравнения с эталоном предназначено для СТЗ автоматической установки дисковой резки полупроводниковых пластин.
Техническое зрение относится к инженерным автоматизированным системам визуализации в промышленности и на производстве, и в этом смысле оно связано с самыми разными областями компьютерных наук:
– компьютерное зрение;
– оборудование для управления;
– базы данных;
– сетевые системы;
– машинное обучение.
Не стоит путать техническое и компьютерное зрения. Компьютерное зрение является более общей областью исследований, тогда как техническое зрение является инженерной дисциплиной, связанной с производственными задачами.