Whitepaper: Angepasstes und skalierbares Sichtführungsprodukt

Die Sichtführung ist eine der häufigsten Anwendungen von maschinellem Sehen in der Fertigungsautomatisierung. Sichtführung bedeutet theoretisch, eine ausführbare Einheit für die Durchführung erforderliche Aktionen in die gewünschte Position zu bringen. Zu den ausführbaren Einheiten gehören Roboter, Zylinder, Motoren usw. Bei den erforderlichen Aktionen handelt es sich u. a. um Bestückung, Löten und Montage. Wie Sie Abbildung 1 entnehmen können, sind sichtgeführte Roboter in der Automatisierung weit verbreitet. Durch die Sichtführung wird dem Roboter praktisch Sehvermögen verliehen, was die Genauigkeit der Roboterbewegungen erheblich erhöht und die Anwendungsgebiete des Roboters erweitert.

Für die Umsetzung einer Sichtsteuerungsanwendung werden mehrere Technologien des maschinellen Sehens benötigt: a) Lageerkennung des Objekts, b) Kalibrierung und c) Kommunikation. Diese Sichtführungstechnologien sind auch in industriellen Bereichen weit verbreitet. Wie in Abbildung 2 zu sehen ist, werden wir die Technologie zur Lagerkennung eines Objekts in der Prüfanwendung verwenden, da wir vor der Prüfung in der Regel die Position eines Objekts durch den Algorithmus zur Lageerkennung eines Objekts bestimmen müssen. Aus dem gleichen Grund setzen wir die Lagererkennung eines Objekts auch in Dimensions-messanwendungen ein. Die Sichtführung ist also in der Technologie des industriellen maschinellen Sehens am weitesten verbreitet. 

Auf dem Markt sind mehrere kommerzielle Sichtführungsprodukte erhältlich. Sie können in zwei Gruppen eingeteilt werden: die eine Gruppe basiert auf einer Smart-Kamera und die andere auf einer traditionellen Kamera. Die Produkte mit Smart-Kamera sind von Cognex und KEYENCE, die mit traditioneller Kamera von HALCON. Tabelle 1 enthält die Kosten für die Verwendung dieser Produkte für maschinelle Sehen. Die Smart-Kamera ist benutzerfreundlich und weist hohe Produktkosten sowie niedrige Entwicklungskosten auf. Die traditionelle Kamera ist nicht benutzerfreundlich und weist niedrige Produktkosten sowie hohe Entwicklungskosten auf. Abbildung 3 können Sie entnehmen, dass die Verwendung der Smart-Kamera hauptsächlichen durch Ziehen und Klicken mit der Maus erfolgt. Bei der traditionellen Kamera muss ein professioneller Ingenieur die erweiterte Programmierung durchführen. Die Gesamtkosten für beide Produkttypen sind also hoch. Bei beiden Kameras – der Smart-Kamera und der traditionellen Kamera – müssen wir die gesamten Algorithmus-Pakete kaufen, wenn wir die Sichtführungsfunktion verwenden möchten. Dies ist auch der Grund für die hohen Kosten.

Ein anpassbares Sichtführungsprodukt ist notwendig, um die Lücke zwischen dem Kundebedarf und den kommerziellen Produkten auf dem Markt zu schließen. Für die Entwicklung stehen mehrere Herausforderungen an:

• Ein selbstinnovierter Bildverarbeitungsalgorithmus: Der Grund für die hohen Kosten eines kommerziellen Sichtführungsprodukts ist der Bildverarbeitungsalgorithmus. Um die Kosten des Systems zu senken, können wir keine kommerzielle Bibliothek für das maschinelle Sehen kaufen und müssen den Algorithmus selbst entwickeln. Innovationen generieren die Kernkompetenz für unser Produkt.
• Niedrige Kosten mit konkurrenzfähiger Leistung: Der Kunde akzeptiert kein Produkt, wenn die Leistung schlecht ist. Dies gilt auch dann, wenn die Kosten niedrig sind. Daher sollte die Leistung unseres selbstinnovierten Bildverarbeitungsalgorithmus im Vergleich zu den kommerziellen Produkten wettbewerbsfähig sein.
• Konfigurierbar für verschiedene Arten von Führungsanwendungen: Wir müssen verschiedene Arten von ausführbaren Einheiten führen, z. B. einen Scara-Roboter, einen 6-Achser, einen Zylinder oder einen Motor. Daher benötigen wir ein konfigurierbares System. Das bedeutet, dass der Benutzer das Produkt gemäß den Anforderungen an verschiedene Anwendungen konfigurieren kann. 
• Benutzerfreundlichkeit für die Bediener: Das Produkt sollte ebenso benutzerfreundlich sein wie eine Smart-Kamera.
• Industrielles Qualitätsniveau in der Fertigungsstraße: Die niedrigen Kosten dürfen die Qualität des Produkts nicht beeinträchtigen.
• Das Potenzial, Digital Factory zu unterstützen: Digitale Fabrik ist wichtig für TE, und viele Kunden sind daran interessiert. Also sollten wir die Möglichkeit in Betracht ziehen, eine Verbindung zum Netzwerk herzustellen und Informationen auszutauschen.

Wir haben eine innovative, konfigurierbare und angepasste Sichtführungslösung ausgearbeitet. Wir haben den gesamten Bildverarbeitungsalgorithmus für die Sichtführung selbst entwickelt und kein kommerzielles, auf dem Markt erhältliches Produkt gekauft, was die Kosten des Systems erheblich reduziert. Die Leistung unseres Systems ist vergleichbar mit der Leistung kommerzieller Produkte. Wir stellen ein konfigurierbares Produkt bereit, das für verschiedene Anwendungen konfiguriert werden kann. Unsere Lösung wird wie eine Smart-Kamera bedient: Der Benutzer kann die Software einfach durch Ziehen der Maus konfigurieren und eine Sichtführungsanwendung durch Klicken realisieren.  Wir haben unser Produkt geprüft, indem wir die Sichtführung mit verschiedenen Arten von Industrierobotern wie UR- und EPSON-Robotern durchgeführt haben – mit einem guten Testergebnis. Im Vergleich zu kommerziellen Produkten betragen die Kosteneinsparungen pro Satz etwa 5.000 US-Dollar. Berücksichtigt man die mehr als 200 potenziellen Einsatzmöglichkeiten, so können mit dieser Technologie über 1 Million US-Dollar eingespart werden.

Unser Produkt bietet eine umfassende Lösung für Sichtführungsanwendungen. Wie Sie Abbildung 4 entnehmen können, enthält unser Produktpaket die Software, den Miniatur-Controller und die 2-Megapixel-Industriekamera. Mit der Kamera werden die Bilder erfasst. Die Software kann sie verarbeiten und das Verarbeitungsergebnis zurückgeben. Der Miniatur-Controller ist in der Lage, die Software als Host auszuführen.

Die Software ist entscheidend für das gesamte System, das nicht nur mit den angepassten Bildverarbeitungsalgorithmen integriert ist, sondern den Benutzern auch eine konfigurierbare Bedienung bietet. Um dem Kunden die Komplettlösung zu bieten, stellen wir auch die Kamera und den Controller zur Verfügung. Der Kunde muss keine Zeit für die Auswahl der Kamera und des Hosts aufwenden.

Eine konfigurierbare Software zu entwickeln, ist ein komplexes Projekt. Zunächst erstellen wir den konzeptionellen Aufbau der Software (siehe Abbildung 5). Sie hat drei Schichten: Jede Schicht verwendet nur die darüber liegende Schicht und wird nur von der darunter liegenden Schicht verwendet. Die Funktionsmodule sind in den einzelnen Schichten gekennzeichnet. Für eine höhere Robustheit der einzelnen Schichten ist das Funktionsmodul in jeder Schicht auch für die Handhabung von Fehlern im Zusammenhang mit dem Funktionsmodul zuständig. 

Die unterste Schicht ist die I/O-Schicht (Input/Output), welche für die Kommunikation zwischen Software und Umgebung verantwortlich ist. Sie verfügt über vier Funktionsmodule. Das Kamera-Schnittstellen-Modul wird verwendet, um die Kamera auszulösen, Bilder aufzunehmen und die Parameter der Kamera zu lesen/festzulegen. Das TCP/UDP-Modul implementiert die TCP- und UDP-Protokolle, welche die Kommunikation mit dem Gerät ermöglichen, welches das TCP/UDP-Protokoll unterstützt. Derzeit unterstützen fast alle Industrieroboter das TCP/UDP-Protokoll. Das digitale I/O-Modul ermöglicht die Kommunikation über den traditionellen digitalen I/O. Das Archivmodul dient zur Archivierung der Informationen, wie Bilder, Systemprotokoll, Programmierrezept und Prüfungsergebnis.

In der Mitte befindet sich die Algorithmus- und Steuerungsschicht, die Bilder aus der I/O-Schicht empfängt, die erforderliche Verarbeitung und Rückmeldung an die I/O-Schicht und die GUI-Schicht durchführt. Diese Schicht ist zudem für die logische Steuerung der gesamten Software verantwortlich, um die komplexen Aufgaben für die einzelnen Schichten zu planen. 

Die oberste Schicht ist die GUI-Schicht, die zur Anzeige von Bildern und Ergebnissen verwendet wird. Darüber hinaus kann der Benutzer die Einstellung der Software durch interaktive Bedienung anpassen. 

In der Algorithmus- und Steuerungsschicht befindet sich eine Bibliothek mit einem selbst entwickelten Bildverarbeitungsalgorithmus. Der Aufbau und die Funktion der Bibliothek werden in Abbildungen 6 dargestellt. Zwei Hauptfunktionen der Bibliothek für das maschinelle Sehen sind die Darstellung der Bilddaten und die Verarbeitung der Bilder. 

Die Bilddarstellung der Bibliothek beeinflusst die Effizienz beim Lesen/Schreiben von Bilddaten im physischen Speicher des Computers. Sie hat also erhebliche Auswirkungen auf die Effizienz des Bildverarbeitungsalgorithmus. Wenn beispielsweise die Bilddaten eines 2-Megapixel-Bildes gelesen werden, führt der Algorithmus den Pixel-Lesevorgang 2 Millionen Mal durch. Normalerweise liest jeder Algorithmus die Bilddaten mehrmals. Wenn die Bildwiedergabe schlecht ist, wird die Effizienz des Algorithmus stark reduziert. Beim Testen unserer Bilddarstellung war die Geschwindigkeit bei einer guten Darstellung mindestens dreimal schneller als die Geschwindigkeit bei einer schlechten Darstellung. 

Die Bilddaten aus der I/O-Schicht weisen nicht die von uns definierte Bilddarstellung auf. Die Daten aus den I/O-Schichten haben in der Regel eines der folgenden drei Formate: Rohbilddaten aus der Kamera, das QT-Format (Qimage) oder das Visual Studio C++-Format (Cimage). Deshalb stellen wir einen Algorithmus zur Formatkonvertierung bereit, um die eingehenden Bilddaten in die spezifische Bilddarstellung umzuwandeln.

Über den Bildverarbeitungsalgorithmus bietet die Bildverarbeitungsbibliothek drei Hauptfunktionsmodule: 1) Bildverarbeitung, 2) mathematische Verarbeitung und 3) Lizenz.

1. Bildverarbeitung: Verfügt über den angepassten Bildverarbeitungsalgorithmus. Innerhalb dieses Moduls sind die Algorithmen zur Sichtführung in mehreren Untergruppen zusammengefasst. Jede Untergruppe ist für eine Art von Bildverarbeitungsalgorithmen zuständig. Die Untergruppe für die Lageerkennung eines Objekts stellt die Algorithmen für den Vorlagenabgleich bereit, die Untergruppe für die Kalibrierung bietet die Algorithmen für die Kalibrierungsfunktion usw.

2. Mathematische Verarbeitung: Mathematische Operationen sind die Grundlage des Bildverarbeitungsalgorithmus, der in der Bibliothek häufig verwendet wird. So haben wir unsere hocheffiziente Bibliothek für das maschinelle Sehen innerhalb der Bibliothek für das maschinelle Sehen realisiert. Dieses Modul hat vier Untergruppen, z. B. bietet die Trigonometrie-Untergruppe den Algorithmus für die Berechnung der Trigonometrie-Werte. Der Such-Untergruppe stellt verschiedene Arten von Suchalgorithmen bereit.

3. Lizenz: Der selbstinnovierte Algorithmus ist das Eigentum von TE. Daher stellen wir insbesondere eine Verschlüsselungs- und Entschlüsselungsfunktion bereit, mit der die Autorisierung des Produkts gesteuert wird.  

In diesem Bericht wird ein wiederholbares, skalierbares, erschwingliches und benutzerfreundliches Sichtführungsprodukt für Benutzer aller Erfahrungsstufen beschrieben. Wir haben unser Produkt geprüft, indem wir die Sichtführung mit verschiedenen Arten von Industrierobotern wie UR- und EPSON-Robotern durchgeführt haben – mit einem guten Testergebnis. 

Wir danken Herrn Josef Sinder aufrichtig, der viele Informationen und Technologien über das Embedded System für maschinelles Sehen mit uns geteilt hat.