Whitepaper: Kostengünstiges kundenspezifisches Digitalmikroskop

Bei TE sind viele verschiedene Mikroskope im Einsatz, einschließlich Stereomikroskope, digitaler Mikroskope, metallographischer Mikroskope, Polarisationsmikroskope, 3D-Mikroskope und Elektronenmikroskope, etc. Sie werden nicht nur im Labor, sondern auch in Montage-, Stanz- und Formproduktionslinien verwendet. Am meisten genutzt werden Stereomikroskope (Bild 1 (a)) und digitale Mikroskop (Bild 1 (b)), die beide zum optischen Mikroskop gehören, das das Bild auf der Grundlage sichtbaren Lichts erzeugt. Wir können optische Mikroskope für die Qualitätskontrolle, die Fertigungshilfe, die Prozessüberwachung und vieles mehr nutzen.

Stereomikroskope und Digitalmikroskope haben ihre Nachteile. Zum einen handelt es sich um Standardprodukte, die nicht angepasst werden können. Die Kunden wünschen sich aber ein konfigurierbares Gerät mit verstellbarem Sichtfeld und Arbeitsabstand, einstellbarer Bedienungsmethode und Bedienungsstation, und die Software soll für verschiedene Anwendungen angepasst werden können. Zweitens verursacht ein schlechtes ergonomisches Design bei langfristigen Einsätzen Ermüdungserscheinungen und Unbehagen. So ruft das Stereomikroskop Müdigkeit der Augen hervor. Beim Digitalmikroskop ist der Bildschirm so nah am Auge, dass der Bediener dies als sehr störend empfindet. Drittens sind die Kosten für das optische Mikroskop sehr hoch. Der allgemeine Preis des Digitalmikroskops, wie in Bild 1 (b) gezeigt, liegt bei etwa 3.350 US-Dollar. Wenn wir einige Funktionen anpassen möchten, wird der Preis extrem hoch.

Ein anpassbares digitales Mikroskop ist notwendig, um die Lücke zwischen dem Bedarf der Kunden und den Produkten auf dem Markt zu schließen. Für die Entwicklung stehen mehrere Herausforderungen an:
1) Niedrige Kosten für das maschinelle Sichtsystem bei wettbewerbsfähiger Leistung: Wir müssen ein maschinelles Sichtsystem entwickeln, das eine industriell hochauflösende Kamera, ein konfigurierbares Objektiv, eine Beleuchtungseinheit, eine hochauflösende Anzeige und einen ergonomischen kostengünstigen Rahmen beinhaltet
2) Ergonomisches Design: Für einige Anwendungen nutzen die Bediener das Mikroskop über einen langen Zeitraum hinweg, wodurch die Ergonomie der Bedienung sehr wichtig ist
3) Industrielles Qualitätsniveau in der Produktionslinie: Die niedrigen Kosten sollten die Qualität des Produkts nicht beeinträchtigen
4) Das Potenzial, Digital Factory zu unterstützen: Digital Factory ist wichtig für TE, und viele Kunden sind daran interessiert. Also sollten wir die Möglichkeit in Betracht ziehen, eine Verbindung zum Netzwerk herzustellen und Informationen auszutauschen
Wir haben ein kostengünstiges anpassbares Digitalmikroskop entwickelt. Um die Kosten des Systems zu senken, wählen wir das Embedded System als Verarbeitungszentrum aus und bauen das Sichtsystem auf Basis der Komponentenebene. Dank des konfigurierbaren Objektives kann die Präzision 1,9 Mikrometer mit Standardobjektiv und weniger als 1,0 Mikrometer mit spezifischen Objektiven erreichen. Sowohl Arbeitsabstand als auch Sichtfeld sind verstellbar. Unser ergonomisches Design mit Universalrahmen und hochauflösendem Display (11,6 "1080p) eignet sich für den Dauereinsatz. Zur Unterstützung von Digital Factory lässt sich dank unserer PC-Software das Digitalmikroskop an das Netz anschließen. Im Vergleich zu dem Produkt auf dem Markt (3.350 USD) erhalten Sie unser System für 1.500 USD. Unser Produkt hat das CE-Zertifikat erhalten und wird in verschiedenen Anlagen getestet. Viele Betriebe zeigen großes Interesse und fragen nach dem Produkt.

Wir bieten zwei Arten von anpassbaren Digitalmikroskopen, wie in Bild 2 und Bild 3 gezeigt. Beide bestehen aus dem Sichtsystem und dem Rahmen. Das Sichtsystem besteht aus einer Farbkamera mit 6-Mega-Pixel zur Bilderfassung, dem Embedded System zur Verarbeitung des Bildes, einem konfigurierbaren Objektiv, einer LED-Ringbeleuchtung und einem Display mit 11,6 "1080P. Der Rahmen besteht aus dem Monitorarm, um die Position und den Winkel des Monitors einzustellen, dem Kameraarm, um den Arbeitsabstand und den Winkel der Kamera anzupassen, und dem Sockel, um alle Komponenten zu halten. Der Unterschied zwischen Typ 1 und Typ 2 besteht darin, dass Typ 1 einen Monitorarm mit DOF 7 (Freiheitsgrad) besitzt und dadurch flexibler jeden Winkel und jede Position erreichen kann. Der Monitorarm mit DOF 5 ist stabiler. Der Kunde kann den entsprechenden Typ auf der Basis seiner Anwendungen auswählen.
Bei einem Digitalmikroskop macht der bildgebende Effekt die grundlegende Leistung aus, der vom gesamten Sichtsystem einschließlich der Beleuchtung, der Kamera, des Objektives und des Bildverarbeitungsalgorithmus bestimmt wird. Wir haben einige anspruchsvolle Aufgaben ausgewählt. Die erste stellt der Knopfsensor mit einem Durchmesser von etwa 5 mm dar. Und die Herausforderung besteht darin, dass wir ein solch kleines Produkt in etwa 110 mm Entfernung ausleuchten müssen. Die Distanz von 110 mm dient für in Reihe geschaltete Hot-Tip-Lötung. Die zweite stellt ein Feinsicherungsprodukt dar, das etwa 3 mm breit und dessen Oberfläche mit Klebstoff bedeckt ist. Die dritte ist das Lötungsprodukt, dessen Prozess in TE sehr gängig ist. Bild 4 zeigt den Abbildungseffekt dieser Produkte, der sehr gut ist. Man kann sogar die Textur auf der Oberfläche sehen.

Neben dem Abbildungseffekt ist auch die Bedienung des digitalen Mikroskops sehr wichtig und für den Bediener von größter Relevanz. Unser Produkt ist komplett für eine ergonomische Bedienung optimiert. Das parfokale Objektiv unterstützt die optische Vergrößerung durch Drehen des Reglers, wie in Bild 5 (a) dargestellt. Die Position und der Winkel des Monitors sind durch den 5/7-DoF-Monitorarm anpassbar. Die Benutzeroberflächen (UI) von Embedded Software und PC-Software sind benutzerfreundlich und intuitiv für den Einsatz, wie in Bild 5 (c) & (d) gezeigt. Unsere PC-Software eignet sich für den Informationsaustausch mit dem Digitalmikroskop, beispielsweise um Bilder auf dem PC zu speichern.

Bild 6 zeigt die Revolution und Architektur des Digitalmikroskops. Früher hatten wir mehrere Versionen. Die ursprüngliche Idee basiert auf der Smart-Kamera. Aus Kostengründen lehnen wir dieses Design ab. Dann würden wir gerne die Überwachungskamera nutzen. Laut unserem Test ist die Qualität der Überwachungskamera nicht gut genug, da die Videokomprimierung im Inneren stattfindet, wodurch die Qualität beeinträchtigt wird. Auch lässt sich die Kamera nur schwer anpassen. Wir würden außerdem gerne das Konzept "Gesamter PC" verwenden, aber es ist schwierig, den gesamten PC in das Digitalmikroskop zu integrieren. Schließlich haben wir das Embedded System ausgewählt. Das Zentrum des digitalen Mikroskops stellt ein Embedded System dar, das auf dem kundenspezifischen Linux-System basiert. Die Rohdaten der Kamera werden per Embedded System verarbeitet und im Schaltfeld angezeigt. Viele Bildverarbeitungsalgorithmen werden im Embedded System ausgeführt. Dazu gehören die Bayer-Interpolation, Rauschunterdrückung, Schärfe, Gammakorrektur, Kontraststeuerung, Farbunterdrückung, Bildoptimierung und Weiteres. Unter Berücksichtigung des großen Datenvolumens sollte die Berechnungsfähigkeit des Embedded System stark genug sein. Hier nutzen wir die GPU-Beschleunigung, die wir später einführen.

Das Digitalmikroskop kann über das Ethernet mit dem PC kommunizieren. Bei Bedarf lässt sich der PC mit dem MES/ERP-System verbinden, um Informationen im internen Netzwerk von TE zu verteilen. Im Moment besprechen wir mit dem Digital Factory-Team, welche Informationen und Funktionen benötigt werden. Wenn die Funktionen definiert sind, haben wir die Möglichkeit, über das Embedded System direkt mit dem MES/ERP-System zu kommunizieren.

Für ein farbenfrohes Bild besteht jedes Pixel aus drei Farbkanälen: dem R-Kanal, dem G-Kanal und dem B-Kanal. Der Fotosensor der Kamera reagiert jedoch auf alle sichtbaren Frequenzen, das heißt, er erzeugt nur das monochrome Bild. Um ein farbenfrohes Bild zu erzeugen, wird der Farbfilter vor den Fotosensor platziert, damit nur die gewünschte Farbe übermittelt wird. Die Rohdaten des bunten Bildes sind dann eine Anordnung von RGB-Pixeln, wie in Bild 7 (a) dargestellt.

Jedes Pixel enthält nur einen Teil der Farbinformationen. Wir müssen das bunte Bild aus dieser Anordnung wiederherstellen. Es gibt mehrere Wiederherstellungsalgorithmen. Grundsätzlich ist die nebenstehende Information der einzelnen Pixel stark mit dem echten Wert der fehlenden Farbe verbunden. Unsere Methoden basieren auf der Kombination aus den benachbarten Pixeln. Es gibt zwei Arten von Muster in Bild 7 (b). Wenn der grüne Kanal wie angezeigt existiert, sollte nur der Durchschnitt des benachbarten Wertes verarbeitet werden. Anderenfalls müssen wir den Einfluss der angrenzenden Pixel berücksichtigen.

Hier führe ich nur den Fall mit R-Kanal auf. Wir können auch den R-Kanal durch B-Kanal ersetzen und die Gleichung (2) mit der gleichen Methode verwenden.

Rauschen ist für ein Bild unvermeidbar. Hier hat die Analyse ergeben, dass die Quellen des Rauschens das CCD und die Umgebung darstellen. Bei dieser Art von Rauschen handelt es sich hauptsächlich um weißes Rauschen, so dass wir es vorgezogen haben, den umgekehrt harmonischen Mittelfilter zu verwenden. Die Wirkung der Schärfe ist in Bild 8 zu sehen, weniger Rauschen wird im Bild nach dem Algorithmus zur Rauschunterdrückung angezeigt.

Unsere Schärfemethode basiert auf dem Kirsch-Algorithmus, der den Gradienten der einzelnen Punkte berechnet und die Region mit einer großen Amplitude des Gradienten optimiert und die Region mit einer kleinen Amplitude des Gradienten unterdrückt. Die Gleichung wird unten ausgedrückt. In der realen Berechnung berechnen wir mit der Kirsch-Vorlage den Gradienten an jedem Pixel. Die Wirkung der Schärfe ist in Bild. 9 zu sehen.

Für eine 6-Mega-Pixel-Farbkamera beträgt das Datenvolumen etwa 180MB pro Sekunde. Um solch große Volumendaten verarbeiten zu können, brauchen wir eine starke Berechnungsfähigkeit in Echtzeit. Dazu verwenden wir den Parallelrechner. Wie der Name schon sagt, teilt der Parallelrechner die Aufgabe in viele kleine Jobs ein und bearbeitet diese Jobs parallel. Das parallele Rechnen belastet die CPU nicht. Es wird vollständig von der GPU verarbeitet, daher ist es speziell für die Verarbeitung von Big Data Volumina konzipiert, wie in Bild 10 (a) gezeigt.
Der Grund, warum wir den Parallelrechner im Bildverarbeitungsalgorithmus des Digitalmikroskops anwenden können, ist, dass der Prozess unserer Bildverarbeitungsalgorithmen wie Bayer-Interpolation, 2D-Rauschunterdrückung, Schärfe und andere nur mit dem Originalbild zusammenhängt, was bedeutet, dass die Verarbeitung jedes einzelnen Pixels im Bild nicht korreliert und wir diese Pixel parallel verarbeiten können. Wie in Bild 10 (b) zu sehen ist, können wir das obere linke Pixel und das untere rechte Pixel gleichzeitig verarbeiten.

Für Digital Factory ist die Basis die Kommunikation. Hierzu entwerfen wir eine robuste Ethernet-Verbindung. Bild 11 veranschaulicht den Arbeitsablauf dieser robusten Ethernet-Verbindung. Der Server erkennt die neue Anfrage des Clients. Wenn eine Anfrage eintrifft, wird ein neuer Kommunikations-Thread für den Client erstellt. Wenn eine Verbindung hergestellt wird, startet das System die Selbstdiagnose, um den Verbindungsstatus zu überprüfen und jeden Fehler zu erkennen und sich automatisch davon zu erholen. Die Vorteile des Ethernet-Moduls sind: 1) Automatische Verbindung; 2) Automatische Fehlererkennung 3) Automatische Wiederherstellung; 4) Multithread-Programmierung, ohne den Betrieb der Software während des Versendens/Empfangens der Datei zu blockieren

In diesem Beitrag werden die Innovationen rund um das kostengünstige, anpassbare digitale Mikroskop vorgestellt, darunter die Plattformübersicht, der Abbildungseffekt, die ergonomische Bedienung, die Systemarchitektur, die Bayer-Interpolationsmethode, die 2D-Rauschunterdrückungsmethode und die Methode für Bildschärfe. Wir stellen auch vor, wie Daten mit hohen Volumina auf der Basis von Parallelrechnern verarbeitet werden. Abschließend haben wir die Ethernet-Verbindung vorgestellt.
Um die Kosten des Systems zu senken, wählen wir das Embedded System als Verarbeitungszentrum aus und bauen das Sichtsystem auf Basis der Komponentenebene. Dank des konfigurierbaren Objektives kann die Präzision 1,9 Mikrometer mit Standardobjektiv und weniger als 1,0 Mikrometer mit spezifischen Objektiven erreichen. Sowohl Arbeitsabstand als auch Sichtfeld sind verstellbar. Wir unterstützen sowohl die optische als auch die elektrische Vergrößerung. Unser ergonomisches Design mit Universalhalterung und hochauflösendem Display (11,6 "1080p) eignet sich für den Dauereinsatz. Im Vergleich zu dem Produkt auf dem Markt (3.350 USD) erhalten Sie unser System für 1.500 USD.
Die Vorteile dieses Produktes bestehen darin, dass es kostengünstig mit industriellem Qualitätsniveau ist, für die TE-Anwendung angepasst ist und ein ergonomisches Design für den Dauereinsatz besitzt.
Um Digital Factory zu unterstützen, stellen wir die PC-Software zur Verfügung, mit der das Digitalmikroskop angeschlossen werden kann. Das Bild kann direkt im PC gespeichert werden, und wir besprechen noch mit dem Digital Factory-Team, welche Funktionen notwendig sind, um Digital Factory vollständig zu realisieren. Ein Kunde regte uns dazu an, einen winzigen PC zu benutzen, um das Embedded System zu ersetzen, und uns gefällt diese Idee.
Unser Produkt hat das CE-Zertifikat erhalten und wird in mehreren Werken getestet. Viele Betriebe zeigen große Interesse und fragen nach dem Produkt.

Wir danken Herrn Josef Sinder aufrichtig, der viele Informationen und Technologien über das Embedded System für maschinelles Sehen mit uns geteilt hat.