Présentation: Microscope numérique personnalisé à faible coût

Différents types de microscopes sont utilisés chez TE : le microscope stéréoscopique, le microscope numérique, le microscope métallographique, le microscope polarisant, le microscope 3D et le microscope électronique, etc. Ils ne sont pas seulement utilisés en laboratoire, mais également sur les lignes de production d’assemblage, d’estampage et de moulage. Les plus utilisés sont les microscopes stéréoscopiques (figure 1 (a)) et les microscopes numériques (figure 1 (b)), qui appartiennent à la famille des microscopes optiques, ce qui signifie qu’ils génèrent l’image en fonction de la lumière visible. Nous pouvons utiliser le microscope optique pour l’inspection de la qualité, l’assistance à la fabrication, la surveillance des processus et plus encore.

Le microscope stéréoscopique et le microscope numérique présentent certains inconvénients. Tout d’abord, ce sont des produits standard, qui ne peuvent pas être personnalisés. Cependant, les clients souhaitent disposer d’un appareil configurable permettant de régler le champ de vision, la distance de travail, le mode de fonctionnement, le poste de travail et d’un logiciel personnalisable en fonction de diverses applications. Deuxièmement, une mauvaise conception ergonomique provoque la fatigue et l’inconfort dans le cadre d’une utilisation à long terme. Par exemple, le microscope stéréoscopique entraînera une fatigue oculaire. Pour le microscope numérique, l’écran est si proche que l’opérateur se sentira agressé par celui-ci. Troisièmement, le microscope optique est très onéreux. Le prix général du microscope numérique illustré à la figure 1 (b) est d’environ 3 350 USD, et plus encore si vous souhaitez personnaliser certaines fonctions.

Un microscope numérique personnalisé est nécessaire pour combler l’écart entre les besoins du client et les produits sur le marché. Plusieurs défis se posent en matière de développement :
1) Faible coût pour un système de vision artificielle offrant des performances compétitives : nous devons développer un système de vision artificielle doté d’une caméra industrielle haute résolution, d’un objectif configurable, d’une unité d’éclairage, d’un écran haute résolution et d’un cadre ergonomique à faible coût
2) Conception ergonomique : pour certaines applications, les opérateurs utiliseront le microscope en continu pendant de longues périodes, faisant de l’ergonomie opérationnelle un facteur important
3) Qualité de niveau industriel compatible avec une production en chaîne : le faible coût ne doit pas être au détriment de la qualité du produit
4) Avoir la capacité de soutenir l’usine numérique : l’usine numérique est importante pour TE et de nombreux clients s’y intéressent, c’est pourquoi il est important de tenir compte du potentiel de connexion au réseau et d’échange d’informations
Nous avons développé un microscope numérique personnalisé à faible coût. Pour réduire le coût du système, nous sélectionnons le système embarqué comme centre de traitement et construisons le système de vision en fonction du niveau du composant. Avec son objectif configurable, la précision peut atteindre 1,9 micron pour un objectif standard et moins de 1 micron pour un objectif spécifique. La distance de travail et le champ de vision sont réglables. Notre conception ergonomique avec cadre universel et écran 11,6 pouces haute résolution 1080p est adaptée à une utilisation continue à long terme. Pour soutenir l’usine numérique, à l’heure actuelle, nous fournissons le logiciel PC pour connecter le microscope numérique. Par rapport au produit vendu 3 350 USD sur le marché, le prix de référence de notre système est de 1 500 USD. Notre produit a obtenu le certificat CE et il est en cours de test dans plusieurs usines. Nombre d’entre elles montrent un grand intérêt et se renseignent à son sujet.

Nous fournissons deux types de microscope numérique personnalisé comme le montrent les figures 2 et 3. Tous deux comprennent le système de vision et le cadre. Le système de vision se compose d’une caméra colorée de 6 mégapixels pour capturer l’image, du système intégré pour traiter l’image, de l’objectif configurable, de l’éclairage de l’anneau LED et de l’écran 11,6 pouces 1080p. Le cadre comprend le bras de l’écran pour ajuster la position et l’angle de l’écran, le bras de la caméra pour ajuster la distance et l’angle de travail de la caméra, et la base pour contenir tous les composants. La différence entre le produit de type 1 et le produit de type 2 est que le type 1 utilise le bras d’écran 7 DoF (degré de liberté), il est donc plus flexible pour atteindre n’importe quel angle et n’importe quelle position. Le bras d’écran 5 DoF est plus stable. Le client peut sélectionner le type correspondant en fonction de ses applications.
En tant que microscope numérique, la performance de base est l’effet d’imagerie qui est décidé par l’ensemble du système de vision, y compris l’éclairage, la caméra, l’objectif et l’algorithme de traitement de l’imagerie. Nous avons sélectionné plusieurs tâches difficiles. Le premier est le capteur de bouton d’environ 5 mm de diamètre. Et le défi consiste à éclairer un si petit produit à environ 110 mm de distance. La distance de 110 mm est laissée pour la soudure à pointe chaude en ligne. Le second est le produit Micro-fuse qui mesure environ 3 mm de large et dont la surface est recouverte par la colle. Le troisième est le produit de soudure dont le processus est très courant en TE. La figure 4 illustre l’effet d’imagerie, qui est excellent, sur ces produits. Vous pouvez même voir la texture de la surface.

Outre l’effet d’imagerie, le fonctionnement du microscope numérique est également très important : c’est l’aspect le plus pertinent pour l’opérateur. Notre produit est totalement optimisé pour un fonctionnement ergonomique. L’objectif parfocal prend en charge le grossissement optique en tournant le régulateur comme le montre la figure 5 (a). La position et l’angle de l’écran sont réglables par le bras d’écran 5/7 DoF. Les interfaces utilisateur (UI) des logiciels embarqués et des logiciels PC sont conviviales et intuitives à utiliser, comme le montrent les figures 5 (c) et (d). Notre logiciel PC est capable d’échanger des informations avec un microscope numérique, par exemple il peut enregistrer une image sur PC.

La figure 6 montre la révolution et l’architecture du microscope numérique. Nous en avons eu plusieurs versions. L’idée initiale est basée sur la caméra intelligente. Nous rejetons cette conception pour des raisons de coût. Ensuite, nous souhaiterions utiliser la caméra de surveillance. Sur la base de notre test, la qualité de la caméra de surveillance n’est pas assez bonne car la compression vidéo à l’intérieur dégrade la qualité de l’image. De plus, cette caméra est difficile à personnaliser. Ensuite, nous aimerions utiliser le concept basé sur Full PC, mais il est difficile d’intégrer le PC complet dans le microscope numérique. Enfin, nous avons sélectionné le système embarqué. Le centre du microscope numérique est un système embarqué basé sur un système Linux personnalisé. Les données brutes de la caméra sont traitées par système embarqué et affichées dans le panneau. De nombreux algorithmes de traitement d’image fonctionnent dans le système embarqué, y compris l’interpolation Bayer, la réduction du bruit, la netteté, la correction gamma, le contrôle du contraste, la décoloration, l’amélioration de l’image et plus encore. Compte tenu du volume de données volumineuses, la capacité de calcul du système embarqué devrait être suffisamment forte. Ici, nous utilisons l’accélération GPU. Nous la présenterons plus tard.

Le microscope numérique peut communiquer avec le PC via Ethernet. Si nécessaire, le PC peut se connecter au système MES/ERP pour distribuer les informations via le réseau interne de TE. En ce moment, nous discutons avec l’équipe de l’usine numérique des informations et des fonctions nécessaires. Si les fonctions sont définies, nous avons la possibilité de communiquer directement avec le système MES/ERP via un système embarqué.

Pour l’image colorée, chaque pixel est composé de trois couches de couleur, la couche R, la couche V et la couche B. Cependant, le capteur de l’appareil photo est sensible à tout le spectre visible, ce qui signifie que normalement, il ne génère que l’image monochrome. Pour générer l’image colorée, le filtre de couleur sera placé devant le capteur photo pour passer simplement la couleur requise. Ensuite, les données brutes de l’image colorée sont un arrangement de pixel RVB, comme illustré à la figure 7 (a).

Chaque pixel ne contient qu’une partie des informations de couleur ; nous devons récupérer l’image colorée de cet arrangement. Il existe plusieurs algorithmes de récupération. Fondamentalement, les informations adjacentes de chaque pixel sont fortement liées à la valeur réelle de la couleur manquante, nos méthodes sont basées sur la combinaison du pixel adjacent. Il existe deux types de motifs illustrés à la figure 7 (b). Si le canal vert existe comme indiqué, calculez simplement la moyenne de la valeur adjacente, faute de quoi vous devrez tenir compte de l’influence du pixel adjacent.

Ici, je présente le cas avec la couche R, nous pouvons également remplacer la couche R par la couche V et utiliser l’équation (2) avec la même méthode.

Le bruit est inévitable pour une image. Ici, nous avons analysé que le bruit provient du CCD et de l’environnement. Ce type de bruit est principalement du bruit blanc, nous avons donc préféré utiliser le filtre de moyenne harmonique inverse. L’effet de la netteté est illustré à la figure 8, il y a moins de bruit dans l’image après l’algorithme de débruitage.

Notre méthode de netteté est basée sur l’algorithme de Kirsch qui calcule le gradient de chaque point, améliore la région qui présente une grande amplitude du gradient et supprime la région avec une faible amplitude de gradient. L’équation peut être exprimée ci-dessous. Dans le cadre d’un calcul réel, nous utilisons le modèle Kirsch pour calculer le dégradé à chaque pixel. L’effet de la netteté est illustré à la figure 9

Pour une caméra colorée de 6 mégapixels, le volume de données est d’environ 180 Mo par seconde. Une forte capacité de calcul en temps réel est nécessaire pour traiter de tels volumes de données. Ici, nous utilisons le traitement parallèle. Le traitement parallèle divise la tâche en une multitude de petits travaux traités simultanément. Le traitement parallèle ne pèse en rien sur le processeur, il est entièrement pris en charge par le processeur graphique (GPU). Il est donc spécialement conçu pour le traitement de gros volumes de données, comme illustré à la figure 10 (a).
La raison pour laquelle nous pouvons appliquer le calcul parallèle à l’algorithme de traitement d’image du microscope numérique est que le processus de nos algorithmes de traitement d’image tels que l’interpolation de Bayer, le débruitage 2D, la netteté et autres ne sont liés qu’à l’image originale, ce qui signifie que le traitement de chaque pixel de l’image n’est pas corrélé, de sorte que nous pouvons traiter ces pixels en parallèle. Comme le montre la figure 10 (b), nous pouvons traiter simultanément le pixel supérieur gauche et le pixel inférieur droit.

Pour l’usine numérique, la communication est essentielle. Ici, nous concevons une connexion Ethernet robuste. La figure 11 illustre le flux de travail de cette connexion Ethernet robuste. Le serveur écoute la nouvelle requête du client. Si une requête se présente, il crée un nouveau thread de communication pour le client. Si une connexion est établie, le système démarre l’autodiagnostic pour vérifier l’état de la connexion, détecte chaque erreur et récupère automatiquement. Les avantages du module Ethernet sont : 1) Connexion automatique ; 2) Détection automatique de l’erreur ; 3) Récupération automatique de l’erreur ; 4) Programmation multithread sans bloquer le fonctionnement du logiciel lors de l’envoi/réception du fichier

Cet article présente les innovations en matière de microscope numérique personnalisé à faible coût, y compris la vue d’ensemble de la plateforme, l’effet d’imagerie, le fonctionnement ergonomique, l’architecture du système, la méthode d’interpolation Bayer, la méthode de débruitage 2D, la méthode de netteté de l’image. Nous indiquons également comment traiter des volumes de données importants à l’aide du traitement parallèle. Enfin, nous avons présenté la connexion Ethernet robuste.
Pour réduire le coût du système, nous sélectionnons le système embarqué comme centre de traitement et construisons le système de vision en fonction du niveau du composant. Avec son objectif configurable, la précision peut atteindre 1,9 micron pour un objectif standard et moins de 1 micron pour un objectif spécifique. La distance de travail et le champ de vision sont réglables. Nous prenons en charge à la fois le grossissement optique et le grossissement électrique. Notre conception ergonomique avec appareil universel et écran 11,6 pouces haute résolution 1080p est adaptée à une utilisation continue à long terme. Par rapport au produit vendu 3 350 USD sur le marché, le prix de référence de notre système est de 1 500 USD.
Les avantages de ce produit peuvent être résumés comme suit : faible coût et qualité de niveau industriel, personnalisé pour une application TE et conception ergonomique pour une utilisation continue à long terme.
Pour soutenir l’usine numérique, à l’heure actuelle, nous fournissons le logiciel PC pour connecter le microscope numérique. L’image peut être directement enregistrée sur PC. Nous sommes également en discussion avec l’équipe de l’usine numérique pour identifier les fonctions nécessaires afin de mettre pleinement en place l’usine numérique. Un client nous incite à utiliser le petit PC pour remplacer le système embarqué et nous pensons que c’est une piste intéressante.
Notre produit a obtenu le certificat CE et il est en cours de test dans plusieurs usines. Nombre d’entre elles montrent un grand intérêt et se renseignent à son sujet.

Nous sommes très reconnaissants envers M. Josef Sinder qui a partagé un grand nombre d’informations et de technologies sur le système de vision artificielle embarqué.