Produit de guidage par vision personnalisé et évolutif
RÉSUMÉ
Ce document illustre un produit de guidage par vision reproductible, évolutif, abordable et facile à utiliser pour des utilisateurs de tout niveau. Le guidage par vision, qui signifie guider l’unité exécutable vers la position souhaitée pour effectuer l’action requise, est largement utilisé dans l’application de fabrication d’automatisation industrielle. Notre produit reproductible est un produit standard. Nous l’avons développé une fois et le client n’a plus besoin de s’en préoccuper. Le composant essentiel du produit de guidage par vision est l’algorithme de vision industrielle. Notre produit abordable fournit l’algorithme de vision industrielle personnalisé et entièrement auto-innovant. Vous n’avez besoin d’acheter aucun produit commercial sur le marché, ce qui réduit considérablement le coût du produit de vision industrielle. Les performances de notre plateforme de vision industrielle sont compétitives par rapport au produit commercial disponible sur le marché. Notre produit évolutif est capable de satisfaire différentes applications de guidage par vision suivant les exigences des clients. Notre produit facile à utiliser fonctionne comme la caméra intelligente avec une bonne facilité d’utilisation, les utilisateurs peuvent déployer rapidement l’application de guidage par vision par simple cliquer-déplacer de la souris. Nous avons validé notre produit en effectuant un guidage par vision avec plusieurs types de robots industriels tels que les robots UR et EPSON. Le résultat des tests est concluant.
ÉNONCÉ DU PROBLÈME
Le guidage par vision est l’une des applications les plus populaires de la vision industrielle dans le cadre de la fabrication d’automatisation industrielle. Théoriquement, le guidage par vision consiste à guider l’unité exécutable vers la position souhaitée pour effectuer les actions requises. Les unités exécutables comprennent le robot, le cylindre, le moteur, etc. Les actions requises comprennent la prise et le placement, la soudure, l’assemblage, etc. Comme le montre la figure 1, les robots guidés par vision sont très populaires dans l’automatisation. En dotant le robot d’un dispositif visuel, le guidage par vision augmente considérablement la précision de ses mouvements et élargit ses champs d’application.
L’application de guidage par vision passe par plusieurs technologies de vision industrielle : a) localisation de l’objet, b) étalonnage, c) communication. Ces technologies de guidage par vision sont également largement utilisées dans les domaines industriels. Comme le montre la figure 2, nous utiliserons la technologie de localisation d’objet dans l’application d’inspection, car avant d’effectuer l’inspection, nous devons normalement localiser la position de l’objet via l’algorithme de localisation de celui-ci. Nous utilisons également l’emplacement de l’objet dans l’application de mesure dimensionnelle pour la même raison. Le guidage par vision est donc la technologie de vision industrielle la plus utilisée.
Il existe plusieurs produits de guidage par vision disponibles sur le marché, qui peuvent être répartis dans deux catégories différentes : les produits basés sur une caméra intelligente et ceux basés sur une caméra traditionnelle. Les représentants de la caméra intelligente sont Cognex et Halcon. Le représentant de la caméra traditionnelle est Halcon. Dans le tableau 1, nous détaillons le coût d’utilisation de ce type de produit de vision industrielle. La caméra intelligente présente les caractéristiques suivantes : bonne facilité d’utilisation, coût élevé du produit, faible coût de développement. La caméra traditionnelle présente les caractéristiques suivantes : difficulté d’utilisation, faible coût du produit, coût élevé de développement. À la figure 3, nous pouvons voir que l’utilisation de la caméra intelligente se fait essentiellement à l’aide de la souris. Pour les caméras traditionnelles, un ingénieur professionnel doit se charger de la programmation avancée. Le coût total des deux types de produits est donc élevé. De plus, pour ces deux types de caméras, l’utilisation de la fonction de guidage par vision implique l’achat de l’ensemble des packages d’algorithmes, ce qui contribue également au coût élevé.
Un produit de guidage par vision personnalisé est nécessaire pour combler l’écart entre les besoins du client et les produits commerciaux du marché. Plusieurs défis attendent le développeur :
- Algorithme de vision industrielle auto-innovant : l’algorithme de vision industrielle est la raison pour laquelle le produit de guidage par vision commercial a un coût aussi élevé. Pour réduire le coût du système, nous ne pouvons pas acheter de bibliothèque de vision industrielle commerciale, mais nous devons développer l’algorithme par nous-mêmes. Les innovations génèrent la compétence de base pour notre produit.
- Faible coût avec des performances compétitives : le client ne se contentera pas d’un faible coût au détriment des performances, de sorte que notre algorithme de vision industrielle auto-innovant doit avoir des performances compétitives par rapport au produit commercial.
- Configurable pour différents types d’application de guidage : dans la mesure où nous devons guider différents types d’unités exécutables, telles que les robots scara, 6-axia, cylindre, moteur, etc., nous avons besoin d’un système configurable qui permette à l’utilisateur de configurer le produit en fonction des exigences de différentes applications.
- Utilisation conviviale pour les opérateurs : le produit doit être aussi simple à utiliser que la caméra intelligente
- Qualité de niveau industriel dans la chaîne de production : le faible coût ne doit pas être au détriment de la qualité du produit
- Disposer du potentiel de soutien de l’usine numérique : l’usine numérique est importante pour TE et de nombreux clients s’y intéressent, nous devons donc tenir compte du potentiel de connexion au réseau et d’échange des informations
Nous avons innové dans une solution de guidage par vision configurable et personnalisée. Nous avons développé nous-mêmes tout l’algorithme de vision industrielle pour le guidage par vision et nous n’achetons aucun produit commercial disponible sur le marché, ce qui réduit considérablement le coût du système. Les performances de notre système sont comparables à celles d’un produit commercial. Nous fournissons un produit configurable pour différentes applications. Notre solution a la même méthode de fonctionnement que la caméra intelligente : l’utilisateur peut configurer le logiciel tout simplement à l’aide de la souris pour réaliser son application de guidage par vision. Nous avons validé notre produit en effectuant un guidage par vision avec plusieurs types de robots industriels tels que les robots UR et EPSON. Le résultat des tests est concluant. Si nous le comparons au coût du produit commercial, notre produit permet d’économiser d’environ 5 000 USD. Dans le cadre d’un déploiement potentiel de plus de 200 produits, cette technologie permettrait de réaliser une économie supérieure à 1 million d’USD.
MÉTHODES ET RÉSULTATS
Produit de guidage par vision AMT
Notre produit fournit la solution complète pour les applications de guidage par vision. Comme le montre la figure 4, notre package de produits comprend le logiciel, le contrôleur miniature et la caméra industrielle de 2 mégapixels. La caméra est utilisée pour capturer l’image, le logiciel peut traiter l’image et renvoyer le résultat traité, le contrôleur miniature est capable d’exécuter le logiciel en tant qu’hôte.
Le logiciel est la clé de l’ensemble du système, qui est non seulement intégré aux algorithmes de vision industrielle personnalisés, mais offre également aux utilisateurs la possibilité de configurer le fonctionnement. Pour apporter une solution complète au client, nous fournissons également la caméra et le contrôleur. Le client n’a pas besoin de passer du temps à sélectionner la caméra ou l’hôte.
La structure et les fonctions des logiciels
Le développement d’un logiciel configurable est un projet complexe, c’est pourquoi nous commençons par la création de la structure conceptuelle du logiciel, comme illustré à la figure 5. Il possède trois couches, chacune d’entre elles servant uniquement la couche qui est au-dessus et étant servie par celle qui est en dessous. Les modules de fonction sont caractérisés dans chaque couche. Pour améliorer la robustesse de chaque couche, le module de fonction associé est également responsable de la gestion des erreurs liées au module de fonction.
La couche d’entrée/sortie (E/S), qui est responsable de la communication entre le logiciel et l’environnement, se trouve en bas. On y trouve quatre modules de fonction. Le module d’interface de la caméra est utilisé pour déclencher la caméra, capturer l’image et lire/définir les paramètres de la caméra. Le module TCP/UDP implémente les protocoles TCP et UDP qui permettent la communication avec le périphérique qui prend en charge le protocole TCP/UDP. À l’heure actuelle, presque tous les robots industriels prennent en charge le protocole TCP / UDP. Le module d’E/S numérique permet la communication via les E/S numériques traditionnelles. Le module Archive est utilisé pour archiver les informations, telles que les images, le journal système, la recette du programme, le résultat de l’inspection.
Au milieu se trouve la couche Algorithme et contrôle qui reçoit l’image de la couche d’E/S, effectue le traitement requis, puis transmet le retour d’information à la couche d’E/S et à la couche d’interface graphique. De plus, cette couche est responsable du contrôle logique de l’ensemble du logiciel pour planifier les tâches complexes entre chaque couche.
La couche supérieure est la couche d’interface graphique utilisateur, qui est utilisée pour l’affichage des images et des résultats. L’utilisateur peut également ajuster les paramètres du logiciel de manière interactive.
La structure et les fonctions de la bibliothèque de vision industrielle
La couche Algorithme et contrôle contient une bibliothèque d’algorithmes de vision industrielle auto-développée. La structure et la fonction de la bibliothèque sont illustrées à la figure 6. La bibliothèque de vision industrielle a deux fonctions principales : représenter les données d’image et traiter l’image.
La représentation d’image de la bibliothèque influence le rendement de lecture/écriture des données d’image dans la mémoire physique de l’ordinateur, c’est pourquoi elle a un impact considérable sur le rendement de l’algorithme de vision industrielle. Par exemple, pour une image de 2 mégapixels, lorsque l’image souhaite lire les données de l’image, l’algorithme effectue l’opération de lecture des pixels 2 millions de fois. Normalement, chaque algorithme lit les données d’image plusieurs fois. Si la représentation de l’image est mauvaise, le rendement de l’algorithme sera considérablement réduite. Lorsque nous avons testé notre représentation d’image, la vitesse d’une bonne représentation était au moins 3 fois plus rapide que celle d’une mauvaise représentation.
Les données d’image de la couche d’E/S n’ont pas la représentation d’image que nous avons définie. Normalement, il existe trois types de formats de données à partir des couches d’E/S : les données d’image brutes de l’appareil photo, le format QT (Qimage) et le format Visual Studio C++ (Cimage). Nous fournissons donc spécialement l’algorithme de conversion de format pour convertir les données d’image entrantes en représentation d’image spécifique.
En ce qui concerne l’algorithme de traitement d’image, la bibliothèque de traitement d’image fournit trois modules de fonction principaux : 1) traitement d’image, 2) traitement mathématique et 3) licence
1. Le module Traitement d’image a l’algorithme de vision industrielle personnalisé. Dans ce module, les algorithmes de guidage par vision sont regroupés en plusieurs sous-groupes. Chaque sous-groupe est responsable d’un type d’algorithme de traitement d’image. Par exemple, le sous-groupe d’emplacement d’objet fournit les algorithmes gérant les correspondances entre les modèles. Le sous-groupe d’étalonnage fournit les algorithmes sur la fonction d’étalonnage, etc.
2. Traitement mathématique : l’opération mathématique est la base de l’algorithme de traitement d’image, qui est fréquemment utilisé dans la bibliothèque. Nous avons donc réalisé notre bibliothèque de vision industrielle à haute efficacité à l’intérieur de la bibliothèque de vision industrielle. Ce module comporte quatre sous-groupes, dont le sous-groupe Trigonométrie qui fournit l’algorithme de calcul des valeurs trigonométriques. Le sous-groupe Recherche fournit plusieurs types d’algorithme de recherche
3. Licence : l’algorithme auto-innovant est la propriété de TE, nous fournissons donc plus particulièrement la fonction de chiffrement et de déchiffrement qui contrôle l’autorisation du produit
Discussion et points clés
Ce document illustre un produit de guidage par vision reproductible, évolutif, abordable et facile à utiliser pour des utilisateurs de tout niveau. Nous avons validé notre produit en effectuant un guidage par vision avec plusieurs types de robots industriels tels que les robots UR et EPSON. Le résultat des tests est concluant.
REMERCIEMENTS
Nous sommes très reconnaissants envers M. Josef Sinder qui a partagé un grand nombre d’informations et de technologies sur le système de vision artificielle embarqué.
Produit de guidage par vision personnalisé et évolutif
RÉSUMÉ
Ce document illustre un produit de guidage par vision reproductible, évolutif, abordable et facile à utiliser pour des utilisateurs de tout niveau. Le guidage par vision, qui signifie guider l’unité exécutable vers la position souhaitée pour effectuer l’action requise, est largement utilisé dans l’application de fabrication d’automatisation industrielle. Notre produit reproductible est un produit standard. Nous l’avons développé une fois et le client n’a plus besoin de s’en préoccuper. Le composant essentiel du produit de guidage par vision est l’algorithme de vision industrielle. Notre produit abordable fournit l’algorithme de vision industrielle personnalisé et entièrement auto-innovant. Vous n’avez besoin d’acheter aucun produit commercial sur le marché, ce qui réduit considérablement le coût du produit de vision industrielle. Les performances de notre plateforme de vision industrielle sont compétitives par rapport au produit commercial disponible sur le marché. Notre produit évolutif est capable de satisfaire différentes applications de guidage par vision suivant les exigences des clients. Notre produit facile à utiliser fonctionne comme la caméra intelligente avec une bonne facilité d’utilisation, les utilisateurs peuvent déployer rapidement l’application de guidage par vision par simple cliquer-déplacer de la souris. Nous avons validé notre produit en effectuant un guidage par vision avec plusieurs types de robots industriels tels que les robots UR et EPSON. Le résultat des tests est concluant.
ÉNONCÉ DU PROBLÈME
Le guidage par vision est l’une des applications les plus populaires de la vision industrielle dans le cadre de la fabrication d’automatisation industrielle. Théoriquement, le guidage par vision consiste à guider l’unité exécutable vers la position souhaitée pour effectuer les actions requises. Les unités exécutables comprennent le robot, le cylindre, le moteur, etc. Les actions requises comprennent la prise et le placement, la soudure, l’assemblage, etc. Comme le montre la figure 1, les robots guidés par vision sont très populaires dans l’automatisation. En dotant le robot d’un dispositif visuel, le guidage par vision augmente considérablement la précision de ses mouvements et élargit ses champs d’application.
L’application de guidage par vision passe par plusieurs technologies de vision industrielle : a) localisation de l’objet, b) étalonnage, c) communication. Ces technologies de guidage par vision sont également largement utilisées dans les domaines industriels. Comme le montre la figure 2, nous utiliserons la technologie de localisation d’objet dans l’application d’inspection, car avant d’effectuer l’inspection, nous devons normalement localiser la position de l’objet via l’algorithme de localisation de celui-ci. Nous utilisons également l’emplacement de l’objet dans l’application de mesure dimensionnelle pour la même raison. Le guidage par vision est donc la technologie de vision industrielle la plus utilisée.
Il existe plusieurs produits de guidage par vision disponibles sur le marché, qui peuvent être répartis dans deux catégories différentes : les produits basés sur une caméra intelligente et ceux basés sur une caméra traditionnelle. Les représentants de la caméra intelligente sont Cognex et Halcon. Le représentant de la caméra traditionnelle est Halcon. Dans le tableau 1, nous détaillons le coût d’utilisation de ce type de produit de vision industrielle. La caméra intelligente présente les caractéristiques suivantes : bonne facilité d’utilisation, coût élevé du produit, faible coût de développement. La caméra traditionnelle présente les caractéristiques suivantes : difficulté d’utilisation, faible coût du produit, coût élevé de développement. À la figure 3, nous pouvons voir que l’utilisation de la caméra intelligente se fait essentiellement à l’aide de la souris. Pour les caméras traditionnelles, un ingénieur professionnel doit se charger de la programmation avancée. Le coût total des deux types de produits est donc élevé. De plus, pour ces deux types de caméras, l’utilisation de la fonction de guidage par vision implique l’achat de l’ensemble des packages d’algorithmes, ce qui contribue également au coût élevé.
Un produit de guidage par vision personnalisé est nécessaire pour combler l’écart entre les besoins du client et les produits commerciaux du marché. Plusieurs défis attendent le développeur :
- Algorithme de vision industrielle auto-innovant : l’algorithme de vision industrielle est la raison pour laquelle le produit de guidage par vision commercial a un coût aussi élevé. Pour réduire le coût du système, nous ne pouvons pas acheter de bibliothèque de vision industrielle commerciale, mais nous devons développer l’algorithme par nous-mêmes. Les innovations génèrent la compétence de base pour notre produit.
- Faible coût avec des performances compétitives : le client ne se contentera pas d’un faible coût au détriment des performances, de sorte que notre algorithme de vision industrielle auto-innovant doit avoir des performances compétitives par rapport au produit commercial.
- Configurable pour différents types d’application de guidage : dans la mesure où nous devons guider différents types d’unités exécutables, telles que les robots scara, 6-axia, cylindre, moteur, etc., nous avons besoin d’un système configurable qui permette à l’utilisateur de configurer le produit en fonction des exigences de différentes applications.
- Utilisation conviviale pour les opérateurs : le produit doit être aussi simple à utiliser que la caméra intelligente
- Qualité de niveau industriel dans la chaîne de production : le faible coût ne doit pas être au détriment de la qualité du produit
- Disposer du potentiel de soutien de l’usine numérique : l’usine numérique est importante pour TE et de nombreux clients s’y intéressent, nous devons donc tenir compte du potentiel de connexion au réseau et d’échange des informations
Nous avons innové dans une solution de guidage par vision configurable et personnalisée. Nous avons développé nous-mêmes tout l’algorithme de vision industrielle pour le guidage par vision et nous n’achetons aucun produit commercial disponible sur le marché, ce qui réduit considérablement le coût du système. Les performances de notre système sont comparables à celles d’un produit commercial. Nous fournissons un produit configurable pour différentes applications. Notre solution a la même méthode de fonctionnement que la caméra intelligente : l’utilisateur peut configurer le logiciel tout simplement à l’aide de la souris pour réaliser son application de guidage par vision. Nous avons validé notre produit en effectuant un guidage par vision avec plusieurs types de robots industriels tels que les robots UR et EPSON. Le résultat des tests est concluant. Si nous le comparons au coût du produit commercial, notre produit permet d’économiser d’environ 5 000 USD. Dans le cadre d’un déploiement potentiel de plus de 200 produits, cette technologie permettrait de réaliser une économie supérieure à 1 million d’USD.
MÉTHODES ET RÉSULTATS
Produit de guidage par vision AMT
Notre produit fournit la solution complète pour les applications de guidage par vision. Comme le montre la figure 4, notre package de produits comprend le logiciel, le contrôleur miniature et la caméra industrielle de 2 mégapixels. La caméra est utilisée pour capturer l’image, le logiciel peut traiter l’image et renvoyer le résultat traité, le contrôleur miniature est capable d’exécuter le logiciel en tant qu’hôte.
Le logiciel est la clé de l’ensemble du système, qui est non seulement intégré aux algorithmes de vision industrielle personnalisés, mais offre également aux utilisateurs la possibilité de configurer le fonctionnement. Pour apporter une solution complète au client, nous fournissons également la caméra et le contrôleur. Le client n’a pas besoin de passer du temps à sélectionner la caméra ou l’hôte.
La structure et les fonctions des logiciels
Le développement d’un logiciel configurable est un projet complexe, c’est pourquoi nous commençons par la création de la structure conceptuelle du logiciel, comme illustré à la figure 5. Il possède trois couches, chacune d’entre elles servant uniquement la couche qui est au-dessus et étant servie par celle qui est en dessous. Les modules de fonction sont caractérisés dans chaque couche. Pour améliorer la robustesse de chaque couche, le module de fonction associé est également responsable de la gestion des erreurs liées au module de fonction.
La couche d’entrée/sortie (E/S), qui est responsable de la communication entre le logiciel et l’environnement, se trouve en bas. On y trouve quatre modules de fonction. Le module d’interface de la caméra est utilisé pour déclencher la caméra, capturer l’image et lire/définir les paramètres de la caméra. Le module TCP/UDP implémente les protocoles TCP et UDP qui permettent la communication avec le périphérique qui prend en charge le protocole TCP/UDP. À l’heure actuelle, presque tous les robots industriels prennent en charge le protocole TCP / UDP. Le module d’E/S numérique permet la communication via les E/S numériques traditionnelles. Le module Archive est utilisé pour archiver les informations, telles que les images, le journal système, la recette du programme, le résultat de l’inspection.
Au milieu se trouve la couche Algorithme et contrôle qui reçoit l’image de la couche d’E/S, effectue le traitement requis, puis transmet le retour d’information à la couche d’E/S et à la couche d’interface graphique. De plus, cette couche est responsable du contrôle logique de l’ensemble du logiciel pour planifier les tâches complexes entre chaque couche.
La couche supérieure est la couche d’interface graphique utilisateur, qui est utilisée pour l’affichage des images et des résultats. L’utilisateur peut également ajuster les paramètres du logiciel de manière interactive.
La structure et les fonctions de la bibliothèque de vision industrielle
La couche Algorithme et contrôle contient une bibliothèque d’algorithmes de vision industrielle auto-développée. La structure et la fonction de la bibliothèque sont illustrées à la figure 6. La bibliothèque de vision industrielle a deux fonctions principales : représenter les données d’image et traiter l’image.
La représentation d’image de la bibliothèque influence le rendement de lecture/écriture des données d’image dans la mémoire physique de l’ordinateur, c’est pourquoi elle a un impact considérable sur le rendement de l’algorithme de vision industrielle. Par exemple, pour une image de 2 mégapixels, lorsque l’image souhaite lire les données de l’image, l’algorithme effectue l’opération de lecture des pixels 2 millions de fois. Normalement, chaque algorithme lit les données d’image plusieurs fois. Si la représentation de l’image est mauvaise, le rendement de l’algorithme sera considérablement réduite. Lorsque nous avons testé notre représentation d’image, la vitesse d’une bonne représentation était au moins 3 fois plus rapide que celle d’une mauvaise représentation.
Les données d’image de la couche d’E/S n’ont pas la représentation d’image que nous avons définie. Normalement, il existe trois types de formats de données à partir des couches d’E/S : les données d’image brutes de l’appareil photo, le format QT (Qimage) et le format Visual Studio C++ (Cimage). Nous fournissons donc spécialement l’algorithme de conversion de format pour convertir les données d’image entrantes en représentation d’image spécifique.
En ce qui concerne l’algorithme de traitement d’image, la bibliothèque de traitement d’image fournit trois modules de fonction principaux : 1) traitement d’image, 2) traitement mathématique et 3) licence
1. Le module Traitement d’image a l’algorithme de vision industrielle personnalisé. Dans ce module, les algorithmes de guidage par vision sont regroupés en plusieurs sous-groupes. Chaque sous-groupe est responsable d’un type d’algorithme de traitement d’image. Par exemple, le sous-groupe d’emplacement d’objet fournit les algorithmes gérant les correspondances entre les modèles. Le sous-groupe d’étalonnage fournit les algorithmes sur la fonction d’étalonnage, etc.
2. Traitement mathématique : l’opération mathématique est la base de l’algorithme de traitement d’image, qui est fréquemment utilisé dans la bibliothèque. Nous avons donc réalisé notre bibliothèque de vision industrielle à haute efficacité à l’intérieur de la bibliothèque de vision industrielle. Ce module comporte quatre sous-groupes, dont le sous-groupe Trigonométrie qui fournit l’algorithme de calcul des valeurs trigonométriques. Le sous-groupe Recherche fournit plusieurs types d’algorithme de recherche
3. Licence : l’algorithme auto-innovant est la propriété de TE, nous fournissons donc plus particulièrement la fonction de chiffrement et de déchiffrement qui contrôle l’autorisation du produit
Discussion et points clés
Ce document illustre un produit de guidage par vision reproductible, évolutif, abordable et facile à utiliser pour des utilisateurs de tout niveau. Nous avons validé notre produit en effectuant un guidage par vision avec plusieurs types de robots industriels tels que les robots UR et EPSON. Le résultat des tests est concluant.
REMERCIEMENTS
Nous sommes très reconnaissants envers M. Josef Sinder qui a partagé un grand nombre d’informations et de technologies sur le système de vision artificielle embarqué.
