Informe técnico: Producto de orientación visual personalizado y escalable

La orientación visual es una de las aplicaciones más populares para la visión artificial en la fabricación de automatización industrial. En teoría, la orientación visual significa guiar la unidad ejecutable a la posición deseada para realizar las acciones requeridas. Las unidades ejecutables incluyen robot, cilindro, motor, etc. Las acciones requeridas incluyen tomar y colocar, soldar, ensamblar, etc. Como se muestra en la figura 1, los robots guiados por visión son muy populares en la automatización. Tal como sucedería si el robot tuviera ojos, la orientación visual aumenta en gran medida la precisión del movimiento del robot y amplía los campos de aplicación del robot.

Para implementar la aplicación de orientación visual, se necesitan varias tecnologías de visión artificial: a) ubicación de objetos, b) calibración, c) comunicación. Estas tecnologías de orientación visual también son ampliamente utilizadas en los campos industriales. Como se muestra en la figura 2, utilizamos la tecnología de ubicación de objetos en la aplicación de inspección porque, antes de realizar la inspección, normalmente necesitamos localizar la posición del objeto a través del algoritmo de ubicación del objeto. También utilizamos la ubicación del objeto en la aplicación de medición dimensional por la misma razón. Por lo tanto, la orientación visual es la tecnología de visión artificial industrial más utilizada. 

Hay varios productos comerciales disponibles en el mercado para realizar la orientación visual, que se pueden clasificar en dos grupos: producto basado en la cámara inteligente y producto basado en la cámara tradicional. Los representantes de la cámara inteligente son Cognex y Halcon. El representante de la cámara tradicional es Halcon. En la tabla 1, indicamos el costo de usar productos de visión artificial de este tipo. La cámara inteligente brinda buena facilidad de uso y bajo costo de desarrollo, pero el producto tiene un alto costo. La cámara tradicional ofrece malos resultados en cuanto a la facilidad de uso y un alto costo de desarrollo, pero el producto tiene un bajo costo. En la figura 3, podemos ver que el uso de la cámara inteligente consiste principalmente en arrastrar objetos y hacer clic con el mouse. Para la cámara tradicional necesitamos que el ingeniero profesional realice la programación avanzada. Por lo tanto, el costo total de ambos tipos de productos es alto. También para la cámara inteligente y la cámara tradicional, si queremos usar la función de orientación visual, debemos comprar todos los paquetes de algoritmos, lo cual también incide en el alto costo.

Se necesita un producto de orientación visual personalizado para eliminar la brecha entre la necesidad del cliente y los productos comerciales disponibles en el mercado. Se enfrentan varios desafíos para el desarrollo:

• Algoritmo de visión artificial autoinnovado: La razón del alto costo del producto de orientación visual comercial es el algoritmo de visión artificial. Para reducir el costo del sistema, no podemos comprar ninguna biblioteca comercial de visión artificial y debemos desarrollar el algoritmo por nuestra cuenta, las innovaciones representan la principal competencia para nuestro producto.
• Bajo costo con rendimiento competitivo: El cliente no aceptará un producto si el rendimiento es poco satisfactorio, incluso aunque el costo sea bajo, por lo que nuestro algoritmo de visión artificial autoinnovado debe tener un rendimiento competitivo en comparación con  el producto comercial.
• Posibilidad de configuración para diferentes tipos de aplicaciones de orientación: Dado que debemos guiar diferentes tipos de unidades ejecutables, como el robot SCARA, el robot de 6 ejes, el cilindro, el motor, etc., necesitamos un sistema configurable, lo cual significa que el usuario puede configurar el producto de acuerdo con los requisitos para diferentes aplicaciones. 
• Facilidad de uso para los operadores: El producto debe poder utilizarse de manera similar a la cámara inteligente.
• Calidad a nivel industrial para funcionar en la línea de producción: El bajo costo no debe reducir la calidad del producto.
• Posibilidad de utilizarlo en la fábrica digital: La fábrica digital es importante para TE, y muchos clientes están interesados en ella, por lo que debemos considerar la posibilidad de conectarnos a la red e intercambiar información.

Innovamos la solución de orientación visual configurable y personalizada. Desarrollamos todo el algoritmo de visión artificial para la orientación visual nosotros mismos, y no compramos ningún producto comercial disponible en el mercado, lo que reduce en gran medida el costo del sistema. El rendimiento de nuestro sistema es comparable con el producto comercial. Proporcionamos el producto configurable que se puede configurar para diferentes aplicaciones. Nuestra solución funciona de manera similar a la cámara inteligente, el usuario puede configurar el software simplemente arrastrando el mouse y haciendo clic para obtener una aplicación de orientación visual.  Para validar nuestro producto, realizamos orientación visual con varios tipos de robots industriales como el robot UR y el robot EPSON, y el resultado de la prueba es satisfactorio. Si se compara el costo del producto comercial, el ahorro de costos por un conjunto es de aproximadamente USD 5000, y si se considera que la oportunidad potencial de implementación es de más de 200, el ahorro de costos para esta tecnología es de más de 1 millón de dólares estadounidenses.

Nuestro producto proporciona la solución completa para aplicaciones de orientación visual. Como se muestra en la figura 4, nuestro paquete de productos incluye el software, el controlador en miniatura y la cámara industrial de 2 megapíxeles. La cámara se utiliza para capturar la imagen, el software puede procesar la imagen y retroalimentar el resultado procesado, el controlador en miniatura puede ejecutar el software como anfitrión.

El software es la clave para todo el sistema, que no solo está integrado con los algoritmos de visión artificial personalizados, sino que también permite que los usuarios configuren la operación. Para proporcionar la solución completa para el cliente, también ofrecemos la cámara y el controlador. El cliente no necesita dedicar tiempo a la selección de cámaras y anfitriones.

Desarrollar un software configurable es un proyecto complejo, por lo que primero construimos la estructura conceptual del software como se muestra en la figura 5. Tiene tres capas, cada capa envía señales a la capa de arriba y recibe señales de la capa de abajo. Los módulos de función se caracterizan en cada capa. Para mejorar la robustez de cada capa, el módulo de función en cada capa también es responsable de controlar los errores relacionados con el módulo de función. 

La parte inferior es la capa de entrada/salida (E/S) que es responsable de la comunicación entre el software y el entorno. Tiene cuatro módulos de función. El módulo de interfaz de la cámara se utiliza para activar la cámara, capturar imágenes y leer o establecer los parámetros de la cámara. El módulo de protocolo de control de transmisión (TCP) y protocolo de datagramas de usuario (UDP) implementa los protocolos TCP y UDP que permiten la comunicación con el dispositivo que admite los protocolos TCP y UDP. En este momento, casi todos los robots industriales son compatibles con los protocolos TCP y UDP. El módulo de E/S digital permite la comunicación a través de la E/S digital tradicional. El módulo de archivo se utiliza para archivar información, como imágenes, registros del sistema, la receta de programas, el resultado de inspecciones.

El centro es la capa de algoritmo y control que recibe la imagen de la capa de E/S y realiza las operaciones necesarias de procesamiento y retroalimentación a la capa de E/S y la capa de interfaz gráfica de usuario (GUI). También esta capa es responsable del control lógico de todo el software para programar las tareas complejas entre cada capa. 

La capa superior es la capa de GUI, que se utiliza para la visualización de imágenes y resultados. Además, el usuario puede ajustar la configuración del software mediante operaciones interactivas. 

En la capa de algoritmo y control, hay una biblioteca de algoritmos de visión artificial que se desarrolla automáticamente en el interior. La estructura y función de la biblioteca se muestra en la figura 6. Dos funciones principales de la biblioteca de visión artificial son cómo representar los datos de las imágenes y cómo procesar las imágenes. 

La representación de imágenes de la biblioteca influye en la eficiencia para leer y escribir datos de imágenes en la memoria física de la computadora, por lo que influye en gran medida en la eficiencia del algoritmo de visión artificial. Por ejemplo, para una imagen de 2 megapíxeles, cuando la imagen desea leer los datos de la imagen, el algoritmo realiza la operación de lectura de píxeles 2 millones de veces. Normalmente, cada algoritmo lee los datos de la imagen varias veces, si la representación de la imagen es mala, la eficiencia del algoritmo se reduce considerablemente. Cuando probamos nuestra representación de imágenes, la velocidad de una buena representación es al menos 3 veces mayor que la de una mala representación. 

Los datos de imágenes de la capa de E/S no tienen la representación de imagen que definimos. Normalmente, hay tres tipos de formatos de datos de las capas de E/S: datos de imágenes sin procesar de la cámara, el formato QT – Qimage y el formato Visual Studio C++ – Cimage. Por lo tanto, proporcionamos especialmente el algoritmo de conversión de formato para convertir los datos de la imagen entrante a la representación de imagen especificada.

Sobre el algoritmo de procesamiento de imágenes, la biblioteca de procesamiento de imágenes proporciona tres módulos de función principales: 1) procesamiento de imágenes, 2) procesamiento matemático y 3) licencia

1. Procesamiento de imágenes: que cuenta con el algoritmo de visión artificial personalizado, y dentro de este módulo, los algoritmos sobre orientación visual se agrupan en varios subgrupos. Cada subgrupo es responsable de cada tipo de algoritmos de procesamiento de imágenes. Por ejemplo, el subgrupo de ubicación de objetos proporciona los algoritmos sobre la coincidencia de plantillas, el subgrupo de calibración proporciona los algoritmos sobre la función de calibración, etc.

2. Procesamiento matemático: la operación matemática es la base para el algoritmo de procesamiento de imágenes, que se utiliza con frecuencia en la biblioteca. Así que implementamos nuestra biblioteca de visión artificial de alta eficiencia dentro de la biblioteca de visión artificial. Este módulo tiene cuatro subgrupos, como el subgrupo de trigonometría que proporciona el algoritmo para calcular los valores trigonométricos. El subgrupo de búsqueda proporciona varios tipos de algoritmo de búsqueda.

3. Licencia: el algoritmo autoinnovado es propiedad de TE, por lo que proporcionamos especialmente la función de cifrado y descifrado para controlar la autorización del producto.  

En este documento se ilustra un producto de orientación visual repetible, escalable, asequible y fácil de usar para usuarios de todos los niveles. Para validar nuestro producto, realizamos orientación visual con varios tipos de robots industriales como el robot UR y el robot EPSON, y el resultado de la prueba es satisfactorio. 

Estamos sinceramente agradecidos al Sr. Josef Sinder, quien compartió mucha información y tecnología con respecto al sistema de visión artificial integrado.