Informe técnico: Microscopio digital personalizado de bajo costo

En TE utilizamos microscopios de distintos tipos, como el microscopio estereoscópico, el microscopio digital, el microscopio metalográfico, el microscopio polarizador, el microscopio 3D y el microscopio electrónico, entre otros. Además de utilizarlos en el laboratorio, también se emplean en las líneas de producción de ensamblaje, estampado y moldeo. Los más utilizados son el microscopio estereoscópico (figura 1 (a)) y el microscopio digital (figura 1 (b)), ambos pertenecientes al microscopio óptico, que genera la imagen a partir de la luz visible. Podemos emplear el microscopio óptico para la inspección de calidad, la asistencia de fabricación y el monitoreo de procesos, entre otras aplicaciones.

El microscopio estereoscópico y el microscopio digital tienen sus desventajas. En primer lugar, son productos estándares, que no se pueden personalizar. Sin embargo, a los clientes les gustaría poder configurar el dispositivo y ajustar el campo de visión, la distancia de trabajo, el método de operación, la estación de operación. Asimismo, el software debería poder personalizarse para diversas aplicaciones. En segundo lugar, el mal diseño ergonómico causa fatiga e incomodidad para el uso a largo plazo. Por ejemplo, el microscopio estereoscópico causa fatiga ocular. En el caso del microscopio digital, la pantalla está tan cerca que el operador puede percibir la intensidad de la pantalla. En tercer lugar, el microscopio óptico tiene un costo elevado. El precio general del microscopio digital, como se muestra en la figura 1 (b), es de aproximadamente USD 3350, y si queremos personalizar algunas funciones, el precio será muy alto.

Se necesita un microscopio digital personalizado para eliminar la brecha entre la necesidad del cliente y los productos disponibles en el mercado. Pero su desarrollo implica varios desafíos:
1) Bajo costo para el sistema de visión artificial con rendimiento competitivo: Debemos desarrollar un sistema de visión artificial que incluya la cámara industrial de alta resolución, la lente configurable, la unidad de iluminación, la pantalla de alta resolución y el marco ergonómico con bajo costo.
2) Diseño ergonómico: En el caso de algunas aplicaciones, los operadores usan el microscopio de manera constante durante mucho tiempo, por lo que la ergonomía de la operación es muy importante.
3) Calidad de nivel industrial para funcionar en la línea de producción: El bajo costo no debe reducir la calidad del producto.
4) Posibilidad de utilizarlo en la fábrica digital: La fábrica digital es importante para TE, y muchos clientes están interesados en ella, por lo que debemos considerar la posibilidad de conectarnos a la red e intercambiar información.
Desarrollamos un microscopio digital personalizado de bajo costo. Para reducir el costo del sistema, seleccionamos el sistema integrado como centro de procesamiento y construimos el sistema de visión en función del nivel de los componentes. Con la lente configurable, la precisión puede alcanzar 1,9 micras para la lente estándar y menos de 1,0 micras para una lente específica. Tanto la distancia de trabajo como el campo de visión son ajustables. Nuestro diseño ergonómico con marco universal y pantalla de alta resolución de 11,6" y 1080 p se puede utilizar de manera constante a largo plazo. Para poder utilizarlo en la fábrica digital, en este momento, proporcionamos el software para PC para conectar el microscopio digital. En comparación con el producto disponible en el mercado, que cuesta USD 3350, el costo de referencia de nuestro sistema es de USD 1500. Nuestro producto está certificado por CE y se está probando en varias plantas. Asimismo, son muchas las plantas que muestran un gran interés en él y están indagando sobre el producto.

Ofrecemos dos tipos de microscopio digital personalizado como se muestra en la figura 2 y la figura 3. Ambos están conformados por el sistema de visión y el marco. El sistema de visión consta de una cámara a color de 6 megapíxeles para capturar la imagen, el sistema integrado para procesar la imagen, la lente configurable, la iluminación del anillo de led y la pantalla de 11,6" y 1080 p. El marco incluye el brazo de la pantalla para ajustar la posición y el ángulo de la pantalla, el brazo de la cámara para ajustar la distancia de trabajo y el ángulo de la cámara, y la base para sostener todos los componentes. La diferencia entre el producto de tipo 1 y el de tipo 2 es que el de tipo 1 utiliza el brazo de pantalla de 7 grados de libertad (DoF), por lo que es más flexible para lograr todo tipo de ángulo y posición. El brazo de pantalla de 5 DoF es más estable. El cliente puede seleccionar el tipo correspondiente en función de sus aplicaciones.
Por ser un microscopio digital, el rendimiento básico es el efecto de imagen que está determinado por todo el sistema de visión, incluida la iluminación, la cámara, la lente y el algoritmo de procesamiento de imágenes. Seleccionamos varias tareas desafiantes. La primera es el sensor de botón con un diámetro de aproximadamente 5 mm. Y el desafío es que necesitamos iluminar un producto tan pequeño a unos 110 mm de distancia. La distancia de 110 mm se deja para la soldadura de punta caliente en línea. El segundo es el producto de microfusibles que tiene aproximadamente 3 mm de ancho y la superficie está cubierta por el pegamento. El tercero es el producto de soldadura cuyo proceso es muy común en TE. En la figura 4 se muestra el efecto de imagen en estos productos, que es muy bueno e incluso se puede ver la textura en la superficie.

Además del efecto de imagen, el funcionamiento del microscopio digital también es muy importante, y esta es la parte más relevante para el operador. Nuestro producto está totalmente optimizado para un funcionamiento ergonómico. La lente parfocal admite la ampliación óptica girando el regulador como se muestra en la figura 5 (a). La posición y el ángulo de la pantalla se pueden ajustar mediante el brazo de la pantalla de 5/7 DoF. Las interfaces de usuario (UI) tanto del software integrado como del software para PC son fáciles de usar e intuitivas para su uso, como se muestra en la figura 5 (c) y (d). Nuestro software para PC es capaz de intercambiar información con el microscopio digital, por ejemplo, guardar imágenes en la PC.

En la figura 6 se muestra la revolución y la arquitectura del microscopio digital. Solíamos tener varias versiones. La idea inicial se basó en la cámara inteligente, pero rechazamos este diseño por problemas de costos. Entonces quisimos usar la cámara de vigilancia. Según nuestra prueba, la calidad de la cámara de vigilancia no es lo suficientemente buena porque tiene la compresión de video en su interior, lo que reduce la calidad. Además, esta cámara es difícil de personalizar. Entonces quisimos usar el concepto basado en la PC completa, pero es difícil integrar la PC completa en el microscopio digital. Finalmente, seleccionamos el sistema integrado. El centro del microscopio digital es un sistema integrado basado en el sistema Linux personalizado. Los datos sin procesar de la cámara se procesan mediante un sistema integrado y se muestran en el panel. En el sistema integrado se ejecutan muchos algoritmos de procesamiento de imágenes, incluida la interpolación Bayer, la eliminación de ruido, la nitidez, la corrección gamma, el control de contraste, la decoloración, la mejora de la imagen, entre otros. Teniendo en cuenta el gran volumen de datos, la capacidad de cálculo del sistema integrado debería ser lo suficientemente fuerte. Aquí usamos la aceleración de GPU, que presentaremos más adelante.

El microscopio digital puede comunicarse con la PC a través de Ethernet. Si es necesario, la PC puede conectarse con el sistema de control de producción (MES) o de planificación de recursos empresariales (ERP) para distribuir la información en la red interna de TE. En este momento, estamos analizando la información y las funciones que se necesitan con el equipo de la fábrica digital. Si las funciones están definidas, podemos comunicarnos directamente con el sistema de MES o ERP a través del sistema integrado.

En el caso de las imágenes a color, cada píxel consta de tres canales de color: canal R, canal G y canal B. Sin embargo, el fotosensor de la cámara es sensible a todo el espectro visible, lo que significa que normalmente, solo genera la imagen monocromática. Para generar la imagen a color, el filtro de color se coloca frente al fotosensor para pasar el color requerido. Luego, los datos sin procesar de la imagen a color se representan en una disposición de píxeles RGB como se muestra en la figura 7 (a).

Cada píxel solo contiene parte de la información de color. Pero debemos obtener la imagen a color a partir de esta disposición, para lo cual, hay varios algoritmos de recuperación. Básicamente, la información adyacente de cada píxel está altamente relacionada con el valor verdadero del color faltante, y nuestros métodos se basan en la combinación del píxel adyacente. Hay dos tipos de patrón en la figura 7 (b), si el canal verde existe como se muestra, simplemente se debe obtener el promedio del valor adyacente, o de lo contrario, se debe considerar la influencia del píxel adyacente.

Aquí solo se indica lo que sucede con el canal R, pero también se puede reemplazar el canal R con el canal B y usar la ecuación (2) con el mismo método.

El ruido es inevitable para una imagen. Aquí, analizamos que el ruido proviene del CCD y del entorno. Los ruidos de este tipo son principalmente ruidos blancos, por lo que preferimos usar el filtro de media armónica inversa. El efecto de la nitidez se puede observar en la figura 8, ya que se muestra menos ruido en la imagen después del algoritmo de eliminación del ruido.

Nuestro método de nitidez se basa en el algoritmo de Kirsch que calcula el gradiente de cada punto y mejora la región con una gran amplitud del gradiente, y suprime la región con una pequeña amplitud de gradiente. La ecuación se puede expresar como se indica a continuación. En el cálculo real, utilizamos la plantilla de Kirsch para calcular el gradiente en cada píxel. El efecto de la nitidez se puede observar en la figura 9

Para una cámara a color de 6 megapíxeles, el volumen de datos es de aproximadamente 180 MB por segundo. Para procesar datos de gran volumen, necesitamos una potente capacidad de cálculo en tiempo real. Aquí utilizamos la computación paralela. Tal como lo indica su nombre, la computación paralela divide la tarea en muchos trabajos pequeños y procesa estos trabajos en paralelo. La computación paralela no supone ninguna carga para la unidad central de procesamiento (CPU), es totalmente procesada por la unidad de procesamiento de gráficos (GPU), por lo que está especialmente diseñada para el procesamiento de grandes volúmenes de datos como se muestra en la figura 10 (a).
La razón por la que podemos aplicar la computación paralela en el algoritmo de procesamiento de imágenes del microscopio digital es que los procesos de nuestros algoritmos de procesamiento de imágenes, como la interpolación Bayer, la eliminación del ruido 2D y la nitidez, entre otros, solo están relacionados con la imagen original, lo que significa que el procesamiento de cada píxel en la imagen no está correlacionado, por lo que podemos procesar estos píxeles en paralelo. Como se muestra en la figura 10 (b), podemos procesar el píxel superior izquierdo y el píxel inferior derecho al mismo tiempo.

Para la fábrica digital, la base es la comunicación. Aquí diseñamos una conexión Ethernet eficaz. En la figura 11 se ilustra el flujo de trabajo de esta conexión Ethernet eficaz. El servidor está esperando la nueva solicitud del cliente; si llega una solicitud, creará un nuevo hilo de comunicación para el cliente. Si se establece una conexión, el sistema iniciará el autodiagnóstico para verificar el estado de la conexión, detectará cada error y se recuperará automáticamente. Las ventajas del módulo Ethernet son las siguientes: 1) conexión automática; 2) captura automática del error; 3) recuperación automática del error; 4) programación multihilo sin bloquear el funcionamiento del software durante el envío o la recepción de archivos

En este documento se presentan las innovaciones con respecto al microscopio digital personalizado de bajo costo y se incluyen aspectos tales como la descripción general de la plataforma, el efecto de imagen, la operación ergonómica, la arquitectura del sistema, el método de interpolación Bayer, el método de eliminación del ruido 2D y el método de nitidez de la imagen. También presentamos cómo procesar datos de gran volumen a través de la computación paralela. Por último, presentamos la conexión Ethernet eficaz.
Para reducir el costo del sistema, seleccionamos el sistema integrado como centro de procesamiento y construimos el sistema de visión en función del nivel de los componentes. Con la lente configurable, la precisión puede alcanzar 1,9 micras para la lente estándar y menos de 1,0 micras para una lente específica. Tanto la distancia de trabajo como el campo de visión son ajustables. Es compatible tanto con la ampliación óptica como con la ampliación eléctrica. Nuestro diseño ergonómico con dispositivo universal y pantalla de alta resolución de 11,6" y 1080 p se puede utilizar de manera constante a largo plazo. En comparación con el producto disponible en el mercado, que cuesta USD 3350, el costo de referencia de nuestro sistema es de USD 1500.
En términos generales, las ventajas de este producto son las siguientes: bajo costo con calidad de nivel industrial, personalización para la aplicación de TE y diseño ergonómico para un uso constante a largo plazo.
Para poder utilizarlo en la fábrica digital, en este momento, proporcionamos el software para PC para conectar el microscopio digital. La imagen se puede guardar directamente en la PC, y también estamos analizando con el equipo de la fábrica digital qué funciones son necesarias para implementar la fábrica digital por completo. Un cliente nos inspiró para usar la pequeña PC como reemplazo del sistema integrado, y creemos que es un buen aporte.
Nuestro producto está certificado por CE y se está probando en varias plantas. Asimismo, son muchas las plantas que muestran un gran interés en él y están indagando al respecto.

Estamos sinceramente agradecidos al Sr. Josef Sinder, quien compartió mucha información y tecnología con respecto al sistema de visión artificial integrado.