Whitepaper: Microscópio digital personalizado de baixo custo

Alguns tipos de microscópios estão em operação na TE, incluindo microscópio estéreo, microscópio digital, microscópio metalográfico, microscópio polarizador, microscópio 3D, microscópio eletrônico etc. Eles não são usados apenas no laboratório, mas também em linhas de montagem, estampagem e moldagem. Os mais utilizados são o microscópio estéreo (Fig. 1 (a)) e o microscópio digital (Fig. 1 (b)), ambos pertencentes ao microscópio óptico, que gera a imagem baseada na luz visível. Podemos fazer uso de microscópio óptico para inspeção de qualidade, assistência de fabricação, monitoramento de processos e muito mais.

O microscópio estéreo e o microscópio digital têm suas desvantagens. Em primeiro lugar, são produtos padrão, que não podem ser personalizados. No entanto, os clientes gostariam de ter o dispositivo configurável com campo de visão ajustável, distância de trabalho, método de operação, estação de operação, e o software deve ser personalizado para várias aplicações. Em segundo lugar, o design ergonômico ruim causa fadiga e desconforto com o uso em longo prazo. Por exemplo, o microscópio estéreo causa fadiga ocular. Para o microscópio digital, a tela é tão próxima que o operador terá uma sensação desconfortável. Em terceiro lugar, o alto custo do microscópio óptico. O preço geral do microscópio digital, como mostrado na Fig. 1 (b), é de cerca de US$ 3.350, e se quisermos personalizar algumas funções, o preço será muito alto.

É preciso haver um microscópio digital personalizado para preencher a lacuna entre a necessidade do cliente e os produtos no mercado. Vários desafios são enfrentados para o desenvolvimento:
1) Baixo custo para o sistema de visão de máquina com desempenho competitivo: precisamos desenvolver um sistema de visão de máquina, incluindo a câmera industrial de alta resolução, a lente configurável, a unidade de iluminação, o visor de alta resolução e o quadro ergonômico com baixo custo
2) Design ergonômico: para algumas aplicações, os operadores usarão o microscópio continuamente por um longo tempo, de modo que a ergonomia da operação é muito importante
3) Qualidade de nível industrial para funcionar na linha de produção: o baixo custo não deve degradar a qualidade do produto
4) Ter o potencial para oferecer suporte à fábrica digital: a fábrica digital é importante para a TE, e muitos clientes estão interessados nela, por isso devemos considerar o potencial de conectar-se à rede e trocar informações
Desenvolvemos um microscópio digital personalizado de baixo custo. Para reduzir o custo do sistema, selecionamos o sistema incorporado como centro de processamento e construímos o sistema de visão com base no nível do componente. Com lente configurável, a precisão pode alcançar 1,9 micra para lente padrão e menos de 1,0 mícron para lente específica. Tanto a distância de trabalho quanto o campo de visão são ajustáveis. Nosso design ergonômico com estrutura universal e visor de alta resolução de 11,6" e 1080p é adequado para uso contínuo a longo prazo. Para oferecer suporte à fábrica digital, agora, fornecemos o software para PC para conectar o microscópio digital. Em comparação com o produto no mercado (US$ 3.350), o custo de referência do nosso sistema é de US$ 1.500. Nosso produto passou no certificado CE e está em teste em várias plantas, sendo que muitas delas demonstram grande interesse e estão perguntando pelo produto.

Fornecemos dois tipos de microscópio digital personalizado, como mostrado na Fig. 2 e na Fig. 3. Ambos são compostos pelo sistema de visão e pela estrutura. O sistema de visão consiste em uma câmera colorida de 6 megapixels para capturar a imagem, o sistema incorporado para processar a imagem, a lente configurável, a iluminação do anel LED e a tela de 11,6" de 1080p. A estrutura inclui o braço da tela para ajustar a posição e o ângulo da tela, o braço da câmera para ajustar a distância de trabalho e o ângulo da câmera, e a base para segurar todos os componentes. A diferença entre o produto do tipo 1 e tipo 2 é que o tipo 1 usa a estrutura de tela de 7 graus de liberdade (DoF) e, por isso, é mais flexível para alcançar qualquer ângulo e qualquer posição. A estrutura de tela 5 de DoF é mais estável. O cliente pode selecionar o tipo correspondente com base em suas aplicações.
Como um microscópio digital, o desempenho básico é o efeito de imagem que é decidido por todo o sistema de visão, incluindo a iluminação, a câmera, a lente e o algoritmo de processamento de imagem. Selecionamos várias tarefas desafiadoras. A primeira é o sensor de botão com cerca de 5 mm de diâmetro. E o desafio é que precisamos iluminar um produto tão pequeno a cerca de 110 mm de distância. A distância de 110 mm é deixada para soldagem de ponta quente em linha. O segundo é o produto microfusível que tem cerca de 3 mm de largura e a superfície é coberta pela cola. O terceiro é o produto de soldagem cujo processo é muito comum em TE. A Fig. 4 mostra o efeito de imagem nesses produtos, o que é muito bom e você pode até ver a textura na superfície.

Além do efeito de imagem, o funcionamento do microscópio digital também é muito importante, e essa é a parte mais relevante para o operador. Nosso produto é totalmente otimizado para operação ergonômica. A lente parfocal oferece suporte à ampliação óptica girando o regulador, como mostrado na Fig. 5 (a). A posição e o ângulo da tela são ajustáveis pelo braço de tela de 5/7 DoF. As interfaces de usuário (IU) do software incorporado e do software de PC são fáceis de usar e de uso intuitivo, como mostrado na Fig. 5 (c) e (d). Nosso software de PC é capaz de trocar informações com o microscópio digital para, por exemplo, salvar a imagem no PC.

A Fig. 6 mostra a revolução e a arquitetura do microscópio digital. Costumávamos ter várias versões. A ideia inicial é baseada na câmera inteligente; rejeitamos esse projeto por questão de custos. Em seguida, pensamos em usar a câmera de vigilância. Com base em nosso teste, a qualidade da câmera de vigilância não é boa o suficiente porque tem compactação de vídeo interna, o que degrada a qualidade. Além disso, essa câmera é difícil de ser personalizada. Então, desejamos usar o conceito baseado em Full PC, mas é difícil integrar o PC inteiro ao microscópio digital. Finalmente, selecionamos o sistema incorporado. O centro do microscópio digital é um sistema incorporado baseado em um sistema Linux personalizado. Os dados brutos da câmera são processados pelo sistema incorporado e exibidos no painel. Muitos algoritmos de processamento de imagem estão sendo executados no sistema incorporado, incluindo a Interpolação Bayer, redução de ruídos, nitidez, correção gama, controle de contraste, redução de cores, aprimoramento de imagem e muito mais. Considerando o volume de big data, a capacidade de computação do sistema incorporado deve ser forte o suficiente. Aqui usamos a aceleração de GPU, e vamos apresentá-la mais tarde.

O microscópio digital pode se comunicar com o PC através da Ethernet. Se necessário, o PC pode se conectar com o sistema MES/ERP para distribuir as informações na rede interna da TE. Neste momento, estamos discutindo com a equipe de fábrica digital sobre quais informações e funções são necessárias. Se as funções forem definidas, teremos o potencial de nos comunicar diretamente com o sistema MES/ERP através do sistema embarcado.

Para a imagem colorida, cada pixel é composto por três canais coloridos, canal R, canal G e canal B. No entanto, o fotossensor da câmera é sensível a todo espectro visível, o que significa que normalmente, ele só gera a imagem monocromática. Para gerar a imagem colorida, o filtro de cor será colocado na frente do fotossensor para passar apenas a cor necessária. Em seguida, os dados brutos da imagem colorida são um arranjo de pixels RGB como mostrado na Fig. 7 (a).

Cada pixel contém apenas parte das informações de cores; precisamos recuperar a imagem colorida deste arranjo. Existem vários algoritmos de recuperação. Basicamente, as informações adjacentes de cada pixel estão altamente relacionadas ao verdadeiro valor da cor que falta, e nossos métodos são baseados na combinação do pixel adjacente. Há dois tipos de padrão na Fig. 7 (b); se o canal verde existir como mostrado, basta executar a média do valor adjacente ou então, precisamos considerar a influência do pixel adjacente.

Aqui eu só listo o caso com canal R, também podemos substituir o canal R pelo canal B, e usar a equação (2) com o mesmo método.

O ruído é inevitável para uma imagem. Aqui, analisamos que as fontes do ruído são o CCD e o meio ambiente. Esses tipos de ruído são principalmente ruído branco, por isso preferimos usar o filtro de média harmônica inversa. O efeito da nitidez pode ser visto na Fig. 8, menos ruído é mostrado na imagem após o algoritmo de redução de ruído.

Nosso método de nitidez é baseado no algoritmo Kirsch que calcula o gradiente de cada ponto e melhora a região com grande amplitude do gradiente, e suprime a região com pequena amplitude de gradiente. A equação pode ser expressa como abaixo. No cálculo real, usamos o modelo Kirsch para calcular o gradiente em cada pixel. O efeito da nitidez pode ser visto na Fig. 9

Para uma câmera colorida de 6 megapixels, o volume de dados é de cerca de 180 MB por segundo, e a fim de processar tais dados de volume grande, precisamos da forte capacidade de computação em tempo real. Aqui usamos a computação paralela. Assim como seu nome, a computação paralela divide a tarefa em várias pequenas tarefas, e processa essas tarefas em paralelo. A computação paralela não tem nenhum ônus sobre a CPU, é totalmente processada pela GPU, e por isso é especialmente projetada para o processamento de volume de big data, como mostrado na Fig. 10 (a).
A razão pela qual podemos aplicar a computação paralela no algoritmo de processamento de imagem do microscópio digital é que o processo de nossos algoritmos de processamento de imagem, como a interpolação Bayer, a redução de ruídos 2D, a nitidez e muito mais, estão relacionados apenas à imagem original, o que significa que o processamento de cada pixel na imagem não é corrigido, para que possamos processar esses pixels em paralelo. Conforme mostrado na Fig. 10 (b), podemos processar o pixel superior esquerdo e o pixel inferior direito ao mesmo tempo.

Para a fábrica digital, a base é a comunicação. Aqui projetamos uma conexão robusta via Ethernet. A Fig. 11 ilustra o fluxo de trabalho desta conexão Ethernet robusta. O servidor está ouvindo a nova solicitação do cliente, se uma solicitação chegar, ele criará um novo segmento de comunicação para o cliente. Se uma conexão for estabelecida, o sistema iniciará o autodiagnóstico para verificar o estado da conexão, capturará cada erro e se recuperará automaticamente. As vantagens do módulo Ethernet são: 1) Conexão automática; 2) Captura automática do erro; 3) Recuperação automática do erro; 4) Programação multithread sem bloquear o funcionamento do software durante o envio/recebimento do arquivo

Este artigo introduz as inovações sobre o microscópio digital personalizado de baixo custo, incluindo a visão geral da plataforma, o efeito de imagem, a operação ergonômica, a arquitetura do sistema, o método de interpolação Bayer, o método de redução de ruídos 2D, o método de nitidez da imagem. Também introduzimos como processar um grande volume de dados com base na computação paralela. Finalmente, introduzimos a conexão Ethernet robusta.
Para reduzir o custo do sistema, selecionamos o sistema incorporado como centro de processamento e construímos o sistema de visão com base no nível do componente. Com lente configurável, a precisão pode alcançar 1,9 micra para lente padrão e menos de 1,0 mícron para lente específica. Tanto a distância de trabalho quanto o campo de visão são ajustáveis. Oferecemos suporte à ampliação óptica e à ampliação elétrica. Nosso design ergonômico com fixação universal e visor de alta resolução de 11,6" 1080p é adequado para uso contínuo a longo prazo. Em comparação com o produto no mercado (US$ 3.350), o custo de referência do nosso sistema é de US$ 1.500.
As vantagens deste produto podem ser generalizadas como sendo de baixo custo com qualidade de nível industrial, personalizado para aplicações da TE e com design ergonômico para uso contínuo no longo prazo.
Para oferecer suporte à fábrica digital, agora, fornecemos o software para PC para conectar o microscópio digital. A imagem pode ser diretamente salva no PC, e também estamos discutindo com a equipe da fábrica digital sobre quais funções são necessárias para realizar plenamente a fábrica digital. Um cliente nos inspira a usar o pequeno PC para substituir o sistema incorporado, e acreditamos que essa é uma boa direção.
Nosso produto passou no certificado CE e está em teste em várias plantas, e muitas plantas mostram grande interesse e estão perguntando pelo produto.

Somos sinceramente gratos ao Sr. Josef Sinder, que compartilhou muita informação e tecnologia sobre o sistema integrado de visão da máquina.