ホワイト ペーパー: 低コストのカスタム デジタル顕微鏡

TE ではステレオ顕微鏡、デジタル顕微鏡、金属組織顕微鏡、偏光顕微鏡、3D 顕微鏡、電子顕微鏡を始めとして、何種類もの顕微鏡が稼働しています。これらは研究所だけでなく、組み立て、プレス加工、モールド成形の生産ラインでも活躍しています。最も広く使われているのがステレオ顕微鏡 (図 1 (a)) やデジタル顕微鏡 (図 1 (b)) ですが、どちらも可視光ベースで画像を生成する光学顕微鏡に分類されます。光学顕微鏡は、品質検査、製造支援、プロセス監視などで活躍します。

ステレオ顕微鏡とデジタル顕微鏡には、それぞれ弱点があります。1 つ目が、カスタマイズのできない標準製品であるという点です。しかし、お客様の側としては、視野、作動距離、動作方式、動作ステーションの調整ができる構成可能な装置を望んでおり、ソフトウェアもまた、様々な用途に合わせたカスタマイズが必要とされています。2 つ目に、人間工学を考慮しない設計のため、長時間使用すると疲労や不快感が生じます。たとえば、ステレオ顕微鏡を使っていると目が疲れます。デジタル顕微鏡の場合、スクリーンが近いためにオペレータは目への刺激が強いと感じます。3 つ目に、光学式顕微鏡は高コストです。図 1 (b) で示したようなデジタル顕微鏡の一般価格は、おおよそ 3,350 米ドル程度で、一部機能をカスタマイズした場合、価格はかなり高くなります。

TE のカスタム デジタル顕微鏡は、顧客のニーズと市場にある製品とのギャップを埋める役割を果たします。開発にあたっては、いくつかの難題に直面しました。1) 低コスト性と優れた性能とを兼ね備えたマシン ビジョン システムの実現: 産業用の高解像度カメラ、調整可能レンズ、照明ユニット、高解像度ディスプレイ、エルゴノミック フレームを備えた、低コストのマシン ビジョン システムを開発する必要がありました。2) 人間工学設計: 一部の用途では、オペレータは顕微鏡を長時間連続使用する必要があるため、人間工学に則した形で操作できることは非常に重要です。3) 生産ラインでの使用に耐える、産業レベルの品質: 低コスト性と製品品質とを両立させる必要がありました。4) デジタル ファクトリーへの対応力: デジタル ファクトリーは TE にとって重要なテーマであり、多くのお客様も関心を寄せているため、ネットワークに接続して情報交換を行う機能について考慮する必要がありました。TE では、低コストのカスタム デジタル顕微鏡を開発しました。システムのコストを抑えるため、処理センタには埋め込みシステムを選択し、コンポーネント レベルをベースにビジョン システムを構築しました。調整可能レンズによって、標準レンズでは 1.9 ミクロンまで、特殊レンズでは 1.0 ミクロンよりも細かな精度まで対応します。どちらのレンズも作動距離と視野を調整できます。TE の人間工学設計は、汎用フレームと 11.6 インチ 1080p の高解像ディスプレイを採用し、長時間の連続使用に適したものとなっています。デジタル ファクトリーをすぐにでも支援できるよう、デジタル顕微鏡に接続するための PC 用ソフトウェアも提供しています。市販製品の価格は 3,350 米ドル程度ですが、当社システムの参照価格は 1,500 ドルと低コストです。TE 製品は CE 認証を取得しており、複数の工場で試験を実施したところ、多くの工場で好評を博し、問い合わせをいただいています。

TE では、図 2 および図 3 で示したような、2 種類のカスタム デジタル顕微鏡を提供しています。どちらもビジョン システムとフレームから構成されています。ビジョン システムは、画像を撮影する 6 メガピクセルのカラー カメラ、画像処理用の埋め込みシステム、調整可能レンズ、リング型 LED 照明、11.6 インチ 1080P ディスプレイから構成されています。フレームは、スクリーンの位置や角度を調整するためのスクリーン アーム、カメラの作動距離や角度を調整するためのカメラ アーム、全コンポーネントを保持するためのベースを備えています。タイプ 1 とタイプ 2 の製品の違いは、タイプ 1 では 7 DoF (自由度) のスクリーン アームを採用して柔軟性を高め、あらゆる角度や位置を可能にしている点にあります。5 DoF のスクリーン アームでは、これよりも安定性が高くなります。お客様は用途に合わせてタイプを選択できます。デジタル顕微鏡の基本性能は、撮像機能です。これは、照明、カメラ、レンズ、画像処理アルゴリズムを始めとするビジョン システム全体によって大きく差が出ます。TE では、難易度の高いいくつかの道を選びました。1 つ目の難題は、直径約 5 mm のボタン センサを採用すること。また、約 110 mm 先にある小さな製品を照らす必要があり、これも難しい課題となりました。インラインはんだ付けには、110 mm の距離が必要でした。2 つ目は、幅約 3 mm のマイクロヒューズ製品や、接着剤で覆われた面を扱うという難題です。3 つ目の難題は、TE では頻繁に行われている、製品のはんだ付けプロセスに関わるものです。図 4 は、これら製品が持つ優れた撮像機能を示しています。表面の質感まで見て取ることができます。

撮像機能に加えて、デジタル顕微鏡の動作も非常に重要であり、オペレータにとっては最も切実な点であると言えるでしょう。TE の製品は、人に優しく動作するよう完全に最適化されています。図 5 (a) で示しているように、同焦点レンズはツマミの回転によって光学ズームを行います。スクリーンの位置と角度は、自由度 5 または自由度 7 のスクリーン アームによって調整できます。埋め込みソフトウェアとパソコン用ソフトウェアのユーザ インタフェース (UI) は、図 5 (c) および (d) で示したように、使い勝手がよく直観的に操作できます。TE が提供するパソコン用ソフトウェアでは、デジタル顕微鏡と情報交換を行って、たとえばパソコンに画像を保存することができます。

図 6 では、デジタル顕微鏡の進化とアーキテクチャを示しています。TE では複数のバージョンを検証しました。最初のアイディアではスマート カメラをベースにしましたが、コストの問題からこの案は却下されました。次に、監視カメラを使う方法を検討しました。テストの結果、監視カメラ内部で行われるビデオ圧縮によって画質が低下するため、思った通りの画質が得られないことが分かりました。カスタマイズが難しいことも問題でした。次に、Full PCをベースにしたコンセプトを検討しましたが、デジタル顕微鏡へのコンピュータ組み込みは難しいという結論になりました。最後に選択したのが、埋め込みシステムです。デジタル顕微鏡の中枢に、カスタマイズした Linux システムをベースにした埋め込みシステムを据えたのです。カメラの生データを埋め込みシステムで処理して、パネルに表示させます。Bayer 色補間、ノイズ除去、シャープネス、ガンマ補正、コントラスト調整、彩度、画像補正など、多くの画像処理アルゴリズムを埋め込みシステム内で稼働させました。データ容量が大きくなることを考慮して、埋め込みシステムには十分な計算処理能力を持たせる必要がありました。そこで、私たちは GPU (画像処理プロセッサ) の高速化を採用しました。これについては後述します。

デジタル顕微鏡は、Ethernet を介したパソコンとの通信に対応しています。必要となれば、パソコンを MES/ERP システムに接続して、TE の社内ネットワークに情報を配信することも可能です。現在、どういった機能が必要であるかについて、デジタル ファクトリー チームと検討を重ねています。機能が固まれば、埋め込みシステムを介して MES/ERP システムと直接通信を行うことも可能になるでしょう。

画像を色鮮やかにするため、1 つ 1 つのピクセルは 3 つのカラー チャネル (R ＝ 赤、G ＝ 緑、B ＝ 青) で構成されます。ところが、カメラのフォトセンサはすべての可視スペクトルを感知してしまうため、通常そのままでは、モノクロ画像しか生成されません。カラー画像を生成するには、フォトセンサの手前にカラー フィルタを配置して、必要な色だけを透過させる必要があります。その後、カラー画像の生データは、図 7 (a) で示したような RGB ピクセル配置になります。

1 つ 1 つのピクセルは、色情報を部分的にしか含んでいないため、この配列をもとにカラー画像を再現していく必要があります。再現アルゴリズムは数通り存在します。基本的には、各ピクセルの隣接情報は欠落した色の真の値と密接に関連しており、TE では隣接ピクセルの組み合わせをベースにした方法を採用しています。図 7 (b) では 2 通りのパターンを紹介しています。図で示したように、緑のチャネルが存在する場合は隣接値の平均のみ実行しますが、緑のチャネルが存在しない場合は、隣接するピクセルの影響を考慮します。

ここでは R チャネルの例だけ紹介していますが、B チャネルの場合でもまったく同様です。同じ方法で式 (2) を使用します。

画像にノイズは付きものです。分析の結果、ノイズの原因は CCD と環境にあることが分かりました。この種のノイズは主にホワイト ノイズであるため、TE では調和逆平均フィルタを採用しました。図 8 はシャープネスの効果を示しています。ノイズ除去アルゴリズム実行後の画像では、ノイズが低減しています。

TE で採用しているシャープネス処理方法は、Kirsch アルゴリズムをベースにしています。個々のポイントごとに勾配を計算して、勾配の振幅を大きくすることで領域を強調し、勾配の振幅が小さい領域を抑制します。計算式は下記の通りです。実際の計算では、Kirsch テンプレートを使用して個々のピクセルにおける用途勾配を計算します。シャープネスの効果は、図 9 で確認できます。

6 メガピクセルのカラー カメラでは、データ サイズが 1 秒あたり約 180 MB となり、これだけの大容量のデータを処理するには相当のリアルタイム計算処理能力が必要になります。このような場合は、並列計算を利用します。その名が表す通り、並列計算ではタスクを多数の小さいジョブに分割して、複数のジョブを並列処理します。並列計算は CPU に負担をかけることなく、すべて GPU で処理してしまうため、図 10 (a) で示したように大容量データの処理に非常に適した設計であると言えます。TE がデジタル顕微鏡の画像処理アルゴリズムに並列計算を利用できた理由は、Bayer 補間、2D ノイズ除去、シャープネスといった当社の画像処理アルゴリズムが、オリジナルの画像にのみ関連付けられている、つまり、画像に含まれるピクセル間には相関関係がなく、これらピクセルの並列処理が可能であったことに他なりません。図 10 (b) で示したように、左上のピクセルと右下のピクセルを同時に処理することができるのです。

デジタル ファクトリは、通信という土台の上に成り立つものです。そこで TE は、堅牢な Ethernet 接続を設計しました。図 11 で示したのは、この接続におけるワークフローです。サーバはクライアントから新規のリクエストを受け取ります。リクエストが到着すると、サーバはクライアントのために新しい通信スレッドを生成します。1 つの接続が確立されると、システムは自己診断を開始して通信ステータスをチェックし、エラーを検知して自動的に復旧を行います。Ethernet モジュールのメリットとしては、1) 自動接続、2) エラーの自動検出、3) エラーからの自動復旧、4) ファイル送受信中にソフトウェアの動作を阻害しない、マルチスレッド プログラミングが挙げられます。

ここでは、プラットフォームの概要、撮像機能、人間工学に基づく人に優しい動作、システム アーキテクチャ、Bayer 補間法、2D ノイズ除去法、画像シャープネス法など、低コストのカスタム デジタル顕微鏡を実現する革新的技術についてご紹介しました。並列計算方式を利用して、大容量のデータを処理する方法も紹介しました。最終的には、堅牢な Ethernet 接続を導入しました。システムのコストを抑えるため、処理センタには埋め込みシステムを選択し、コンポーネント レベルをベースにビジョン システムを構築しました。調整可能レンズによって、標準レンズでは 1.9 ミクロンまで、特殊レンズでは 1.0 ミクロンよりも細かな精度まで対応します。どちらのレンズも作動距離と視野を調整できます。TEの製品は、光学ズームと電子ズームの両方に対応しています。TE の人間工学設計は、汎用の固定具と 11.6 インチ 1080p の高解像ディスプレイを採用し、長時間の連続使用に適したものとなっています。市販製品の価格は 3,350 米ドル程度ですが、当社システムの参照価格は 1,500 ドルと低コストです。本製品のメリットを簡単にまとめると、低コスト性と産業レベルの品質との両立、TE の用途に合わせたカスタマイズ、そして、長時間の連続使用を想定した人間工学設計にあると言えるでしょう。デジタル ファクトリーをすぐにでも支援できるよう、デジタル顕微鏡に接続するための PC 用ソフトウェアも提供しています。画像をパソコンに直接保存することも可能です。現在、デジタル ファクトリーを 100% 実現するために必要な機能について、デジタル ファクトリー チームと検討を重ねています。あるお客様からは、埋め込みシステムに代えて極小のパソコンを使ってはどうかという、有望なアイディアをいただきました。TE 製品は CE 認証を取得しており、複数の工場で試験を実施したところ、多くの工場で好評を博し、問い合わせをいただいています。

埋め込み型マシン ビジョン システムに関する様々な情報および技術をご提供いただいた Mr. Josef Sinder 氏に、筆者一同、心より感謝いたします。