はじめに
CMOSイメージセンサS-EYEはシリアル通信により画像が取得できるモジュールです。特にPCと接続すれば多彩な画像処理を行うことができ、接続も装備も簡単に済みます。
今回は、基本である画像の取得をいかに速くおこなうかを説明します。言語は他のページと同じくC#、接続はBluetooth無線経由で行います。
※このページで紹介する内容はあくまでも一例です。個別の作成のご相談ご質問はお答えできませんのでご了承下さい。このページと同じ内容についてのご質問についてはロボット掲示板にてお願いいたします。
※以下の情報は2008年10月現在のものです。ご注意ください。
S-EYEについてはこちらを参照願います。
構成
S-EYEは主にリモートブレイン用途を想定しています。よって、PCとの無線接続がメインになるかと思いますので今回は下記のように浅草ギ研のBluetoothモジュールAG-BT20Eを経由してPCと接続します。
ＢＴ２０Ｅへの電源はＳ−ＥＹＥから供給することができますので上記のように４端子を直結するだけで終わりです。
通信速度は初期設定の460800bpsで行いました。
電源は４．５V〜１０Vという仕様ですが、電圧が高くなると効率が悪くなり基板も熱くなるので今回は５VのACアダプタを使っています。
Ｓ−ＥＹＥはＦＰＧＡを使っているので、出力が高く安定したものを使ってください。６Ｖニッケル水素や７．４ＶのＬｉＰｏなどを想定しています。７．４Ｖだと電圧が少々高めなので５Ｖぐらいの電源回路を組んだ方がよいかもしれません。
PC側のBluetooth無線ですが、460800bpsだと通信できない機種があるので注意してください。今回は現時点で一番小さいUSBタイプのBluetooth無線機 プリンストン製 PTM-UBT3S を使いました。
この機種はTOSHIBA系ですが、添付されているソフト TOSHIBA Bluetooth Stack はバグ（？）があり、私の使っている３台のPCにインストールしたところ全てのPCで”TosOBEX”が動きっぱなしになってしまう（PCのCPU稼働率が常に１００％近くになり、他のプログラムが動かなくなる）という現象がおきています。これを回避するにはインストール後にコピーされるTosOBEX.exeをリネーム（名前を変える）し、動いているTosOBEXを強制終了させるとよくなります。
AG-BT20Eのページに他の機種を含めたセットアップ方法やBT20Eとの接続方法などが書いてありますので詳しくはそちらを参照願います。
ＡＧ−ＢＴ２０Ｅに電源をいれ、ＰＣ側のＢｌｕｅｔｏｏｔｈ側でアプリを起動してデバイスの検出を行うとＡＧ−ＢＴ２０Ｅが発見されますのでペアリングを行っておきます。ＡＧ−ＢＴ２０ＥはＲＦ−ＣＯＭでＳＰＰ接続（仮想シリアルポートになる）です。ペアリング後、ＰＣ側Ｂｌｕｅｔｏｏｔｈ無線のプロパティを確認してＣＯＭポート番号を確認して置いてください。今回のＰＴＭ−ＵＢＴ３ＳはデフォルトでＣＯＭ４０になるようです。ＢＴ２０Ｅを複数台接続することもでき、その時は４０番から順番に値が上がっていくようです。
Bluetoothと書くと長いので以下BTにします。
現在、私のPCではS-EYEとは別にロボット神経システムもBT接続していますので下記のようになってます。左がCOM40としてS-EYEとつながりました。２つのポートを同一アプリで動かすこともできますので画像結果によりサーボを動かす、ということもできます。
センサーとしてのS-EYE
S-EYEはセンサーとして作っています。カメラではありませんのでWebカメラの動画のように速い表示はできませんし画面サイズも大きくありません。しかし、簡単に実装できるというメリットがあります。今回の例でも．ＮＥＴ
Freamworksの標準コンポーネントしか使っていませんし、PC側機器もたった１５００円で済みます。また、今回のようにＢＴ経由での接続だと複数のＳ−ＥＹＥを１つのＰＣに接続できるというメリットもあります。
データも非圧縮なのでデコードする必要もなく、簡単に計算することができます。よって個人レベルで作る画像認識システムなどに最適です。
今回はモニタに画像を出しますが、これは画像システムを構築中のデバック用であると考えており、真剣にモニタリングする用途ではありませんのでご了承下さい。但し今回は画像を連続アップデートして動画のような表示にしています。
S-EYEは、あくまでもセンサーであることを念頭においてください。
画像の高速取得方法について
Ｃ＃を含む．ＮＥＴ Feramwork(Visual Studio、VisualBasic、VisualC++など)の初級本では画像の取り扱いにはPictureBoxを使ってSetPicxelで描画する方法が書いてありますが、このSetPicxelメソッド（関数のようなもの）が異常に遅いというのが難点です。
実際に今回紹介する方法とSetPixcelを使った場合を比べたら、SetPixcelの方は５倍以上の時間がかかりました 。
ということで今回は初級本などで紹介されている方法ではなく、もっと違った方法を取っています。よってプログラムが少々複雑になりますが、今回のソースをそのまま使えばよいでしょう。この方法はMSDNやネットで調べて作りました。
まあ、プロの目から見ると普通のことかもしれませんが．．．
プログラム
とりあえず完成版がこちらになります。
SEYE_HiSpeed.lzh （右クリックで対象を保存）
保存後、解凍するとVC#2008のプロジェクトのフォルダになります。
フォームの構成は次のようにしました。連続で画面を更新するプログラムですが、ボタンを付けて一時停止できるようにしています。画面サイズは８０ｘ６０のカラーにします。ということで８０ｘ６０サイズのPictureBoxも配置しています。
通信はSerialPort1をドロップするだけ。Timer1は一時停止の状態かどうかの判定を周期的にするのに使用しています。画面を一時停止しなくても良い場合はボタンもタイマも不要でしょう。
画像フォーマットですが、S-EYEはカラーの場合は２バイトで１ピクセルを表します。今回はRGB565のモードで画像を取得します。PCの表示はRGB各８ビットづつの２４ビットカラーで表すのが普通です。ということで、取得する画像データと表示する画像データは次のような関係になります。
ではプログラムの解説に入ります。
全体の構成は次のようになっています。行９〜１１は標準状態から追加した行で、画像表示メソッド内で使うクラスを使うのに必要な宣言です。
コンストラクタ（スタートアップルーチンみたいな部分）で各コンポーネントの初期設定を行っています。
今回は画面を８０ｘ６０のRGB565にしましたので送られてくる１画面は80x60x2=9600バイトになりますが、「SerialPortコンポーネントとBTを連携する場合に受信バッファが少ないとデータ取りこぼしが発生する」
というのを聞いたので受信バッファは必要以上に多く取っています。（それでも１５万はやりすぎだったかも。少なくしてもぜんぜんうごきます）
タイマはドロップしただけではEnagledがfalse（つまり動作していない）になっていますので注意。
その後、同じくコンストラクタ内でS-EYEに対して初期設定を行っています。
まずは命令４を実行してカメラの２１２番レジスタを０にしています。これはAE(オートエクスポージャ：自動露出）とAWB(オートホワイトバランス）をどちらもOFFにするという設定です。特にAWBは対象物の色の多さによって色自体が変わってしまうので認識系では余計な機能です。たとえば赤が多い画面だと赤が押さえられて全体的に青っぽくなったりして正確な色認識ができなくなりますのでこの機能を切ります。もともとは携帯電話用のカメラなので起動時はこの機能がONになっているようです。
その後、命令３を実行してモードを９（RGB565 80x60 のモード）に変更しています。これでS-EYEに画像要求をすると８０ｘ６０のカラー画像のデータ列が送られてきます。RGB565なので１ピクセルは２バイトになります。画像フォーマットの詳細についてはS-EYEのページを参照願います。
ボタンとの動きですが、ボタンを押すと単にフラグがかわるだけです。タイマーでは５０ｍＳ毎にフラグを監視し、"START"だったらS-EYEに対して画像を要求するという感じになっており、STOPボタンを押してフラグがかわると停止、つまり画面をアップデートしなくなります。
さて、いいよいよ中心部の画像表示部分になります。
基本的には各行にコメント入れてますのでソースをみればわかります。
おおきな流れとしては
１）S-EYEに対して画像要求コマンドを発行（行１０３：別メソッドにしてます）
１）描画領域を固定（行１０７〜１１２）
２）データを受信して配列に格納（行１１３〜１２０）
３）ＲＧＢ５６５をＲＧＢ８８８（２４ビットカラー）に変換（行１２１〜１３２）
４）ピクチャーボックスに表示（行１３３〜１３５）
となっています。
ポイントは行１０７〜１１２の部分です。
まず、作業用のビットマップを用意してピクチャーボックスに割り当てます。（行１０７，１０８）
次にBitmapクラスでビットマップをロックします。（行１０９〜１１１）
その領域のポインタを作ります（行１１２）
このポインタに対して、ＲＧＢ５６５−＞ＲＧＢ８８８に変換したデータをコピーすることで、ビットマップに直接操作するのではなくメモリ上のデータをスパッっと渡すことができ、速く画像を出すことができます。
深く考えずに行１０７〜１１２と、行１３３〜１３５をそのままコピーして使ってもいいと思います。
ＲＧＢ５６５からＲＧＢ８８８への変換は行１２５〜１２７の部分です。単純に２バイトに分散されているＲＧＢの値を３バイトに直してるだけです。画像フォーマットについてはＳ−ＥＹＥのページに詳しく書いてあります。
ビットマップのカラーの場所ですが、アドレスが小さい順にＢＧＲとなるので注意してください。（行１２８〜１３０）
受信データは１ピクセル２バイト、出力は１ピクセル３バイト、というところがポイントです。
結果
結果、次のように無事画像が表示されました。無線経由で。
速度はだいたい０．５秒毎ぐらいのアップデート速度になりました。ビデオカメラとしては使えませんがセンサーとしてはまあまあかと。この４倍のサイズの１６０ｘ１２０も撮れますが、この後、複雑な画像処理をした上でさらにロボットを動かそうと考えると、あまり大きな画像は問題あります。４０ｘ３０にすると１０ｆｐｓ（秒間１０枚）ぐらいになりましたので動画っぽく見えました。モノクロにするとさらに２倍速になります。
下は上の結果を拡大したところです。各ピクセル毎の色の状態がわかるかと思います。
ということでとりあえず画像が取得できるようになりました。次は簡単な画像処理を行ってみたいと思います。
２００８年１０月１６日
|
