はじめに
ここでは SH2の中の、SH7144Fを搭載したマイコンボード （インターフェイス誌2006.6月号付録） と浅草ギ研製CMOSイメージセンサーボードCMOS-EYEを使って、線化画像処理を行います。
尚、このページは「SH2．．．バス接続及びシリアル接続」のページので作成した環境を使用しています。ハード接続、画像へのアクセス方法などは事前にこちらを参照願います。また、線化処理の前段階として、ニ値化処理を行う必要があります。ニ値化処理とその関数については、「SH2．．．ニ値化画像処理」のページを参照願います。
※このページで紹介する内容はあくまでも一例です。個別の作成のご相談ご質問はお答えできませんのでご了承下さい。このページと同じ内容についてのご質問についてはロボット掲示板にてお願いいたします。
用語について
このページで説明する用語について解説します。
CMOS-EYEはマイコンと接続することが前提となっております。以下の説明で「マイコン」と書いたところは、CMOS-EYEに接続するユーザー側のマイコンを示します。マイコン側の端子名は極力、そのマイコンのデータシートに書かれている名前を記載しています。
マイコンチップが載ったCPUボードを「マイコンボード」とします。マイコンボードの端子名は極力、そのマイコンボードの取扱説明に書かれている名称を記載しています。
CMOS-EYE上にも制御用のマイコンが搭載されていますが、これは「CMOS-EYE上のマイコン」とします。（バス接続時には特にこの「CMOS-EYE上のマイコン」を意識する必要はありません。）
CMOS-EYEからはいろいろな端子が出ています。アドレスを指定する端子の集まりを「アドレスバス」とします。又、データを指定したり受けたりする端子の集まりを「データバス」とします。
線化画像処理についての概要とソースプログラム
まず、ソースはこちら。
CMOSEYE_SH2_Line.c （右クリックで保存）
文字などの画像をニ値化した場合、そのままだと線が太すぎて計算するのが大変になりますので、文字判定などを行う前に「線幅１の細い線」に変換する場合が多いです。線幅１の線にしておけば、後段で「線の端が何個あるか？」、「交差する点があるか？」、「角度が一定以上の点があるか」などの判定が可能になります。
線化するには画面を１ピクセルづつスキャンし、そのピクセルの周囲の状況によって自分のピクセルが消せるか？を判定していきます。自分の周りのピクセルよって計算を行うことを「近傍（きんぼう）処理」と言います。
自分が消せるかの判断材料として、自分の周りに何個の図が接しているかということを計算する必要もあります。この何個接しているかを「連結数」と言います。
また、自分が消せるかを判断するのに、前回行った処理を記憶しておいて、その状況により判断することも必要になります。マイコンには、沢山の画面のデータを記憶するほどのRAM容量はありませんので、前回処理の記憶はCMOS-EYEのSRAM上に展開することになります。
これらの詳細は次節から説明します。
  
元画像−＞ニ値化−＞線化 の例
以下では、二値化した後の画像について説明します。「画素がある」、「対象がある」と書いてあるところは黒（０）ピクセルを表します。その他は背景の白（２５５）になります。一部、対象があるピクセルを色わけで表示しているところもありますので注意して下さい。実際には黒（０）か白（２５５）の２つの値しか扱いません。
周囲８近傍処理
自分に接する周囲のピクセルは８個あります。この８個を使って計算するのを「８近傍処理」と言います。
周囲８ピクセルは１ピクセル８ビット長のデータを持っているので unsigned char 型の８個の配列変数に入れて処理します。この場合、for文などでループをまわす場合にどの位置をどの配列番号に入れるかという問題があります。画面を左上からスキャン処理していく場合（ラスタスキャンと言ったりします。）に、「自分位置から反時計回りに処理」することが多い(詳しくは画像処理の書籍などを参照）ので、配列番号は右から反時計周りに、次の通りにします。
配列は０番から始まるので終りは７番、で８個の配列です。
 （配列番号の付け方）
CMOS-EYEの場合は、１画面が１行づつの連続した場所に格納されます。下は８０ｘ６０白黒の場合の格納イメージです。
よって、自分の位置の上のピクセルのアドレスは「自分のアドレス−画面横幅」、下のピクセルは「自分のアドレス＋横幅」となります。
ということで、８近傍の値を取得する関数を下のように作りました。
配列はポインタ渡しになっています。例えば、今、１０００番地の周囲８ピクセルの値を取得したいとします。画面は８０ｘ６０だったとします。呼び出し元プログラムで、
unsigned char a[8];
という配列を作っており、この中に８近傍データを入れたい場合は、
unsigned char* pa;
pa = a;
getPix8(pa, 1000, 80);
とすると、a[ ] 配列に周囲８近傍データが入ります。
尚、次に説明する連結数の計算のために、配列は９個の長さにしておいた方が良いです。配列を１個増やして宣言して、上のプログラムを
unsigned char a[9];
としても結果は変わりません。最後の a[8] に入る値は不定となります。（が、a[0]-a[7]までしか見なければ良い）
連結数の計算
自ピクセルに、何個の画像がくっついているか？を「連結数」と言い、近傍処理では多用します。どのように使うかは後の節で説明するとして、ここでは、連結数の計算方法を説明します。
まずは、８近傍でどのような連結数のパターンがあるか考えます。下のパターンは一例で、それぞれ左右や上下が反対になった場合なども考えられます。
＜連結数のパターン＞
連結数は「自分のピクセルの周りをスキャンし、そのピクセルが黒で、一個前のピクセルが白だった個数」を計算することで求められます。
今、８近傍のデータを取得したとします。ニ値化画像なので値は黒か白しかありません。配列は右から時計回りに番号がついていますが、０番から始めると「１つまえ」が判定できないので１番から反時計周りにスキャンします。最後は一個足りないので、８番の配列を追加して０番をコピーしておきます。
黒は０、白は２５５のニ値になります。この部分を関数化したのが下になります。
これも、配列をポインタで渡してます。１番の配列から初めて８番の配列で終わりますので行２８３のｆｏｒ文はｉ＝１から始めます。最後の値は行２８１で０番をコピーして追加しています。
画面コピーの関数
プログラムを作っていく中で、画面をコピーして保存するという処理が多かったのでこの部分も関数化しました。
fmAddrに格納されている画像を toAddrへコピーします。１画面文ループしてコピーしますので、１画面の大きさをmySizeで渡しています。
DATA_DIR、getPixData関数、setPixData関数などは前のページを参照願います。この関数を動かす前にCE=LOWにする必要があります。
データバスの方向切替や、CEの処理を getPixData や、setPixData 関数内で行えばよいと思うかもしれませんが、その通りでした。バス方向切替は関数外で行った方が処理がダブらないで良いか？とおもってこのようにしてましたが、プログラムを書いている時にバス方向切替忘れなどでハマることが多かったです。SRAMに対して読み書きできない？と思ったらバス方向切替忘れの可能性がありますので注意して下さい（よくあったので。）。データ方向切替がダブっても、そんなにスピードには影響しないようです。
線化画像処理のロジック
前置きが長くなりましたが、いよいよ線化処理の本体部分です。このロジックは少々複雑なので、プログラム経験が少ない方は理解に時間がかかるかもしれませんので、根気よく読んでください（私も作るのに非常に時間がかかりました。）。
基本的な動きは、画面を左上からスキャンしていって、黒の場合に、そのピクセルが白にできるか？という処理の繰り返しになります。元画像はすでに二値化されているものを使います。黒が値０、白が値２５５になっています（Viewerで見たときに見やすいので。Viewerについては前ページを参照。）
元画像の例。（二値化済み）
１）周囲の黒ピクセル数を検討する
まず、周囲８近傍で黒が何個あるか？という条件を見てみます。周囲８近傍に黒がある場合の例を下に示します。
各個数の例はあくまでも一例で、これ以外にも沢山のパターンがあります。まずは消去法でいきます。
１個の場合：必ず自ピクセルが端になるので、白にできない。
２個の場合：上の例の場合は、白にしても斜め線が保存されるので白にできる。他の場合は不明。
３個の場合：上の例の場合は白にできるが、他の場合は不明
４個の場合：上の例の場合は白にできるが、他の場合は不明
５個の場合：上の例の場合は白にできるが、他の場合は不明
６個の場合：上の例の場合は白にすると右上のピククセルがヒゲのように成長する可能性が高い。他のパターンの場合は、線が切断されてしまう。
７個の場合：７個はこのパターンしかない。右上と右下方向にヒゲが成長する。
８個の場合：８個はこのパターンしかない。白にすると穴があくので白にできない。
となります。ここで、
■絶対白にできない：１個、７個、８個
■微妙：６個
■白にできるパターンがある：２〜５個
となります。尚、０個の場合、つまり自ピクセルだけが黒の場合は雑音なので白にして消します。
２）連結数を検討する
ここまでで、周囲８近傍の黒数は２〜５個に限定して考えます。次に、連結数を見てみます。下は２〜５個時の例で、連結数を表示したものです。これらを見ると「連結数＝１以外は線が切断される」ということがわかります。よって、自ピクセルを白にできるかの判断に「周囲８近傍の連結数が１」という条件を追加します。（下の例以外にもパターンがありますが、全て、連結数１以外は切断されるようになります。）
３）過去のスキャン情報を検討する
これら２つの検討で線化できそうな気配ですが、実は、左上からスキャンしてくるので、今までのスキャンですでに周囲が白に変わっている場合があります。よって、今まで白にしていたかどうか？というのも検討する必要があります。
過去情報を検討しなかった場合の例（この他にもいろいろなパターンがあります。）
上３つと左が白にされていた場合でも、その結果、連結数が１であれば線は切れません。よって、線が切れない条件として「元画像の上３つと左を白にしてみても連結数＝１の場合には白にできる」という条件を追加します。
ここで、「今まで白にしていた可能性のあるピクセル」は、左上からスキャンするので上３つと左だけを検討すればよいことになります。
このように過去の情報も検討する必要があるので、線化の場合には２画面分の領域をSRAM上に展開して計算する必要があります。
４）線化が終了したかの判定
ここまでの作業で、太い線の周り１ピクセルが削られます。元の線が２〜３ピクセル以上の太さだった場合は一回のスキャンでは終わりませんので、「白にできるピクセルを発見できなくなるまで続ける」という条件を追加します。
実際のプログラムに移ります。ここでは、元画像のある領域の先頭アドレスを stAddr 作業領域(結果格納領域）の先頭アドレスを workAddr
とします。元画像であるニ値化画像は別に保存しておく必要がないので、一回目終了後に、workAddr をstAddrにコピーして、同じ作業をつづけます。（これにより、元のニ値化画像は失われる。）元の二値化画像を残したい場合はあらかじめ別な領域にコピーしておくか、作業領域をもう一つ使うか、ということになります。
ということで線化部分を関数化したのが下の部分です。
細かい説明は今までのことと、コメントを参照してください。
画像処理結果
実際に、ソースプログラムを動かしたものを、ＣＭＯＳ−ＥＹＥ Ｖｉｅｗｅｒで見てみます。
撮影画像（０番地から格納）
元画像があったところ（４８００番地から格納）
結果画像（９６００番地から格納）
ということで無事、線化ができました。
４８００番地には元は０番地の二値化画像が入っていましたが、処理の途中で結果画像と同じになります。念のため、このサンプルプログラムでは二値化後に１９２００番地に二値化画像をコピーしておきましたのでそれも表示します。
元画像（１９２００番地へ事前にコピーしておいたニ値化画像）
気になる時間ですが、前ページまでのようにTEST端子をオシロで測定して、線化関数の前後でTESTをHIGH/LOWさせて時間を計測しました。
処理時間は元のニ値化画像の線の太さに大きく左右されます。二値化後に黒が多いと時間が多くかかります。この画像の例ですと、写真のように約９２０秒かかっています。このように、処理内容が複雑だと処理時間は結構かかることになります。
ちなみに、H8Tinyで同じような画像を処理した場合は大体５秒ぐらいかかっていました。
おわりに
今回はニ値化画像の線化を行いました。CMOS-EYEの内蔵プログラムでは、線化画像から端点、分岐点、交差点の数と位置などを計算するものもあります。
端点は、線化が終わった画像をもう一度スキャンすると、連結数が１の点が端点となります。分岐点は連結数３、交差点は連結数４で求められます。
交差点は、線化の過程で、２ピクセルぐらいの距離の分岐点ｘ２になることもありますので、分岐点が接近しているところは場合によっては交差点１つにまとめる必要があります。また、それ以外でも色々と、すんなりいかないケースがありますので注意して下さい。
線の方向が急激に変わるところを角として検出することも可能です。
線化画像後にこのような処理を行うことで、線図形の特徴を抽出して、文字検出など、その図形がどのようなものかをプログラムで判定することもできるでしょう。これらについてはここでは解説しませんが、画像処理本などを参考に挑戦してみてください。
２００６年８月２９日
|
| |
|
