はじめに
ここでは、Remo購入者向けに、Remoで圧縮データの画像を取得し、動画風に表示する方法を紹介します。
※このページで紹介する内容はあくまでも一例です。個別の作成のご相談ご質問はお答えできませんのでご了承下さい。
※以下の情報は2009年11月現在のものです。ご注意ください。
Remoついてはこちらを参照願います。
圧縮データ解凍プログラムについて
圧縮データを解凍し、高速で動画風に表示させるプログラムはこちらです。VisualC#2008のプロジェクトをまるごと圧縮してます。
RemoView2.lzh
右クリックで対象を保存し、解凍してください。
Remoでは画像を圧縮するのに、少し理解が面倒な数学的計算を使っています。とにかく自分のプログラムに機能を組み込むだけでいい、という方も多いかと思いますので、ここではプログラムの概要と関数の使い方だけ説明します。
まず、自分のプロジェクトを作り、PictureBoxコンポーネントを貼り付けます。それを160x56のサイズに設定します。
RemoView2プロジェクトのForm1の中にプログラムが入ってます。この中のdispPicture3というメソッド（関数）がRemoの圧縮画像を展開してPictureBoxに表示するものです。これを自分のプロジェクトにコピーしてください。
引数には160x56サイズに設定したPictureBoxを指定します。たとえば、pictureBox1という名前でPictureBoxコンポーネントを作ったとしたら、
dispPicture3(pictureBox1);
のように実行すると、そのPictureBoxに画像が表示されます。
dispPicture3メソッドは、chkmとusConvというメソッドも使いますので、Form1の中からこれらを探して、その２つもコピーしてください。
以下、圧縮画像の展開方法について説明しますが、単に機能を使いたいだけ、という方は読まなくても結構だと思います。
データの圧縮方法について
本プログラムを作るにあたり、次の書籍を参考にしました。詳しいことはこちらを参照願います。
ディジタル画像処理の基礎と応用 酒井幸市著 CQ出版
これなら分かる応用数学教室 金谷健一著 共立出版
画像データの圧縮はいろいろな方法があります。有名なのはWebなどで使われているJPEGだと思います。JPEGの圧縮手順は
１）画像をいくつかのブロックにわける
２）ブロックを離散コサイン変換 −＞画像を周波数成分に変換
３）量子化 −＞データの解像度を下げる
４）ジグザグスキャン −＞０が連続しそうな順番にならびかえる
５）可変長コードに変換 −＞０が連続した場合は大きくデータ量が下がる方式に変換
となります。圧縮画像を戻すには、この逆の手順をふむと、ほぼ元の画像にもどります。
RemoでもJPEG風の手法を使っています。大きく違うのは、可変長コードを使っていないのと、計算結果の３／４を単純に捨てるという方法を取っています。Remoの手順は
１）ブロックにわける。
２）ブロックを離散コサイン変換。１ブロックは８ｘ８＝６４バイト
３）量子化
４）ジグザグスキャン
５）低周波データの上位１６バイトだけ抜き取る。高周波成分の４８バイトは捨てる。
という流れになります。
１）ブロックにわける
Remoの画像は１６０ｘ５６です。よってYデータは２０ｘ７ブロックになります。
CrとCbは横方向のとなり同士を共有します（くわしくはView1のページ参照）ので、Yよりも横方向に１／２の量になります。よって１０ｘ７ブロックとなります。
２）離散コサイン変換
とりあえず輝度データだけで考えた方がわかりやすいので輝度について説明します。輝度値は画像の濃淡を表します。８ビット値なので値は０〜２５５になります。
画像データは数値の羅列ですが、この数値を線グラフにして波と考えます。
工業系の大学生又は卒業者なら、応用数学の講座でフーリエ展開を習ったかと思います。フーリエ展開を使うと複雑な波形を、簡単な三角関数の合成（足し算）で表現ます。これを応用したのが離散コサイン変換です。英語でDiscreat
Cosin TransferとなるのでDCTと略されます。
８ｘ８の画像を縦方向と横方向にDCT計算すると、８ｘ８の係数が結果として残ります。この６４個の係数を使って、DCTを逆に計算する（逆DCT）と、ほぼ元の８ｘ８の画像になります。
これでは全然圧縮されていない、と思うかもしれませんが、ここからがポイントです。
８ｘ８の元画像をDCTして８ｘ８の係数を得ましたが、これは元画像の周波数成分を表したもの（のようなもの）になります。係数の左上の値が低周波、右下にいくほど高周波成分の係数となっています。
自然界の画像は、隣同士の画素の値が大きく違う、ということはあまり無いので”低周波成分が多い”、といえます。ということは、高周波成分をいくらか削っても、逆DCTを行えばもとの画像に近いものが得られる可能性があります。
ためしに、８ｘ８の元画像からDCTで得られた６４個の係数の、後半１／４を削ってみる（削った部分は０を代入)と、逆DCTをした結果は少しボヤけた感じになります。同じように後半をどんどんけずると、どんどんボヤけます。先頭の１個だけになると、元画像の平均値一色の画面になります。
このようにしても画像は圧縮できますが、劣化が激しいのでその他の処理も行います。それが量子化とジグザグスキャンです。
３）量子化
画素の濃淡を８ビットで表してますが、人間の目はそれほど解像度はよくありません。たとえば、PC画面で濃度１２０と濃度１２１の濃さを見ても、普通の人なら見分けられないでしょう。ということで、DCTした結果を割り算して、値を減らします。このとき、高周波成分は重要ではないので大きな値で割ります。低周波に近いほど少ない値でわります。
どのような値でどの画素を割るか、ということが問題になりますが、これは何度もテストしてみて出すしかありません。Remoの場合は浅草ギ研でテストした結果を元に、割る率を決めています。これについてはプログラムのところに実際の値が記載されています。
４）ジグザグスキャン
量子化まで行うと、実はDCT結果の８ｘ８の係数の左上から右下の中心線に大きな値が集中し、それ以外は０に近くなることが多いです。よって、左上から右下の中心線付近を抜き出します。
５）上位１６バイトだけ抜き取る
最終意的にはRemoでは、中心線付近のデータから上位１６バイトを抜いて、それを転送しています。PC側ではこの１６バイトを使って８ｘ８＝６４画素の画像を再生します。
ここではおおまかな流れを説明しました。詳細や実際の計算式などは書籍などを参照して下さい。実際のところ、私も作っている時は理解していたのですが、２ヶ月経過した今、式を見ても理解できません。質問等はご遠慮下さい。
実際のプログラム
ではプログラムを解説します。Form1の中にソースコードが入っています。
おおまかな流れとしては、チェックボックスにチェックを入れると、Ｔｉｍｅｒが有効になり、Ｔｉｍｅｒイベントで一定周期で圧縮画像を要求するコマンドを送信します。コマンド送信後はdispPicture3メソッド（関数）で画像をPictureBoxに表示します。
＜値修正メソッド＞
チェックボックスとタイマーのイベントはそんなに難しくないので、ソースを参照すれば大体わかると思います。以降、画像を表示する部分を説明します。
まず、画像を表示する計算で使う、値を修正するメソッドです。chkmはView1の例で説明しましたが、小数点演算をするときに値が８ビットの範囲を超える場合があるのでそれを修正するものです。
usConvですが、Yデータは単純な濃淡ですが、CrとCbは色”差”の情報でマイナスの値も８ビットで表しています。
８ビット値の０〜１２７はそのまま整数の０〜１２７に相当します。１２８〜２５５は−１２８〜−１になります。１２８は−１２８、２５５はー１になります。（−１に１を足すと０になる。２５５に１を足しても０になる。）
本当の値はマイナスも表しているのですが、送られてくるデータはｂｙｔｅつまり符号なしの形式で受け取ってしまうので、これを符号付きのｉｎｔに変換しています。
＜手順＞
次に心臓部のdispPicture3メソッドです。行２００〜２１７、行５７６〜６０５の部分はView1と同じなので割愛します。
まず、データ量ですが、非圧縮のときはヘッダ４バイト＋画像１７９２０バイトが送られてきましたが、圧縮の場合はヘッダがありません。画像データは１／４になっていますので４４８０バイトのデータが送られてくることになります。
圧縮データは、まずＹの２０ｘ７ブロック、次にＣｂの１０ｘ７ブロック、最後にＣｒの１０ｘ７ブロックの順に送られてきます。１ブロックは１／４に圧縮されているので１６バイト、つまり始めにＹデータが連続で２２４０バイト、次にＣｂが１１２０バイト、最後にＣｒが１１２０バイト送られてきます。
圧縮は
１）ＤＣＴ
２）量子化
３）ジグザグスキャン
４）１６バイト抜き取り
の順でしたので、画像に戻すには
１）１６バイトセット
２）逆ジグザグスキャン
３）逆量子化
４）逆ＤＣＴ
の順で行います。
計算用にバッファを用意したのが上の部分です。
＜逆ジグザグスキャン＞
ジグザグスキャンを逆に戻しているところです。Ｒｅｍｏ側ではこの逆の組み換えをしています。
＜逆量子化＞
データは１６バイトですが、８ｘ８の画面に直すので８ｘ８＝６４の配列を用意します。Ｒｅｍｏ側ではデータを減らすために値を割っています（量子化）ので、ここでは逆の同じ値を掛けてもどします。このプログラムでは値を受け取っていないデータに大しても演算をしていますが、わかりやすいように６４バイト分全部計算しています。この計算値は浅草ギ研で実際に実験しながら得たものです。（実験時にはデータを１／４に減らしていないので６４個分の計算値がある。Ｒｅｍｏ側の都合で２の倍数になっている。）
途中省略．．．
＜逆ＤＣＴ＞
ＤＣＴは８ｘ８の元画像に対して８ｘ８の係数を求めています。コサインを使うので本来は複雑で長い計算になるのですが、途中の計算をあらかじめさせておき、それを定数として計算に使っています。これでプログラムは単純かつ高速になります。途中の計算をあらかじめした結果を格納したものがmCos[?,?]です。これはコンストラクタ内で値を代入しています。この計算値は浅草ギ研がＲｅｍｏ用に行って調整したものなので、他への流用はご遠慮下さい。
ここで、Ｒｅｍｏ内で行った計算の逆を行うと、８ｘ８画像が得られます。
輝度調整プログラム
輝度調整は行６１３〜６２１の部分です。ここは単純にＲｅｍｏへコマンドを送るだけなので説明は割愛します。テキストボックスの値をＲｅｍｏへ送るだけです。数値が大きくなるほど明るくなります。Ｒｅｍｏ起動時のカメラの輝度は０に設定されています。
プログラムを動作させてみる
Ｆ５キーを押してプログラムを動作させます。
Ｌｉｖｅのチェックボックスをチェックすると、左目の画像が動画風に出力されました。
非圧縮と比べると画質がボヤけているのがわかります。
２００９年１１月２７日
|
