UiBot:みんなのためのロボット!

ユーザの位置: トレーニングセンター > UiBot開発者ガイド > 20.イメージコマンド
20.イメージコマンド

常用の「マウス」および「キーボード」クラス以外、UiBotの「イメージ(image)」クラスコマンドも非常に強力です。 UiBot Creatorのコマンド領域で[画像検索(Find Image)]に移動し、[展開(Expand)]をクリックして、次の図に示したいくつかのコマンドを見てみましょう。


[図形挿入]


[UiBot Creator] 51(imgsTarget/3.png){width="30%"}でリストされているイメージコマンド


以下を行う画像検索コマンドから始めましょう。:

• .bmp、.png、.jpgなどの画像ファイルを指定します(可逆圧縮であるため、.png形式を使用することをお勧めします)

•画面の指定された領域を左から右、上から下にスキャンして、その領域にある画像が表示されているかどうかを確認します。ある場合、座標は変数として保存されることができます。そうでない場合、例外が発生します


複雑に見えますが、画像ファイルとスキャンできる領域を指定するだけです。操作はとても簡単です。たとえば、WeChat Windowsのログインボタンをクリックすることをシミュレートします


WeChatを起動してログイン画面を開いたとします。 次に、UiBot Creatorでプロセスブロックを編集し、ダブルクリックまたはドラッグして画像検索(Find Image)コマンドを挿入する必要があります。次に、ターゲットコマンドのボタンと同様に、「ターゲット検索(Find the Target)」ボタン(左下)をクリックします。UiBotCreatorは一時的にアイコンを非表示にし、それを矢印と画像(右)に変えます。この時点で、左のボタンを押して、青いボックスが描画されるまでそれを右にドラッグします。青いボックスには既に探したい画像が含まれているので、マウスの左ボタンを放すと完了です!!


[画像検索コマンドを使用し、画像と検索範囲を指定します] (imgsTarget/4.png){width="90%"}


上記の操作で青いボックスだけが描かれたように見えますが、実際、UiBot Creatorがたくさんのことをしてくれました:


1. どのウィンドウが青いボックスに含まているかを決め、このウィンドウの特性を記録することができます。将来的には、まずこのウィンドウを見つけて、このウィンドウのスコープ内でダイアグラムを探す必要があります


2.青いボックスのスクリーンショットを、.pngファイルとして現在のプロセスに書き込まれているディレクトリのresサブディレクトリに自動的に保存しました。これが探したい写真です


[画像検索]コマンドをマウスでクリックして強調表示すると、次の図に示すように、右側のプロパティバーにコマンドのプロパティが表示されます。:


画像検索コマンドのプロパティ(imgsTarget / 5.png){width = "30%"}赤いボックスの最も重要な二つのプロパティは、前述のようにUiBot Creatorが行ってくれました。その他の各プロパティの間に、「類似性(similarity)」とは0〜1の間数字のことです。 [空白(blank)] 小数点の空間へ加えられます。UiBotでは、この数値が1に近ければ近いほど、各ポイントの一致性への要求が厳しくなります。必要になります。たとえば、0.9に対して、一般の一致が存在する限り、少しだけの不一致を許します。カーソル位置プロパティ(Cursor Position Property)とは、画像が見つかったとき、画像が長方形でコマンドは点の座標を出力することなので、長方形内のその点に返すということです。アクティベートウィンドウプロパティ(Activate Window Property)は、その図を見る前に、探しているウィンドウを前景に表示されるかどうかを示すものです。ウィンドウが隠されている場合、探しているウィンドウ上に画像があっても簡単に見つけることができません。そこで、このプロパティは通常に「はい」と設定します。


変更する必要のない他のプロパティはデフォルト値のままを保ちます。「プロパティへの出力(Output to Property)」では、変数名objPointが指定されており、画像が見つかった場合、その結果はこの変数に保存されます。これを以下に示します:


!! [View results width Output Debug Information] (imgsTarget/6.png){width="80%"}


探している画像が実際に画面に表示されていると仮定すると、実行後に次の結果が得られます。:


正確な値はコンピューターによって異なりますが、原則は変わりません。この値は「辞書」データ型です。値が変数objPointに格納されているとき、「x」と「y」値を「````objPoint[x]' ``and ``objPoint[`y]'」に書き込むだけで済みます。


画像の中心を取得したら、この位置をマウスでクリックして、WeChatのログオン操作をシミュレートします。これを行うには、Mouseクラスに含まれているMove MoveコマンドとSimulate Clickコマンドを選択してください。


Simulate Moveコマンドの最も重要なプロパティは、(次の図に示すように)画面の位置を操作することです。検索画像の結果である``objPoint["x"]`````と ``objPoint["y"]``をそれぞれ入力します。移動が完了したら、ログインボタンの中央でもう一度「モッククリック(mock click)」と左クリックを行います。この時点で、ログインボタンをクリックする操作をすべてシミュレートしました。


!! [結果の幅を表示、デバッグ情報を出力] (imgsTarget/7.png){width="80%"}


上記の3つのコマンドは簡単に理解できます。UiBotを一度も学習したことのないユーザーでも、その意味がほとんど分かります。しかし、ログインボタンをクリックする創作を完成させるには、さらに3つのコマンドが必要です。これは明らかに多すぎます。UiBotが提供する「イメージ」クラスのすべてのコマンドをもう一度見てください。 最初のステップは「クリックイメージ」と呼ばれます。実際は、イメージの検索、移動のシミュレーション、クリックのシミュレーションという3つのコマンドの組み合わせです。まず、クリックイメージ(Click Image)コマンドを挿入し、コマンドでのターゲット検索(Find Target)ボタンを押します。次に、マウスをドラッグして適切なウィンドウと探したいイメージを選択します。その後、WeChatの[ログイン]ボタンをクリックする機能をすばやく完成できます。ターゲットなしコマンドですが、ターゲットを使用してコマンドを操作することよりも簡単です。


それを念頭に置いて、「画像の上にマウスを移動する」、「画像が存在するかどうかを判断する」など、他のいくつかの画像クラスのコマンドの間に行き来できるようにする必要があります。


RPAの世界を探索する準備はできましたか?
自動化開始