Power Automate for Desktop: UI要素調査方法

Power Automate for DesktopでUI要素がうまく取れないため調査してみようと思いました。それにはUI要素の解析ツールが必要です。

Windows 11 での Inspect.exe 入手方法

Inspect.exe はMicrosoft製のUI調査ツールです。単体での提供はなく Windows SDK に含まれる製品のようです。

私はVisual Studio をインストールしていたので、そちらのコンポーネントとして Windows SDK をインストールしました。


1. Visual Studio Community 2022 を入手してインストールします。

Visual Studio Community Microsoft


2. Windowsの「設定」「アプリ」の「インストールされているアプリ」を開き、Visula Studio Community 2022 を探し、「…」から「変更」を選びます。


3. 「個別のコンポーネント」をクリックし、下の方にある Windows SDK を適宜選びます。

私のPCでは、以前からVisual Studio Community を入れていましたが、 Windows SDK はインストールされていませんでした。


4. ウィンドウ右下の「変更」をクリックします。



5. エクスプローラーを起動し、Inspect.exe を探します。

私は次のフォルダーにあったものを使いました。

C:\Program Files (x86)\Windows Kits\10\bin\10.0.22000.0\x64

10や 10.0.22000.0 はバージョンやビルド番号を示しているようです。私はWindows Kitsフォルダーの中で一番新しそうなものを使いました。

arm や x64 などはご利用の環境(CPU)に合わせて適切なものを選ぶ必要があるでしょう。


次の外部ページでは Windows SDK をインストールして、Inspect を利用されています。


Microsoft Accessibility Insights for Windows による UI 要素調査

アサヒロボ研さんのページに、 Microsoft Accessibility Insights for Windows を使った調査方法とセレクター指定方法が書かれていました。

こちらのツールを使うのも一つでしょう。


Edgeを使ったWeb UI要素調査方法

次の外部ページではセレクターについて非常に詳しく解説されていてとても勉強になりました。

文中で、Edgeの機能を使ったWeb UI要素のセレクター調査方法も書かれています。

Edgeだと自動的にセレクターを取得できるので便利です。

リンク先が無くなった時のために、簡単に書いておきます。

  1. 目的の要素を右クリック
  2. 「開発者ツールで調査する」をクリック
  3. 開いたペインで目的の要素を右クリック
  4. 「コピー」「selectorをコピー」をクリック

これでセレクターをコピーすることができます。

Power Automate for DesktopのUIピッカーでは取得できない要素のセレクターもこれで取得できる場合があります。

「開発者ツールで調査する」を使うと右クリックした要素が右のペインに表示されると思いますが、一度では表示されない時がありました。要素を再度右クリックして実行したところ、目的の要素まで展開されました。


昨日、要素が見つからないというエラーが発生しセレクターが間違っているのかとしばらく悩みました。

それでは、いったいどこまで要素を取れているんだと、上の要素から「Web ページ上の要素の詳細を取得します」で取得していったところ、なんと目的の要素も取得できます。

結局、「Web ページでドロップ ダウン リストの値を設定します」の実行タイミングが早すぎて、まだ要素が用意されていないことが原因でした。そりゃ見つからないわけです。


Inspectで調査した要素の属性を取得する

Inspectで調査した要素を、アクションを使って取得することもできます。

Power Automate for Desktop:ウィンドウにある UI 要素の詳細を取得する


コメント

アクセス数の多い投稿

セキュリティ対策ソフトのノートンが詐欺ソフトまがいになってしまってショック

ZIPファイルを開こうとすると、展開を完了できません、と言われる

Excel 2019 クエリが原因で日本語入力の一文字目が勝手に確定する

オカムラ家具のOAチェアー、コンテッサを分解清掃

Excelのテーブルに行や列を挿入する際のエラー

突然滅茶苦茶遅くなったPCがWindows Updateのキャッシュクリアで復活

ChatGPTが日本語からVBAのコードを生成できてたまげる

Windows セキュリティーのビックリマークが消えない

Power Automate Desktopでブラウザでダウンロードしたファイルを処理する

Excel VBAからODBCを使ってデータを簡単に取得する