Power Automate for Desktop: UI要素調査方法

-
Power Automate for DesktopでUI要素がうまく取れないため調査してみようと思いました。それにはUI要素の解析ツールが必要です。

Windows 11 での Inspect.exe 入手方法

Inspect.exe はMicrosoft製のUI調査ツールです。単体での提供はなく Windows SDK に含まれる製品のようです。

私はVisual Studio をインストールしていたので、そちらのコンポーネントとして Windows SDK をインストールしました。


1. Visual Studio Community 2022 を入手してインストールします。

Visual Studio Community Microsoft


2. Windowsの「設定」「アプリ」の「インストールされているアプリ」を開き、Visula Studio Community 2022 を探し、「…」から「変更」を選びます。


3. 「個別のコンポーネント」をクリックし、下の方にある Windows SDK を適宜選びます。

私のPCでは、以前からVisual Studio Community を入れていましたが、 Windows SDK はインストールされていませんでした。


4. ウィンドウ右下の「変更」をクリックします。



5. エクスプローラーを起動し、Inspect.exe を探します。

私は次のフォルダーにあったものを使いました。

C:\Program Files (x86)\Windows Kits\10\bin\10.0.22000.0\x64

10や 10.0.22000.0 はバージョンやビルド番号を示しているようです。私はWindows Kitsフォルダーの中で一番新しそうなものを使いました。

arm や x64 などはご利用の環境（CPU）に合わせて適切なものを選ぶ必要があるでしょう。


次の外部ページでは Windows SDK をインストールして、Inspect を利用されています。


Microsoft Accessibility Insights for Windows による UI 要素調査

アサヒロボ研さんのページに、 Microsoft Accessibility Insights for Windows を使った調査方法とセレクター指定方法が書かれていました。

こちらのツールを使うのも一つでしょう。


Edgeを使ったWeb UI要素調査方法

次の外部ページではセレクターについて非常に詳しく解説されていてとても勉強になりました。

文中で、Edgeの機能を使ったWeb UI要素のセレクター調査方法も書かれています。

Edgeだと自動的にセレクターを取得できるので便利です。

リンク先が無くなった時のために、簡単に書いておきます。

  1. 目的の要素を右クリック
  2. 「開発者ツールで調査する」をクリック
  3. 開いたペインで目的の要素を右クリック
  4. 「コピー」「selectorをコピー」をクリック

これでセレクターをコピーすることができます。

Power Automate for DesktopのUIピッカーでは取得できない要素のセレクターもこれで取得できる場合があります。

「開発者ツールで調査する」を使うと右クリックした要素が右のペインに表示されると思いますが、一度では表示されない時がありました。要素を再度右クリックして実行したところ、目的の要素まで展開されました。


昨日、要素が見つからないというエラーが発生しセレクターが間違っているのかとしばらく悩みました。

それでは、いったいどこまで要素を取れているんだと、上の要素から「Web ページ上の要素の詳細を取得します」で取得していったところ、なんと目的の要素も取得できます。

結局、「Web ページでドロップ ダウン リストの値を設定します」の実行タイミングが早すぎて、まだ要素が用意されていないことが原因でした。そりゃ見つからないわけです。


Inspectで調査した要素の属性を取得する

Inspectで調査した要素を、アクションを使って取得することもできます。

Power Automate for Desktop：ウィンドウにある UI 要素の詳細を取得する


コメント

コメントを投稿

アクセス数の多い投稿

セキュリティ対策ソフトのノートンが詐欺ソフトまがいになってしまってショック

-
イメージ
夜の10時に風呂に入っていると、80近くになる実家の母から、突然ノートンの表示が出たけどどうすれば、という連絡がありました。表示されたメッセージは次の通りです。 ！　お使いのパソコンで462件の破損されたレジストリが検出されました。パソコンをクリーンアップしてパフォーマンスを向上させましょう。 レジストリの問題は、パソコンの速度低下、フリーズ、さらにはクラッシュの原因となります。ノートンTMユーティリティーズ　アルティメットを入手して、レジストリの問題の解決とパソコンのパフォーマンス向上に役立ててください。 ノートンがこんな、レジストリが壊れているからと不安をあおって、別の製品を買わせる詐欺ソフトまがいのメッセージを出してくるとは。 親曰く「レジストリが破損て驚いた」（原文ママ）。わけのわからん高齢者に無用なストレスを与えています。 大体レジストリーとか言って、それの意味が正しく分かる一般人がいるか！（怒） ブロードコムに買収された法人向けのシマンテックはひどいことになっているけれど、個人向けのノートンライフロックは大丈夫みたいと思っていたら、こんなことになるとは。 もう、セキュリティ製品を買うのはやめて、Windows に最初からついてくる Microsoft Defender でもいいのかもしれないと思う今日この頃です。そのほうが安定してるし、こういう余計な問題も起きないし。 2022/9/1 追記　Defenderに切り替えてみました。 さらばノートン 2022/01/13 追記 悩んでいる方がいらっしゃるようなのでこのメッセージの解説をしておこうかと思います。 レジストリーとは Windows や 各種アプリ（ソフト）は設定などをWindowsが管理するデータベース（ファイル）に保存するものが多いです。そのデータベースがレジストリーです。 ソフトをインストールするときや、設定を変更する際などに書き換えられます。 設定等が保存されているため、これが壊れるとWindowsやアプリの挙動に支障をきたす可能性があること自体は確かです。 どうして壊れるのか レジストリーが壊れる原因は色々考えられます。 Windowsやアプリの不具合で作成や更新に失敗した 作成や更新中にWindowsやアプリが異常終了して中途半端になった データを保存する部品（SSDやHDDなどのドラ
続きを読む

ZIPファイルを開こうとすると、展開を完了できません、と言われる

-
イメージ
 ある日、職場の方から突然ZIPファイルを開けなくなりましたという連絡がありました。エクスプローラーでファイルを開いて、圧縮されている中のファイルをダブルクリックすると、「展開を完了できません。展開先ファイルを作成できませんでした。」というメッセージが表示され、ファイルの中身が表示されません。 7zipからは開くことができるので、Windows 10標準のZIP機能がおかしいらしい。 ネットで検索して一時ファイルを消してみたり、SFC /SCANNOW を実行して見たり、色々やってみたけれど効果なし。 海外サイトで Windows cannot complete the extraction. The destination file could not be created. などで検索してもいい情報が見つかりません。 途方に暮れつつ、ZIPファイルを右クリックして、「すべて展開」を選んでみたところ、エラーコード「0x80004005」が出ました。 それで検索したところ、次のページがヒットしました。 Windows 10でZIPファイルの解凍エラー（0x80004005）が発生したときの対処方法 問題のZIPファイルの作成には7zipを使っていたので、圧縮時の設定を見てみたところ、確かに圧縮方式がデフォルトのdeflateではなく、BZip2になっていました。 もとのdeflateに戻して、再度圧縮して標準ZIP機能で開いたところ、あっさり開くことができるようになりました。なんと。 というわけで、ZIPファイルが開けない場合には、元のツールの圧縮方式を疑ってみる必要があります。取引先から送られてきたものは、頼み込むか、7zip等で開くしかなさそうです。 また、無駄な時間を使ってしまった。 ちなみに、暗号化方式がZipCryptでないとやはり標準ZIP機能は開けないそうです。
続きを読む

Windows セキュリティーのビックリマークが消えない

-
イメージ
ノートン削除でWindowsセキュリティにビックリマーク 実家のノートン360をアンインストールしたところ、タスクトレイにある Windows セキュリティーの盾（シールド）型アイコンに「！」が表示されるようになりました。Windows 11です。 マウスポインターを持っていくと、「Windows セキュリティ - 処置をお勧めします」と表示されます。 ところが、クリックしてセキュリティの概要を開いてみても、問題なさそうです。 ノートンを再インストールするとグリーンのチェックマークになりましたが、アンインストールするとまた黄色のビックリマークになります。 私のPCはアンインストールしても問題なかったのでPC次第なのでしょう。 解決方法 実家のPCは次の方法で解決しました。 Windowsのスタートボタンを押します。（左の四角） 「設定」を開きます。 「プライバシーとセキュリティ」を選び、「Windowsセキュリティ」をクリックします。 「アプリとブラウザーの制御」をクリックします。 「評価ベースの保護」が、有効になっていなかったので有効にして、保護設定をすべて有効にしました。 有効後 これで盾アイコンのビックリマークは消えました。 Web閲覧時に危険 SmartScreen（Web閲覧が保護）が有効になっていなかった可能性があるので、これは確認してよかったです。 それにしても、タスクバーのアイコンから開いたWindowsセキュリティの画面に「アプリとブラウザーの制御」が表示されていないのはバグではないかと思います。以前は出ていたような気がします。 2022/10/9 追記 今、タスクバーの盾アイコンをクリックしたら、「アプリとブラウザコントロール」が表示されるようになっていました。やはりなにかのバグだったのでしょう。 Windows 11 は22H2にアップデート済みです。 2022/11/26 追記 別件で知人のPCのメンテナンスを行ったところ、この現象が発生していたので、早速、上の手順で解消しました。 ESETがインストールされていましたが、期限切れだったのでアンインストールしてDefenderに切り替えました。アンインストールによって生じたのか、元々こうだったのか記憶があいまいです。 Windows 11 は22H2になっていませんでした。 スマートアプリコン
続きを読む

突然滅茶苦茶遅くなったPCがWindows Updateのキャッシュクリアで復活

-
イメージ
職場のPCが滅茶苦茶遅くなって操作できないというので色々試していった結果Windows Updateのキャッシュクリアで解決しました。 とにかく遅い PCを起動してサインインしてしばらくの間はそれなりに動作するのですが、時間の経過につれて動作が重くなってくる感じです。 特にタスクバーの反応が遅くなります。 タスクマネージャーとかコンピューターの管理を開いても、ずいぶん経って忘れたころに開いてくる感じです。 ひどくなってくると、もう全然反応がありません。 サインアウトや再起動がうまく行かない場合もありました。 ただし、何もいじらないと後からでも動作する場合もありました。 システムの復元も効果なし 12/3に発生して、Windowsの機能「システムの復元」を試みると12/1と、12/3の9時くらいに復元ポイントがありました。9時くらいのものが怪しかったので復元を行いましたが、残念ながら効果がなく、しかも12/1の復元ポイントまで消失しました。 結果的にはプログラムの問題ではなくデータの問題だったため効果がなかったということになります。システムの復元の最後にユーザーのデータには影響を与えませんみたいなメッセージが表示されることからも、そうなのでしょう。 今回の教訓としてはポイントが消えるかもしれないので復元するなら思い切って前の日にさかのぼったほうが良いという事でした。 [Windows 10] システムの復元を実行する方法を教えてください。 　富士通 アンインストールもうまく行かない たまたまシマンテックのライセンス切れが重なったため、シマンテックが原因かと思いアンインストールを試みました。しかし、途中までは進むものの取り消されてしまい削除できません。 ブロードコム（シマンテックを買収）から削除ツールCleanWipeを入手して削除してみましたが、復旧せずシマンテック以外が原因だと思いました。 Cryptographic ServicesとWindows Update タスクマネージャーでCPUの使用率を見ていると、100%で遅いというのではありませんでした。使用率は高くても数十％。低い時は十数％くらいでしょうか。 見ていると周期的にCryptographic ServicesがCPUを使用し、高い時は40%くらいになります。そして、たまにWindows Updateが
続きを読む

Power Automate Desktopでブラウザでダウンロードしたファイルを処理する

-
イメージ
Power Automate Desktopを使って自動化する作業の一つはWebサービスだと思います。例えば私は銀行の明細照会や送金等の自動化を試みています。 そういう作業をしていて必要になって来るのがダウンロードしたファイルの処理です。例えば口座明細ファイルを保存するとか請求書を印刷するとかです。 ダウンロードされたファイル名がわかっているのであれば簡単ですが、実際には毎回違うなんだかよくわからない暗号コードのようなファイル名が付けられて落ちてくるという事は結構あります。 ファイル名が確定しなければアクションで指定してみようがないので困ります。今回はそういうファイルの処理方法について書いてみたいと思います。 画像はクリックすると拡大できます。 ダウンロードアクションを使用する Power Automate Desktopにはそのものズバリの「Webからダウンロードします」や「Webページのダウンロードリンクをクリックします」が用意されています。 しかし、残念ながらこれはChromeではつかえません。実行するとエラーが発生し「Chrome を使用したファイルのダウンロードはサポートされていません。オートメーション ブラウザーの使用を検討してください」と言われてしまいます。 そうなんだ、では、とEdgeやIE（Internet Explorer）を指定しても同様です。オートメーションブラウザーってなんなのと思ったら、IEの起動モードの一つでした。 それではと、オートメーションブラウザーを使ってみるとオートメーション用にすべてを削ぎ落した画面が表示され、これでは動かないサイトがありました。 また、IEのサポート終了が来年2022年6月に迫っているというのもひっかかります。 ダウンロードフォルダーを空にする ではどうするかと検索してみると、次のページではダウンロードする前にダウンロードフォルダーをクリアするという荒業を使っている方がいます。 Power Automate Desktop：ファイル名がわからないファイルをコピーする方法 いやこれ、私なんかはダウンロードフォルダーをデスクトップに設定しているので絶対に使えない方法です。 ブラウザのダウンロードフォルダーを一時的に作ったフォルダーに変更して元に戻すなんて言う方法も考えられますが、処理途中でエラーが発生するとそのま
続きを読む

NEC Aterm WX5400HP をセットアップ

-
イメージ
しばらく前にWi-Fi6対応ルーターを購入しました。 次期主力Wi-Fiルーター NEC Aterm WX5400HP 購入したはいいけれど、ずっと放置していて、昨日ようやく箱を開けてセットアップを開始しました。 Wi-Fi設定 とりあえずPCとルーターのLANポートを有線で接続し、Wi-Fiの設定を行いました。 うちは、ワンフロアの60m2程度の部屋なので、バンドステアリングやメッシュWi-Fiを使うほどではなく、また2.4GHzのみしか対応しない古いプリンターや体重計もあるので、これらは無効にしています。 ちなみに、バンドステアリングは、高速な5GHzと障害物に強い2.4GHzを自動で切り替える機能です。ルーターを設置したリビングなら5GHz、寝室なら2.4GHzという具合にいい具合に切り替えてくれるという事になっています。 メッシュは複数のアクセスポイント（Wi-Fi親機）に対してひとつの SSID を使って、家じゅうからアクセスできる機能です。リビングは NK-Living, 寝室はNK-BedroomみたいにSSIDを使い分けることなく、両方のルーターにNKでアクセスでき、使う場所によって自動的に通信状態の良いルーターを切り替えてくれる便利機能です。 PCやスマホはともかく、それら以外のデバイスはパスワード入力が厄介なので、これまで使っていたSSIDとパスワードを設定しました。 引っ越し機能を使うと便利なのですが、WEPなどの今となっては危険な設定を継承しかねないので私は使いません。利用はお勧めしません。 IPv4 over IPv6も自動でOK WX5400HPはASAHIネットのIPv4 over IPv6をサポートしているルーターなので、Wi-Fi以外のところはデフォルトのままで接続してみました。その結果次のように自動で認識されました。 動作モードはtransixとなり、IPv6動作モードも使用するになりました。 自動的にv6 コネクトが選択され、IPv4も通信可能になりました。 さすがはサポートされているだけあります。 ホームセキュリティーは無効 「トレンドマイクロホームネットワークセキュリティ™」がついていますが、私は即無効にしました。経験上、ゲートウェイ（ルーター）にこれをやらせると問題が起こるので。 FortigateとかMcAfeeの法人向
続きを読む

Excel 2019 クエリが原因で日本語入力の一文字目が勝手に確定する

-
イメージ
既存ファイルにシートを追加してセルに文字を入力していったところ、なぜか一文字目が勝手に確定されてしまうという現象に遭遇しました。 一文字目が勝手に確定される セルに、例えば「支払い」と入力しようとすると、shiharaiのsを入れた時点で確定されてしまい、「s いはらい 」のようになってしまいます。 消しては入力やり直しなので異常に入力しづらい。大量に入力する必要がある方は絶望を感じるでしょう。 クエリが原因 新しいファイルでは問題ないのでどうやらファイル依存の問題らしいということがわかりました。 新しいファイルを作って、問題のファイルにあるシートを一つずつ移動していったところ、あるシートを移動したところで新しいファイルでも発生することがわかりました。 それは銀行のサイトにある為替レートのページを参照しているクエリが含まれるシートでした。 そこで、「クエリ」と「確定」で検索したところ、なんと既に先人が原因を特定して レポート してくれていました。 それによると、「データ」メニューの「クエリと接続」グループにある「クエリと接続」をクリックして表示される画面で、クエリが選択されたまま保存されていると発生するということでした。 実際に問題のファイルを開いてみると、確かにクエリが選択された状態になっていて、選択を解除したところ改善しました。こりゃわからんわ。 新しいファイルでクエリを作っても簡単に再現可能です。 PowerQueryはExcel 2016で標準搭載されたようなので、通常はExcel 2016か2019で遭遇する問題だと思います。 回避方法 選択を解除して保存 私がこの問題に遭遇したときは、クエリの選択を解除して保存するだけで解決し、次回開いた時にも再現することはなかったと記憶しています。 ところが、今試してみると、選択解除して保存しても、次回開くとまた選択された状態になっていて、文字入力に支障が出ます。バージョンの違いかと思い、職場のPCでも試してみましたが同様です。私の記憶違いだったのか、その後のバージョンアップで悪化しているのか… クエリと接続画面を表示 現状では、「クエリと接続」画面を表示させると（選択を解除しなくても）現象は収まります。 ファイルを開くときにマクロで自動的に選択を解除する方法も考え
続きを読む

Excel VBAからODBCを使ってデータを簡単に取得する

-
イメージ
VBAから ADO を使わずにODBC経由でデータベースにアクセスする方法です。 サンプルデータベース 次のようなアクセスのデータベースがあるとします。 テーブル名は「商品マスター」 カラム名は、ID, 商品名, 金額 保存してあるファイルは C:\Test\SampleDB.accdb DSNの用意 このファイルにアクセスするための DSN を作成します。（作成方法は後述） VBAの実行 Excel でシートを開き、次のプロシージャーを実行します。これはテーブルを作成するプロシージャーなので、最初に一回実行するだけです。 Private Sub uCreateTableWithQuery()     Dim uWS As Worksheet     Dim uList As ListObject          Set uWS = ActiveSheet     Set uList = uWS.ListObjects.Add( _         SourceType:=xlSrcQuery, _         Source:="ODBC;DSN=NK Test", Destination:=Range("A3"))          uList.DisplayName = "ExcelProductMaster" End Sub DSN=にDSN名を指定します。この例では、NK Test。 Destination はテーブルの左上を配置するセルです。この例ではA3セル。 DisplayName はテーブル名を指定します。この例ではExcelProductMaster。 実行すると次のようにテーブルが作成されます。テーブルはQueryTableに接続され、QueryTableはDSNを利用可能です。 次のプロシージャーを実行します。 Public Sub uRefleshQueryTable()     Dim uList As ListObject     Dim uSQL As String          Set uList = ActiveSheet.ListObjects("ExcelProductMaster")          uSQL = "SELEC
続きを読む

Teamsで日本語入力すると左上に変換ウィンドウが出る

-
しばらくまえからTeamsのチャットに日本語入力しようとすると直接入力ができずに画面の左上に変換ウィンドウが出てきてしまうようになりました。 私のモニターは30型なのでTeamsウィンドウからかなり離れていて非常に入力しづらい。 使っているうちに直るときもあるけれどしばしば発生してイラッとしていました。 そうこうするうちに職場内からも問い合わせがあったのでMicrosoftに問い合わせてみました。 その結果、Microsoftでも現象を再現することができ、TeamsとIMEの問題であり、修正が必要だと認識しているけれど時期は未定という事でした。 回避策としては、どれでもいいから 他のウィンドウを一回クリックすれば、直接入力できるようになるという事でした。 他のウィンドウ（ブラウザや他のアプリ）をクリックしてからTeamsに戻って日本語入力すると確かに直接入力できるようになりました。（デスクトップをクリックしても解消しました） 一回解消すれば、Teamsを再起動するまでは問題は再現しないようです。普通は再起動しないので一日一回クリックすれば回避できるということになります。 ひと手間かかるとはいえ、手軽に確実に回避できるようになったのは嬉しいです。
続きを読む

ChatGPTが日本語からVBAのコードを生成できてたまげる

-
イメージ
最近噂のChatGPT。大学受験問題も解ける賢いAIだとか。そこで私も試してみました。 指示は、「単価、数量、金額の列を持つExcelのテーブルを一行ずつ読み、金額を計算して更新するVBAを作りなさい。ListObjectとFor eachを用いなさい」です。 結果は次の通り正しく回答されました。 マジかと思いました。 自然言語からコードが生成されるだけで驚きですが、金額を計算しなさいと言っただけで、単価と数量を乗算しています。 試しに実行 上の画面のテキストをコピペしたものです。 ExcelのVBAでは、ListObjectを用いることで、Excelシート上のテーブルを操作することができます。以下は、単価、数量、金額の列を持つExcelのテーブルを一行ずつ読み、金額を計算して更新するVBAの例です。 Sub UpdateTable()   Dim tbl As ListObject   Dim row As ListRow      ' テーブルを取得します   Set tbl = ActiveSheet.ListObjects("Table1")      ' テーブルの各行を取得します   For Each row In tbl.ListRows     ' 単価と数量から金額を計算します     Dim unitPrice As Double     Dim quantity As Integer     unitPrice = row.Range(1, 1).Value     quantity = row.Range(1, 2).Value     row.Range(1, 3).Value = unitPrice * quantity   Next row End Sub 上記のVBAを実行すると、単価と数量から金額を計算し、テーブル内の金額の列が更新されます。 ListObjectを用いることで、Excelシート上のテーブルを簡単に操作することができるようになります。また、For Eachステートメントを用いることで、テーブルの各行を順番に取得し、処理を行うことができます。 できています。実際にテーブルを作って実行してみました。 実行結果 ちなみに、quantityのデータ型がintegerで最大値が小さい
続きを読む