sele_chan

一般事務員です。SeleniumVBAはインストール不要でExcelだけで動作し高機能ですので、Excelから社内WEBシステムへの自動転記を実現できました。そこで得られたノウハウをツイートしています。

[sele_chan @sele_chan1]

入力したつもりが「空振り」する？

VBA+Seleniumでブラウザ自動化をしていると、ときどき不思議な現象に出会います。今回は「空振り」現象についてGoogle Flightsを事例にそのメカニズムを記事に掲載しました。
https://t.co/r6Rx0in3IL

[sele_chan @sele_chan1]

@kikkis_f 「ExcelのSeleniumマクロ」というのはSeleniumBasicをつかっていたのでしょうか？私はSeleniumVBAというライブラリーを使っていますが、安定して自動更新されています。

[sele_chan @sele_chan1]

Seleniumを使っていて初心者がつまづくことが多い「待機」についての格闘記をnote記事にしてみました。
https://t.co/ZmyujRYtW6

[sele_chan @sele_chan1]

【SeleniumVBA】職場PCでWebDriverの起動がブロックされる

管理者がDefenderの設定でExcel VBAからWebDriverを起動できないようにしていることがあります。SeleniumでのスクレイピングはWebDriverが必須です。以下の記事は手動起動により実験した結果を掲載しています。
https://t.co/cecRSG1SkF

[sele_chan @sele_chan1]

@Neu02L こんにちは。VBA+SeleniumでのスクレイピングならSeleniumVBAが最強と思っているsele_chanです。このツールはインストール不要でありながら、IEを凌駕する機能と安定性があり、WebDriverがダウンロードできる環境であればExcelひとつで動作しますのでおススメです。
https://t.co/LJHLtOlob1

[sele_chan @sele_chan1]

@chiyushenzhi こんにちは。VBA+SeleniumでのスクレイピングあればSeleniumVBAが最強と思っているsele_chanです。
Edge画面からプリンターで紙印刷する前提ですが、下記サンプルでうまく動くかお試しいただければ、と思います。https://t.co/WUNDXaV0kC

[sele_chan @sele_chan1]

VBA+SeleniumでAIを活用してSPA動的サイトの自動化をする【SeleniumVBA】

VBAスクレイピングで壁となるのがSPA動的サイトの待機処理です。ポイントは手動操作(Excelのマクロ自動記録に近い)により出力されたログをAIに提示して、完了条件や不要な通信を解析することです。
https://t.co/jcUGMvlUDg

[sele_chan @sele_chan1]

【VBA最強レベルのブラウザ操作自動化ツール】
WebDriver BiDiのイベント検知により、従来のSeleniumやCDPツールでは失敗しやすいSPAなどの動的ページの待機を重視していて、ExcelによるWebスクレイピングを極めたい場合にはお勧めです。Chrome拡張機能も有効にできます。
https://t.co/27YFNxomvo

[sele_chan @sele_chan1]

@ogw_slocker この趣旨にとても賛同しています。 私がSPA動的サイトをスクレイピングするためにSelenium VBAで作成したツールもそのコンセプトを貫いていますので、パクらせてもらいました。

[sele_chan @sele_chan1]

@max_rows @Viewbox @style svg要素のXPath指定は、通常の //svg では取得できないことが多く、//*[name()='svg'] を使う必要があります。私もこれでハマったことがありました。

ということで、これならいけそうです。
//*[name()='svg'][@viewBox='hogehoge']

[sele_chan @sele_chan1]

Webスクレイピングにおいて、Seleniumで起こりがちなSPA動的サイトの待機がうまくいかず試行錯誤で時間を浪費したことはありませんか？

WebDriver BiDi for SeleniumVBAというツールは、Excel VBAを使って双方向通信により出力する観測ログをもとに、AIに解決案を提案させる手法を使っています。

[sele_chan @sele_chan1]

WebDriverの使用について

使える環境の場合は、使ったほうが拡張性（双方向通信）や継続性（W3C標準）を考えるとお勧めです。EdgeのWebDriverはMicrosoftの署名付きですので安心材料になります。Selenium VBAの場合はダウンロードしてフォルダに置くだけでExcelがあれば稼働します。

[sele_chan @sele_chan1]

「Redditの質問に回答しました」

Selenium VBAの質問でしたので勇んで取り組みましたが、SPA動的サイトでしたので一旦WebDriver BiDiのログでAIに完了条件を推定させて、IsPresentで条件を設定してクラシックコマンドで回答しました。待機処理も先走りなく期待どおりです。
https://t.co/aUbcEqPg9y

[sele_chan @sele_chan1]

SeleniumVBAの良いところ

Pure VBAでありブラックボックスがないため、ExcelのクラスモジュールをみればSeleniumの解読ができ改良も容易であることです。そのためWebDriver BiDiへの拡張もできました。とはいえ解読するのは大変ですが、今ではAIが説明してくれますので敷居が低くなりました。

[sele_chan @sele_chan1]

WebDriver BiDi for Selenium VBA「これまで引っかかっていたこと」

WebSocketを使う上で、WinHttpでつなぐと応答がない場合Excelがフリーズする不具合があり以前から気がかりでした。WinSockを使うことでノンブロッキングを実現した方がいましたので追随しましたら、問題は完璧に解消されました。

[sele_chan @sele_chan1]

SeleniumVBA「WebDriverが自動ダウンロードできない」

Selenium VBAを初めて動作させると、企業ポリシーに制約がないにもかかわらず、セキュリティソフトの初期設定によりWebDriverのダウンロードがブロックされることがあります。以下の記事で解決できるかもしれません。
https://t.co/XV2XbpO1b7

[sele_chan @sele_chan1]

@rikuauto25 動的サイトの場合、idとclass名は良く変わりますね（意味不明な名称は特に）。私はAIに堅牢なXPathを提案してもらってます。

[sele_chan @sele_chan1]

@rinrinmame SeleniumVBAはVBAで作成されたExcelファイルでブラウザ操作できますので、インストールできない自社環境でも使用できています。ポイントはWebDriverがダウンロードできるかどうかだと思います。https://t.co/LJHLtOlob1

[sele_chan @sele_chan1]

現在、Seleniumのブラウザ操作自動化において壁として顕在化しているのが、動的SPAサイトの普及で「本当に完了した」と言える状態を再現性高く検知できず手動で何回も試行錯誤して待機時間を調整する作業が非効率になっていることです。その打開策として「ログからAIに推定させる」に挑戦しています。

[sele_chan @sele_chan1]

「WebDriver BiDi for SeleniumVBAの使用目的」

本ツールはWebSocketによる双方向通信、SPA安定判定、ログによる診断機能を追加する拡張です。
従来のSeleniumによる要素待機では不安定になりやすい現代的な動的サイトの自動操作が目的となります。
Pure VBAのためExcelだけで動作するのも強みです。