便利だけど知られていないGemini APIの機能 🖥️ 「この画面を見て、ここをクリックして」ができるAI。ブラウザ操作の自動化が変わります。 Geminiの「コンピュータ使用（Computer Use）」は、画面を見てマウスやキーボードを操作するエージェント機能です。UIテストやWeb操作タスクの自動化に新しい可能性を開きます。 📌 タイトル：コンピュータ使用（Computer Use） 🔗 URL： 🧩 概要 従来のUI自動化はDOM構造やセレクタに依存しており、UIが変わると壊れやすいのが難点でした。Computer Useは画面のスクリーンショットを「見て」理解し、クリックやタイプなどの操作を指示できるエージェント機能です。人間がブラウザを操作するのと同じように、視覚ベースでUIを操作できます。 🛠 使い方 スクリーンショットをGeminiに渡し、実行したいタスクを自然言語で指示します。Geminiが画面上のどこをクリック/入力すべきかを判断し、操作アクションを返します。それをブラウザ自動化ツール（Playwright等）と連携して実行する流れです。 🏗 本番システムへの組み込み方 ・E2Eテスト自動化：「ログインして商品をカートに入れて決済まで進めて」のような複雑なフローを自然言語で記述。UIの変更に強いテストに。 ・RPA的業務自動化：社内システムのフォーム入力やデータ転記を、画面を見ながら自動実行。APIがないレガシーシステムにも対応。 ・Web操作エージェント：「この比較サイトで最安値を調べて」のようなタスクを画面操作で完遂。 ・アクセシビリティ検証：画面を視覚的に解釈して、操作性の問題を検出するテストツールに。 💡 ユースケース 🧪 視覚ベースのE2Eテスト自動化 🤖 APIのないシステムのRPA的自動化 🌐 Webブラウジング・情報収集エージェント ♿ アクセシビリティの自動検証 ⚠️ 注意点 画面の解釈に基づくため、操作の正確性は100%ではありません。重要な操作（決済、削除等）には人間の確認ステップを挟むべきです。また、レイテンシが大きめなので、高速な連続操作には不向き。セキュリティ面でも、操作対象のシステムへのアクセス権限管理に注意が必要です。 ✨ 「APIがないからLLMで自動化できない」は過去の話。画面を見て操作するエージェントの世界を、まずは簡単なタスクから試してみてください。 #Gemini# #LLM#

便利だけど知られていないGemini APIの機能 🖥️ 「この画面を見て、ここをクリックして」ができるAI。ブラウザ操作の自動化が変わります。 Geminiの「コンピュータ使用（Computer Use）」は、画面を見てマウスやキーボードを操作するエージェント機能です。UIテストやWeb操作タスクの自動化に新しい可能性を開きます。 📌 タイトル：コンピュータ使用（Computer Use） 🔗 URL： 🧩 概要 従来のUI自動化はDOM構造やセレクタに依存しており、UIが変わると壊れやすいのが難点でした。Computer Useは画面のスクリーンショットを「見て」理解し、クリックやタイプなどの操作を指示できるエージェント機能です。人間がブラウザを操作するのと同じように、視覚ベースでUIを操作できます。 🛠 使い方 スクリーンショットをGeminiに渡し、実行したいタスクを自然言語で指示します。Geminiが画面上のどこをクリック/入力すべきかを判断し、操作アクションを返します。それをブラウザ自動化ツール（Playwright等）と連携して実行する流れです。 🏗 本番システムへの組み込み方 ・E2Eテスト自動化：「ログインして商品をカートに入れて決済まで進めて」のような複雑なフローを自然言語で記述。UIの変更に強いテストに。 ・RPA的業務自動化：社内システムのフォーム入力やデータ転記を、画面を見ながら自動実行。APIがないレガシーシステムにも対応。 ・Web操作エージェント：「この比較サイトで最安値を調べて」のようなタスクを画面操作で完遂。 ・アクセシビリティ検証：画面を視覚的に解釈して、操作性の問題を検出するテストツールに。 💡 ユースケース 🧪 視覚ベースのE2Eテスト自動化 🤖 APIのないシステムのRPA的自動化 🌐 Webブラウジング・情報収集エージェント ♿ アクセシビリティの自動検証 ⚠️ 注意点 画面の解釈に基づくため、操作の正確性は100%ではありません。重要な操作（決済、削除等）には人間の確認ステップを挟むべきです。また、レイテンシが大きめなので、高速な連続操作には不向き。セキュリティ面でも、操作対象のシステムへのアクセス権限管理に注意が必要です。 ✨ 「APIがないからLLMで自動化できない」は過去の話。画面を見て操作するエージェントの世界を、まずは簡単なタスクから試してみてください。 #Gemini# #LLM#

ドクタージー (@drg_jp_official )様 ⁡♥Healusブリージングクラウドクッション 厚塗り感や肌の息苦しさもなくて元から素肌が綺麗です😏みたいなツヤのある華やかな肌になれる仕上がりに感動✨時間が経ってもテカリもツヤにして綺麗に見せてくれるの良かった〜！ #Healus# #ドクタージー# #韓国コスメ#

ブレイキングダウン界隈でまた逮捕者！「ヤマトリノ」田沢梨乃容疑者を現行犯逮捕→自宅でコカイン0.4グラム所持か 活動名と実名の両方が報じられ、SNSでも波紋を呼びそうです。

ブレイキングダウンで王者になれば こんなに綺麗なアナウンサーと一緒に飲めて付き合えて突き合えてｾｸｰｽできるの凄すぎるし羨ましい