APIのないサイトでも、エージェントが自分でブラウザを操作して仕事を終わらせる時代です。 タイトル: Browser Use in Managed Deep Agents URL: LangSmithが運用するリモートブラウザと、コンテキストを節約するブラウザツールがManaged Deep Agentsに加わりました。 注目ポイントは3つです。 🔐 パスワードをモデルに渡さないハンドオフ ログインページに当たると、エージェントがbrowser_handoffを呼びます。ユーザーはLangSmith Studioで同じブラウザにサインインしてHand backを押すだけ。パスワードはモデルにもトレースにも渡りません。scope="user"なら一度のログインが後のスレッドにも引き継がれます。 🧠 ページ全体を読み込まないツール設計 browser_snapshotがアクセシビリティツリーを読み、browser_runが多数の操作を1回の呼び出しにまとめて、必要な出力だけを返します。ページの大半をコンテキストに入れずに済み、速くなります。 🧪 localhostのアプリをそのままE2Eテスト ブラウザからのlocalhost:5173へのリクエストを、プライベートリンクでエージェントのサンドボックスに中継します。公開URLは不要で、通った手順はPlaywright風のテストとして保存できます。 WebVoyager 100タスクで合格率90%、総費用は$1.98でした。ただし1つのベンチマークの結果です。 #LangChain# #ブラウザエージェント#

# Cursorの機能と実践的な使い方 🌐 「画面を見ながら直してほしい」を、AIエージェントがそのまま実行できます。CursorのBrowserツールは、エージェントにブラウザの操作権を渡し、E2Eテストからデザイン→コードまでを一気通貫でこなします。 🏷️ タイトル: ブラウザ操作 🔗 URL: 📘 概要 Browserツールは、CursorのエージェントがIDE内のブラウザを直接操作できるようにする機能です。URLの移動、クリック、フォーム入力、スクリーンショット取得、コンソールログやネットワーク通信の確認までをエージェント自身が行えます。視覚的な確認とコード修正を同じループの中で回せるのが特徴です。 ⚙️ 機能の説明 ブラウザはMCPサーバー拡張で制御される安全なWebビューとして動作し、エージェントは次のような操作ができます。 ・ナビゲーション: URLへ移動、リンク追跡、履歴の前後移動、リロード ・操作: クリック、ダブルクリック、右クリック、ホバー、フォーム入力と送信 ・視覚確認: スクリーンショットを画像として取得し、レイアウトやUIを目で確認 ・デバッグ: JavaScriptコンソールのログ・エラー、ネットワーク通信を参照 ログはファイルに書き出され、エージェントは関連する行だけを選んで読むため、出力が膨大でも効率的に扱えます。また開発サーバーの自動検出により、サーバーの二重起動を防ぎます。認証Cookieやlocalstorage、sessionStorage、IndexedDBは同一ワークスペース内のセッションをまたいで保持されるため、ログイン状態を維持したまま検証を続けられます。 🛠️ 実践的な使い方 デザインサイドバーを使うと、デザインとコーディングを同時に進められます。要素の配置やflex方向、整列、グリッド、幅・高さ・padding・margin、色やグラデーション、影、不透明度、角丸などをスライダーで視覚的に調整できます。意図どおりの見た目になったら `Apply` を押すと、エージェントが視覚的な変更を適切なコード変更へ翻訳します。複数要素を選択してホットリロードでまとめて反映することも可能です。実行の安全性は承認モードで制御でき、`手動承認`（推奨）、`許可リスト方式`、`自動実行`から選べます。 💡 ユースケース ・E2Eテスト: テストデータでフォームを埋め、エラーメッセージを検証し、スクリーンショットを撮ってビジュアルリグレッションを確認 ・デザイン→コード: Figmaやモックを取り込み、ピクセル単位でHTML/CSSへ変換 ・アクセシビリティ監査: コントラスト比、セマンティックHTML、ARIAラベル、キーボード操作などWCAG観点でチェック ⚠️ 注意点 オリジン許可リストは「ベストエフォートの保護」に過ぎず、許可ドメインからのリンク遷移やクライアントサイドのリダイレクトで許可外オリジンに到達する場合があります。ユーザー自身の手動ナビゲーションは許可リストの制限を回避します。信頼できないコードに対して `自動実行` を使うのは避け、許可リスト設定は定期的に見直してください。 #Cursor# #AIコーディング#

エージェントに買い物をさせる。言うのは簡単でも、認証情報の扱いや使いすぎの防止まで考えると一筋縄ではいきません。LangChainがStripeと組んで実例を示しました。 タイトル: Agents that can pay: building Restock with Stripe's Link and Managed Deep Agents URL: 📝 概要 Stripe LinkとMachine Payments Protocol（MPP）、商品API「Zinc」、LangChainのホスティング基盤「Managed Deep Agents」を組み合わせ、実在する商品を自律的に発注するエージェント「Restock」を構築した事例です。 ❗ 解決する課題 ブラウザ自動操作による決済は壊れやすく、認証情報をモデルに触れさせるのは危険で、誤った取引の取り消しも難しく、使いすぎを防ぐ仕組みも必要でした。 🛠️ 方法論・提案手法 エージェントはZincの商品APIで検索・カート作成を行い、ユーザーが上限予算を設定。Slack上での人間レビュー（割り込み）を経て、加盟店からの`402 Payment Required`に対しMPP経由で決済を実行します。実際の支払い承認はエージェントとは別のLinkウォレットでユーザー本人が行い、モデルは生の認証情報を一切目にしません。注文内容がレビュー済みカートと一致するかをツールが検証してから支払いを送信します。 📊 実験結果 青インクペン12本入りをオフィス用に25ドル以内で発注した実例では、商品代・税・送料とZincの手数料を含め最終的に22.18ドルを決済し、差額0.82ドルを自動的に払い戻しました。 #AIエージェント# #決済#

【速報】遂に日本でもAIエージェント「Muse」が公開！！ これはかなり熱い。色々試してGrok dotsとの違いもレビューします。 Museは、質問に答えるだけでなく、実際に仕事まで代行してくれるパーソナルAIエージェント。 ・メール作成・送信 ・ブラウザ操作やフォーム入力 ・旅行の検索・予約 ・複数アプリを横断したタスク実行 ・自分の好みや会話内容を記憶 まさに自分専用のAI秘書。 しかも、私の招待コードを使うと、10億Museトークンが特典でもらえます！ ① から登録 ② 登録後48時間以内に設定画面でコードを入力 ③ 10億トークンをGET！ 招待コード：O7H22O ぜひ試してみてください！

# Antigravityの機能と実践的な使い方 🚀 ブラウザもIDEも開かず、ターミナルだけでエージェントに開発を任せたい。そんな願いに応えるのが Antigravity CLI（agy）です。 📌 タイトルと機能のURL タイトル: Antigravity CLI URL: 📝 概要 Antigravity CLI は、Antigravity 2.0 と同じエージェントハーネスをコマンドラインから利用できる軽量サーフェスです。GUI を立ち上げずに新しいエージェントを即座に作成でき、SSH 越しのリモートサーバーやコンテナ内でも高速に動作します。コマンドは agy で呼び出します。 🔧 機能の説明 agy は IDE 版と同じ中核を共有しつつ、ターミナルに特化した拡張性を備えています。 ・AGENTS.md をリポジトリ直下に置くことで、プロジェクト共通の指示をエージェントへ読み込ませます（従来の .gemini/ 規約を置き換える新しい仕組みです） ・Agent Skills は ~/.gemini/antigravity-cli/skills/ のグローバルスコープと .agents/skills/ のワークスペーススコープから読み込まれます ・Hooks はツール実行の前後やループ停止条件などのライフサイクルに割り込み、整形や検査を自動化します ・MCP サーバーはローカルプロセス・リモートホストの双方を設定でき、外部データやツールへ接続します ・Subagents や Plugins も第一級の拡張要素として扱われます 🛠 実践的な使い方 ・インストールは macOS/Linux なら curl -fsSL | bash、Windows は PowerShell から実行します ・初回は agy を起動し、Google アカウントまたは GCP プロジェクトで認証します ・agy inspect を実行すると、読み込み中の AGENTS.md・スキル・プラグイン・フック・接続済み MCP サーバーが一覧表示され、想定通りの文脈が入っているか確認できます ・/goal で自律実行、/grill-me で着手前の質問、/schedule で定期実行、/browser でブラウザ機能を明示的に有効化できます 🎯 ユースケース ・SSH やリモート環境で IDE を立てられない場面で、ターミナルから直接エージェントを走らせる ・agy inspect で「なぜスキルが効かないのか」「どの MCP が読み込まれたか」を切り分けてデバッグする ・CI コンテナ内で軽量にエージェント処理を起動する ・AGENTS.md とチーム共通スキルを組み合わせ、リポジトリごとの作法を統一する ⚠️ 注意点 ・既定モデルは Gemini 3.5 Flash（High）で、プレビュー期間の無料枠は寛大ですが、本番ワークロードには課金有効な GCP プロジェクトが必要です ・スキルやフックが効かないときは、まず agy inspect で実際の読み込み状態を確認してから設定を疑うのが定石です ・グローバルスコープとワークスペーススコープでスキルの探索先が異なる点に注意してください #Antigravity# #DevTools#

AlibabaのQwenチームが実機重視のGUIエージェント「Qwen-UI-Agent」を発表した(https://arxiv[.]org/html/2607.28227v1)。GUIエージェントとは、画面を見て人間のようにタップや入力を行い、スマホやPCのアプリを操作するAIのこと。 多くのGUIエージェントはシミュレーター上のベンチマークには強くても、実際のスマホやPCで動かすと崩れやすい。Qwen-UI-Agentはこのギャップを埋めるため、実機100台以上・150以上のアプリを使った学習と評価に踏み込んでいるのが特徴。 結果は明確で、実機ベンチマークのMobileWorld-Realで92.2%(Claude Opus 4.8を7.5pt上回る)、AndroidDailyで97.5%を記録。ブラウザ操作のWebArenaも73.6%でOpus 4.8を1.7pt上回りトップ。一方でPC操作のOSWorld-Verifiedは79.5%とOpus 4.8(83.4%)に次ぐ2位で、全ての土俵で首位というわけではない。 行動の出し方にも工夫がある。GUI操作とCLI(コマンドライン、文字でコマンドを打ち込む操作方式)を状況に応じて使い分け、複数の操作をまとめて1ターンで出す「バッチ化」を導入。PC操作タスクではアクションの4割以上がバッチ化され、実行ステップ数を大きく減らしている。 面白いのは「先回り」の発想も持たせている点。フライトキャンセルの通知が届いたら、ユーザーが気づく前に代替便を探し、予定と照らし合わせて提案する、という使い方まで想定している。ベンチマークの数字より先に、実機で本当に使えるかを問うアプローチが徹底している。

⬜ 7/31（金）17:00-17:30 🟦 Google 「セキュアなエンタープライズ ブラウザ 　Chrome Enterprise による AI の利活用と 　ガバナンスの両立」 ✏️ 「ブラウザ」から、社内の生産性向上と安全性を両立した AI エージェント活用について解説します！ #GoogleCloudNext🗼#

# Antigravityの機能と実践的な使い方 🚀 エージェントの仕事は「ログの山」ではなく「目に見える成果物」で確認。Artifactsは信頼の問題を、検証可能な形で解決します。 📌 タイトルと機能のURL タイトル: Artifacts URL: 📝 概要 Artifactsは、エージェントが生成する具体的な成果物です。タスクリスト・実装計画・スクリーンショット・ブラウザ録画・コード差分といった「目に見える」形でアウトプットされ、開発者はエージェントのロジックを一目で検証できます。ログを延々と読む代わりに、成果物そのものをレビューする発想です。 🔧 機能の説明 Artifactsは次のような種類と仕組みを持ちます。 ・実装計画（Implementation Plan）：目標・技術選定・手順・変更ファイル・テスト方針をまとめたリッチなMarkdown。 ・タスクリスト：作業を構造化した内訳。 ・ウォークスルー（Walkthrough）：完了した変更点と次のステップの要約。 ・コード差分・スクリーンショット・ブラウザ録画・アーキテクチャ図・画像。 ・コメント機能：Googleドキュメントのように箇所を選んでコメントでき、エージェントは処理を止めずに入力を反映します。 🛠 実践的な使い方 ・計画Artifactの該当箇所をハイライトし、インラインコメントで修正方針を伝えます。 ・スクショやブラウザ録画で、UIや動作が期待どおりかを証拠付きで確認します。 ・コード差分で変更範囲をレビューしてから取り込みます。 ・プロジェクト設定でArtifactのレビュー方針を制御できます。 🎯 ユースケース ・実装前に計画Artifactをレビューし、方針をコメントで微調整してから承認する。 ・E2Eテストのブラウザ録画を成果物として残し、動作の証跡にする。 ・複数ファイル変更の差分をまとめて確認し、レビュー負荷を下げる。 ・完了後にウォークスルーで変更点と次の一手を把握する。 ⚠️ 注意点 ・コメントは処理を止めずに反映されるため、重要な変更ほど早めにフィードバックを入れましょう。 ・成果物の確認を省くと自律実行の利点が監督不足に転じます。レビュー方針を設定で明確に。 ・ブラウザ録画にはChrome連携が前提です。 #Antigravity# #AIcoding#

# OpenAI Agent SDKの便利だけど知られていない機能 🌍 複雑なマルチエージェント構成、頭の中だけで把握できていますか？ draw_graphを使えば、エージェントの構成をGraphvizで視覚的に可視化し、全体像を一目で確認できます。 📌 タイトル：draw_graph によるエージェント可視化 🔗 URL： 🧩 概要 `draw_graph(agent)` を呼び出すだけで、エージェント・ツール・ハンドオフの関係をGraphvizのグラフとして描画できます。エージェントは黄色の四角形、ツールは緑の楕円、MCPサーバーは灰色で表示されます。ハンドオフは実線矢印、ツール接続は点線、MCP接続は破線で区別されます。生成されたグラフは `.view()` でブラウザ表示、`filename=` でファイル保存が可能です。 🛠 使い方 ```python # vizオプション付きでインストール # pip install "openai-agents[viz]" from agents import Agent, function_tool from agents.extensions.visualization import draw_graph @function_tool def search(query: str) -> str: return "results" sub_agent = Agent(name="Researcher", tools=[search]) main_agent = Agent( name="Coordinator", handoffs=[sub_agent], ) # グラフを描画してブラウザで表示 graph = draw_graph(main_agent) graph.view() # ファイルに保存 draw_graph(main_agent, filename="agent_graph") ``` 🏗 本番システムへの組み込み方 ・CI/CDパイプラインでグラフを自動生成し、ドキュメントとして保存する ・コードレビュー時にエージェント構成の変更を視覚的に確認する ・新しいメンバーのオンボーディングに、システム全体像の把握資料として活用する ・構成変更前後のグラフを比較して、意図しないハンドオフの追加・削除を検出する 💡 ユースケース 🗺 マルチエージェントシステムのアーキテクチャドキュメント自動生成 👥 チーム内でのエージェント構成の共有・レビュー 🐛 ハンドオフの循環参照や孤立ツールの検出 📊 プロジェクト提案時のシステム構成図作成 ⚠️ 注意点 利用には `pip install "openai-agents[viz]"` で追加依存（Graphviz）のインストールが必要です。システムにGraphvizバイナリもインストールされている必要があります。非常に大規模なエージェント構成では、グラフが複雑になりすぎる場合があります。 ✨ draw_graphで、エージェント構成を「見える化」してチーム全体の理解を深めましょう。 #OpenAIAgentSDK# #AIAgent#