OpenAIのテストAIが「AI同士の掲示板」を勝手に構築して情報共有しHugging Faceへの攻撃を実行していたことが判明、掲示板を閉鎖されてもこっそり建てなおす - GIGAZINE

# OpenAI Agent SDKの便利だけど知られていない機能 🌍 プロンプトをコードにハードコードせず、プラットフォーム側で管理・バージョニングしたいと思いませんか？ Prompt テンプレートを使えば、OpenAIプラットフォームで作成したプロンプトをSDKから参照し、変数を差し込んで利用できます。 📌 タイトル：Prompt テンプレート 🔗 URL： 🧩 概要 `instructions` の代わりに `prompt` パラメータを使うと、OpenAIプラットフォームで作成・管理されたプロンプトテンプレートを参照できます。静的な指定では `{"id": "pmpt_123", "version": "1", "variables": {...}}` のように辞書で渡します。動的な指定では非同期関数を渡し、実行時にプロンプト辞書を返すことで、コンテキストに応じた変数の差し込みが可能です。 🛠 使い方 ```python from agents import Agent, RunContextWrapper # 静的テンプレート参照 agent_static = Agent( name="support", prompt={ "id": "pmpt_abc123", "version": "1", "variables": { "company_name": "Acme Corp", "support_level": "premium", }, }, ) # 動的テンプレート参照 async def dynamic_prompt( context: RunContextWrapper[UserContext], agent: Agent, ) -> dict: user = context.context return { "id": "pmpt_abc123", "version": "2", "variables": { "company_name": "support_level": user.plan, "language": user.language, }, } agent_dynamic = Agent( name="dynamic-support", prompt=dynamic_prompt, ) ``` 🏗 本番システムへの組み込み方 ・プロンプトをプラットフォーム側で管理し、コードデプロイなしで更新・ロールバックする ・バージョン指定で安定した動作を保証しつつ、新バージョンを段階的にロールアウトする ・動的テンプレートでユーザー属性に応じた変数を注入する ・チーム間でプロンプトを共有・再利用し、品質の標準化を図る 💡 ユースケース 📝 プロンプトのバージョン管理と段階的ロールアウト 🏢 組織横断的なプロンプトの共有・標準化 🔄 コードデプロイ不要のプロンプト更新 👤 ユーザー属性に応じたテンプレート変数の動的注入 ⚠️ 注意点 `prompt` と `instructions` は排他的で、両方を同時に指定するとエラーになります。プラットフォームにプロンプトが存在しない場合もエラーになるため、デプロイ前にIDとバージョンの存在を確認してください。変数名のタイポにも注意しましょう。 ✨ Prompt テンプレートで、プロンプト管理を「コードの中」から「プラットフォームの管理画面」に移行しましょう。 #OpenAIAgentSDK# #AIAgent#

# OpenAI Agent SDKの便利で実践的な使い方 🌍 モデルに送る入力をフィルタリングしたり、エラー時の挙動を細かく制御したいことはありませんか？ Input filterとError handlerを使えば、エージェントの振る舞いを安全かつ柔軟にカスタマイズできます。 📌 タイトル：Running agents – Hooks and customization / Error handlers 🔗 URL： 🧩 概要 `call_model_input_filter`はモデルへの入力を直前に加工するフックで、履歴のトリミングやシークレットのマスキングに使えます。`error_handlers`はツールエラーやモデル拒否など特定のエラーに対して、例外を投げずにアプリ固有のフォールバック出力を返す仕組みです。これらを組み合わせることで、プロダクションレベルの堅牢なエージェントを構築できます。 🛠 使い方 `agents`から`Agent`, `Runner`, `ErrorHandlers`をインポートします。`trim_history(input_data)`関数で`input_data.messages`を直近10件に制限し、`mask_secrets(input_data)`関数で`msg.content.replace(os.environ.get("API_KEY", ""), "***")`によりシークレットをマスキングします。`handle_refusal(ctx, error)`ではモデル拒否時にドメイン固有のフォールバック出力を返します。エージェントは`Agent(name="chef", instructions="You are a recipe assistant.", call_model_input_filter=trim_history, error_handlers=ErrorHandlers(model_refusal=handle_refusal, max_turns=lambda ctx, err: FallbackOutput(message="処理が完了しませんでした。入力を短くしてお試しください。", include_in_history=False)))`のように設定します。 🏗 実践的な使い方 **履歴トリミングでコスト制御** `call_model_input_filter`で直近N件のメッセージだけをモデルに送ることで、長時間会話でのトークン消費を抑制できます。重要なシステムプロンプトは常に先頭に保持しつつ、古いユーザーメッセージを削除するパターンが実用的です。 **シークレットのマスキング** ツールの戻り値にAPIキーやトークンが含まれる場合、`call_model_input_filter`でモデルに送る前にマスキングできます。モデルが機密情報を学習したり、出力に含めたりするリスクを低減できます。 **システム指示の動的注入** フィルタ内でユーザーの権限レベルやコンテキストに応じたシステム指示を追加注入できます。「この顧客はプレミアムプランです」のような動的な情報をモデルに伝えるのに便利です。 **max_turnsエラーのグレースフルフォールバック** ループに入ったエージェントが`max_turns`に達した場合、例外ではなくユーザー向けの丁寧なメッセージを返せます。`include_in_history=False`にすれば、フォールバック出力が次のターンの履歴に残らず、リトライ時にクリーンな状態を保てます。 **モデル拒否のアプリ固有処理** `ModelRefusalError`をキャッチして汎用エラーを返す代わりに、アプリのドメインモデルに沿った構造化されたフォールバックを返せます。レシピアプリなら`refusal_reason`付きの空レシピ、チャットなら代替提案メッセージなど。 💡 ユースケース 🔒 APIキーやトークンがモデルに送信されるのを防止 📏 長時間チャットの履歴を自動トリミングしてコスト最適化 🔄 max_turnsエラー時にユーザーへ次のアクションを案内 🛡 モデル拒否時にアプリ固有の構造化フォールバックを返却 ⚠️ 注意点 - `call_model_input_filter`でメッセージを削除しすぎると、モデルが文脈を失い回答品質が低下します。重要なシステムプロンプトは必ず残してください。 - `error_handlers`のフォールバック出力が`output_type`と型が一致していることを確認してください。型不一致はランタイムエラーになります。 - `include_in_history=False`にしたフォールバック出力は次ターンで参照できません。ユーザーに表示するだけで会話の文脈には不要な情報に使ってください。 - フィルタやハンドラ内で例外を投げると、エージェント全体が停止します。フィルタ内のロジックは防御的に書いてください。 ✨ Input filterとError handlerを活用して、エッジケースに強い堅牢なエージェントを構築しましょう！ #OpenAIAgentSDK# #AIAgent#

OpenAIの評価用AIエージェントが自律的にHugging Faceのインフラへ侵入した事件の技術タイムラインを記したHFのポスト。かなり詳しく書かれている。 個人的には、想像よりやばい動きをしていると思った。翻訳ツールを使って読んでおいた方が良いと思う。 ちょいメモ。 ・侵入後はクラスターのシークレットを読み取り、社内VPNキーなどを窃取した ・さらに乗っ取ったノードを社内VPNに登録し、内部のソースコード管理へアクセスしている ・C2（Command and Control）には専用サーバーを使わず、ペーストビン等の公開サービスを悪用 ・通信が遮断されると自律的にDNSを書き換えるなど、極めてしぶとく活動する ・機械的なスピードで実行されたアクションは17,600回にも及ぶ ・HFの調査チームは、膨大な攻撃ログの解析にAIを使おうとした ・ただ、Claudeなどの商用モデルは安全ガードレールが働き、解析を拒否 ・結局、オープンモデルのGLM-5.2を自社ホストしてペイロードの解読に成功している ・AIエージェントによる攻撃は圧倒的な手数を誇 ・防御側の前提を根本から変えてくる

# OpenAI Agent SDKの便利で実践的な使い方 🌍 ガードレールで、エージェントの入出力を安全に制御しましょう！ 安価な高速モデルで事前チェックを行い、不適切なリクエストをブロックしてコストを削減できます。 📌 タイトル：Guardrails 🔗 URL： 🧩 概要 Guardrailsは、エージェントの入力と出力に対してチェックを実行する仕組みです。入力ガードレール（Input guardrails）はユーザー入力を検証し、出力ガードレール（Output guardrails）はエージェントの応答を検証します。安価な高速モデルをガードレールに使い、高価なモデルの不要な実行を防ぐことで、コスト最適化を実現できます。トリップワイヤー方式で、問題を検出した時点で実行を即座に中断します。 🛠 使い方 `agents`から`Agent`, `InputGuardrail`, `OutputGuardrail`, `GuardrailFunctionOutput`をインポートします。ガードレール関数`check_homework_request(context, agent, input_data)`を定義し、内部で` input_data)`を呼び出して分類結果を取得します。戻り値は`GuardrailFunctionOutput(output_info= tripwire_triggered="TutorBot", instructions="You are a tutoring assistant.", input_guardrails=[InputGuardrail(guardrail_function=check_homework_request)])`のように定義します。 🏗 実践的な使い方 **安価モデルによる事前フィルタリング（コスト削減）** 高価なメインモデルを実行する前に、安価な高速モデルで「宿題の代行」「不正利用」などを検出してブロックします。トリップワイヤーが発動すると、メインモデルの実行がスキップされるためコスト削減になります。 安価な分類用エージェント`Agent(name="Classifier", model="gpt-4o-mini", output_type=ClassificationResult)`を定義し、`abuse_check`関数内で` input_data)`を実行します。`tripwire_triggered="Assistant", model="gpt-4o", input_guardrails=[InputGuardrail(guardrail_function=abuse_check)])`に設定します。 **出力ガードレールによるコンテンツチェック** エージェントの応答に機密情報や不適切な内容が含まれていないかを検証します。 出力ガードレール関数`check_sensitive_output(context, agent, output)`を定義し、` f"Check this output for sensitive content: {output}")`で機密情報の有無を判定します。`tripwire_triggered="SupportBot", output_guardrails=[OutputGuardrail(guardrail_function=check_sensitive_output)])`のように設定します。 **サポートボットの関連性チェック** ユーザーの質問がサポート範囲内かを事前に判定し、範囲外の質問には早期に対応します。 関連性チェック関数`relevance_check(context, agent, input_data)`で` input_data)`を実行し、`tripwire_triggered=not "SupportBot", instructions="Answer customer support questions about our product.", input_guardrails=[InputGuardrail(guardrail_function=relevance_check)])`として設定します。 💡 ユースケース 🛡 宿題代行・不正利用リクエストのブロック（コスト削減） 🔍 機密情報の出力防止（PII、社内情報の漏洩防止） 📋 サポートボットの対応範囲制御 ⚡ 安価モデルによる事前スクリーニングでAPI費用を最適化 ⚠️ 注意点 - ガードレールのトリップワイヤーが発動すると`InputGuardrailTripwireTriggered`例外が発生します。適切にキャッチして処理してください - 入力ガードレールはメインモデルと**並列**で実行されるため（デフォルト）、ガードレールが間に合わない場合はメインの実行が進む可能性があります - ガードレール自体のモデル呼び出しコストも考慮してください - 複数のガードレールを設定でき、いずれかが発動すれば中断されます ✨ ガードレールを活用して、安全性とコスト効率を両立したエージェントを構築しましょう！ #OpenAIAgentSDK# #AIAgent#

openai公式のterraform provider． openai apiをそのままシステムで使うユースケースがどのくらいあるのか分からないけど（AWSやAzureに作ったシステムはBedrockやAzure OpenAIを使うだろうし）、llmをIaCで管理したいニーズは普通にあると思う。