37 KiB
| search | ||
|---|---|---|
|
テスト
SDK は、エージェントワークフロー、Sandbox セッション、Realtime セッション、Voice パイプライン向けに、決定論的かつプロバイダーに依存しないテストユーティリティを提供します。これらのユーティリティはメモリ内で実行され、モデル、サンドボックスプロバイダー、Realtime API へのリクエストを行わず、SDK が管理する正規化済みのインタラクションを記録します。以下の実行可能なレシピでは実行ごとにトレーシングを無効化するため、OpenAI API キーが設定されていても、デフォルトのトレースプロセッサーはテストアクティビティをアップロードしません。
これらを使用して、アプリケーションと SDK が管理するオーケストレーションをテストできます。対象には、ツール実行、ハンドオフ、ガードレール、再試行、ストリーミング、セッション動作、Sandbox の機能、Realtime イベント処理、Voice パイプラインの構成が含まれます。外部モデル、ネットワークプロトコル、サンドボックスプロバイダー、またはオーディオシステムが管理する動作については、実際のプロバイダーアダプターまたは統合環境を使用してください。
必要なレシピの検索
| 目的 | 使用するもの | 参照先 |
|---|---|---|
| 固定された最終回答を返す | assistant_message() を指定した ScriptedModel |
固定レスポンスの返却 |
| 複数ターンのツールループを実行する | function_call() と、それに続くアシスタントレスポンス |
ツールワークフローのテスト |
| リクエストからレスポンスを選択する | ModelStep.respond() または responder マッピング |
リクエストからのレスポンス導出 |
| ランナーがモデルへ送信した内容を検証する | calls、first_call、または last_call |
モデル呼び出しの確認 |
| ストリーミング実行をテストする | 通常のレスポンスステップ、またはイベントを厳密に指定する ModelStep.stream() |
ストリーミングのテスト |
| エラーまたは再試行の判断をテストする | ModelStep.raise_error() |
モデル障害の挿入 |
| 意図しないワークフロー変更を検出する | 厳密な FIFO ステップと assert_complete() |
ワークフロードリフトの検出 |
サンドボックスを起動せずに SandboxAgent をテストする |
scripted_sandbox_session() と ScriptedModel |
Sandbox エージェントワークフローのテスト |
| Sandbox 呼び出しを照合する、またはその実行結果を導出する | Sandbox ステップの match または responder |
Sandbox ステップの設定 |
| 接続を開かずに Realtime セッションをテストする | ScriptedRealtimeModel と RealtimeStep |
Realtime セッションのテスト |
| Realtime ツールワークフローをテストする | RealtimeModelToolCallEvent を発行し、ツール出力を待機 |
Realtime ツールワークフローのテスト |
| 静的またはストリーミング Voice パイプラインをテストする | ScriptedSTTModel、ScriptedTTSModel、およびスクリプト化されたワークフローまたは実際のワークフロー |
Voice パイプラインのテスト |
| プロバイダーのシリアル化またはワイヤーペイロードをテストする | 制御されたネットワークトランスポートを使用する実際のプロバイダーアダプター | 適切な境界の選択 |
インポート
テスト API は、それらが置き換えるランタイム境界の近くに配置されています。
| 境界 | インポートパス |
|---|---|
| エージェントモデルと Sandbox ワークフロー | agents.testing |
| Realtime モデルトランスポート | agents.realtime.testing |
| Voice の STT、TTS、およびワークフローコンポーネント | agents.voice.testing |
テスト用シンボルは、意図的にトップレベルの agents インポートには含まれていません。
エージェントワークフローのレシピ
固定レスポンスの返却
想定されるモデル呼び出しごとに、正規化済み出力項目のシーケンスを 1 つ渡します。出力シーケンスの省略記法には、1 件のリクエストに対する決定論的なレスポンス ID と使用量が設定されます。
import pytest
from agents import Agent, RunConfig, Runner
from agents.testing import ScriptedModel, assistant_message
@pytest.mark.asyncio
async def test_fixed_response() -> None:
model = ScriptedModel([[assistant_message("Paris is the capital of France.")]])
agent = Agent(name="Geography assistant", model=model)
result = await Runner.run(
agent,
"What is the capital of France?",
run_config=RunConfig(tracing_disabled=True),
)
assert result.final_output == "Paris is the capital of France."
assert len(model.calls) == 1
model.assert_complete()
決定論的なワークフローテストの最後に model.assert_complete() を使用してください。これにより、設定されたすべてのステップを消費する前にワークフローが停止したケースを検出できます。
ツールワークフローのテスト
ツールを呼び出すモデルレスポンスと、最終回答を生成する 2 番目のレスポンスをスクリプト化します。これらのモデル呼び出しの間では、実際の SDK ツールパイプラインが実行されます。
import pytest
from agents import Agent, RunConfig, Runner
from agents.decorators import tool
from agents.testing import ScriptedModel, assistant_message, function_call
@tool
def get_weather(city: str) -> str:
"""Return the weather for a city."""
return f"{city}: sunny"
@pytest.mark.asyncio
async def test_tool_workflow() -> None:
model = ScriptedModel(
[
[function_call("get_weather", {"city": "Tokyo"}, call_id="call_1")],
[assistant_message("It is sunny in Tokyo.")],
]
)
agent = Agent(name="Weather assistant", model=model, tools=[get_weather])
result = await Runner.run(
agent,
"What is the weather in Tokyo?",
run_config=RunConfig(tracing_disabled=True),
)
assert result.final_output == "It is sunny in Tokyo."
assert len(model.calls) == 2
assert model.last_call is not None
assert any(item.get("type") == "function_call_output" for item in model.last_call.input)
model.assert_complete()
このパターンでは、ツール入力の検証、実行、実行結果の変換、フック、ガードレール、および次のモデルターンを対象にできます。Python 関数を直接呼び出すと、これらの SDK 動作が迂回されます。
リクエストからのレスポンス導出
レスポンスが正規化済みモデル呼び出しに実際に依存する場合、またはモデル境界でアサーションを行う必要がある場合は、ModelStep.respond() を使用します。レスポンダーは同期または非同期にでき、ScriptedModel が受け付ける任意のステップ形式を返せます。
import pytest
from agents import Agent, RunConfig, Runner
from agents.testing import ModelCall, ModelStep, ScriptedModel, assistant_message
def respond(call: ModelCall):
assert call.streamed is False
assert call.input == [{"content": "Summarize this", "role": "user"}]
return {"output": [assistant_message("Handled the normalized request.")]}
@pytest.mark.asyncio
async def test_request_aware_response() -> None:
model = ScriptedModel([ModelStep.respond(respond)])
agent = Agent(name="Assistant", model=model)
result = await Runner.run(
agent,
"Summarize this",
run_config=RunConfig(tracing_disabled=True),
)
assert result.final_output == "Handled the normalized request."
model.assert_complete()
ScriptedModel は、ModelStep、それと同等の辞書形式、ModelResponse、正規化済み出力項目のシーケンス、または例外を受け付けます。レスポンスが呼び出しに依存しない場合は、固定出力シーケンスを推奨します。固定スクリプトを使用すると、想定外のターンを診断しやすくなります。
モデル呼び出しの確認
ScriptedModel は、選択されたステップを解決または送出する前に、各呼び出しを記録します。
| メンバー | 内容 |
|---|---|
calls |
呼び出し順のすべての ModelCall |
first_call |
最初の呼び出し、または None |
last_call |
最新の呼び出し、または None |
remaining_steps |
まだ消費されていない設定済みステップの数 |
一般的なアサーションの対象には、call.input、call.model_settings、call.tools、call.handoffs、および call.streamed があります。可変のリクエストデータは呼び出し境界でスナップショットされ、各公開履歴アクセサーは分離されたスナップショットを返します。ツール、ハンドオフ、出力スキーマ、およびトレーシングのオブジェクトは、ランタイムの同一性を維持します。
構造化された call_index および input_index のエラーフィールドは 0 始まりなので、calls[...] または指定されたステップシーケンスのインデックスとして直接使用できます。人が読めるエラーメッセージでは、呼び出し番号またはステップ番号が 1 始まりで表示されます。
1 つのテストでモデルステップを段階的に追加する必要がある場合は、enqueue() または extend() を使用します。独立したシナリオには、新しい ScriptedModel を作成してください。このユーティリティは、消費済みステップや呼び出し履歴をリセットしません。
ストリーミングのテスト
通常のレスポンスステップは、Runner.run() と Runner.run_streamed() の両方をサポートします。一般的なアシスタントメッセージ、推論項目、関数呼び出し、およびパッチ適用呼び出しについては、ScriptedModel が正規化済みの開始イベント、差分イベント、項目完了イベント、および終了レスポンスイベントを生成します。終了レスポンスには、完全な出力と使用量が含まれます。
正規化済みの TResponseStreamEvent シーケンスそのものがテスト対象の動作に含まれる場合にのみ、ModelStep.stream() を使用してください。
step = ModelStep.stream(
events,
output=[assistant_message("The terminal output used by the runner.")],
)
events には、固定シーケンス、または記録された ModelCall を受け取る非同期ファクトリーを指定できます。オプションの output は、同じステップが非ストリーミング呼び出しで使用された場合に返されるレスポンスです。厳密なストリームイベントは SDK で正規化されたイベントであり、Responses API や Chat Completions のワイヤーチャンクではありません。
自動ストリーミングでは、増分ライフサイクルが実装されていない種類の正規化済み出力項目は拒否されます。そのような項目では、不完全なイベントシーケンスに依存せず、代わりに ModelStep.stream(...) を使用してください。
モデル障害の挿入
モデル呼び出しを 1 回失敗させるには、ModelStep.raise_error() を使用します。オプションの再試行アドバイスは、そのスクリプト化されたエラーにのみ適用されます。
from agents import ModelRetryAdvice
from agents.testing import ModelStep
step = ModelStep.raise_error(
RuntimeError("temporary failure"),
retry_advice=ModelRetryAdvice(suggested=True, replay_safety="safe"),
)
アドバイスによって再試行するかどうかは、ランナーの再試行ポリシーが決定します。各再試行は別のモデル呼び出しとなり、次のスクリプト化されたステップを消費します。Python ヘルパーは固定の ModelRetryAdvice 値を受け付けます。再試行アドバイス自体を試行ごとに動的に変える必要がある場合は、カスタム Model を使用してください。
ワークフロードリフトの検出
スクリプト化された呼び出しを、想定されるワークフローの形状として扱います。余分なモデルリクエストが発生すると UnexpectedModelCall が送出され、早期終了するとステップが残り、assert_complete() によって報告されます。
テストフレームワークが teardown または finalizer をサポートしており、別のアサーションが失敗した後にも未消費のステップを報告したい場合は、そこに assert_complete() を配置してください。通常の回帰テストでは、不一致エラーを捕捉しないでください。
| エラー | 構造化フィールド | 意味 |
|---|---|---|
InvalidModelStep |
reason, input_index |
ステップの形式が不正であり、キューに入る前に拒否されました |
UnexpectedModelCall |
call, call_index |
スクリプトの終了後に、ワークフローが追加のモデル呼び出しを行いました |
UnconsumedModelSteps |
remaining_steps |
すべてのステップを使用する前にワークフローが終了しました |
Sandbox エージェントのレシピ
Sandbox エージェントワークフローのテスト
ScriptedModel と scripted_sandbox_session() を組み合わせることで、ローカルコンテナやリモートサンドボックスを作成せずに、実際の SandboxAgent ランタイムを実行できます。モデルスクリプトは機能ツールを選択し、Sandbox スクリプトは対応する SandboxSession メソッドが返す内容を定義します。
import pytest
from agents import RunConfig, Runner
from agents.sandbox import ExecResult, SandboxAgent
from agents.sandbox.capabilities import Shell
from agents.testing import (
ScriptedModel,
assistant_message,
function_call,
scripted_sandbox_session,
)
@pytest.mark.asyncio
async def test_sandbox_workflow() -> None:
sandbox = scripted_sandbox_session(
[
{
"method": "exec",
"match": lambda call: call.args == ("pwd",),
"result": ExecResult(
stdout=b"/workspace\n",
stderr=b"",
exit_code=0,
),
}
]
)
model = ScriptedModel(
[
[function_call("exec_command", {"cmd": "pwd"}, call_id="call_1")],
[assistant_message("The workspace is /workspace.")],
]
)
agent = SandboxAgent(
name="Workspace assistant",
model=model,
capabilities=[Shell()],
)
async with sandbox:
result = await Runner.run(
agent,
"Which directory are you in?",
run_config=RunConfig(
sandbox={"session": sandbox},
tracing_disabled=True,
),
)
assert result.final_output == "The workspace is /workspace."
assert [call.method for call in sandbox.calls] == ["exec"]
sandbox.assert_complete()
model.assert_complete()
このテストは、正規化された 2 つの SDK 境界をまたぎます。対象には、ツール引数の検証、機能のルーティング、Sandbox セッションの呼び出し、次のモデルターンへのツール実行結果の受け渡し、および最終出力の処理が含まれます。実際のモデルがそのコマンドを選択するかどうかや、実際のサンドボックスプロバイダーがどのように実行するかはテストしません。
Sandbox ステップの設定
一致する Sandbox 呼び出しごとに、1 つのグローバル FIFO シーケンスから次のステップが消費されます。メソッドの不一致、マッチャーによる拒否、またはマッチャーの例外が発生した場合、そのステップは保留されたままになります。method を設定して結果を 1 つだけ選択し、呼び出しの詳細が重要な場合にのみ match を追加してください。
| ステップメンバー | 使用する状況 |
|---|---|
result |
メソッドが固定の型付き値を返す場合 |
responder |
実行結果が分離された SandboxCall に依存する場合 |
error |
メソッドが特定の例外を送出する場合 |
match |
マッチャーが False 以外の値を返さない限り、結果を生成する前に呼び出しを拒否する場合 |
サポートされるスクリプト化メソッド名は、apply_patch、exec、ls、mkdir、pty_exec_start、pty_write_stdin、read、rm、および write です。設定済みのモデル向け機能のみが公開されます。2 つの PTY メソッドは 1 つの対話型シェル機能を構成するため、いずれかの PTY メソッドが設定されると、両方がまとめて公開されます。ただし、呼び出しは引き続きグローバル FIFO スクリプトを消費します。
sandbox.calls には、0 始まりの call_index、method、位置引数の args、および読み取り専用の kwargs を含む、分離された SandboxCall スナップショットが格納されます。静的な実行結果も、スクリプトの作成時にスナップショットされます。io.BytesIO および io.StringIO の値がサポートされています。その他のライブストリームオブジェクトやライフサイクル動作には、カスタム Sandbox セッションを使用してください。
| エラー | 構造化フィールド | 意味 |
|---|---|---|
InvalidSandboxStep |
reason, input_index, method |
ステップの形式が不正であるか、サポートされていないメソッド名が指定されています |
UnexpectedSandboxCall |
call, call_index, actual_method, expected_method, remaining_steps |
ワークフローが誤ったメソッドを呼び出したか、スクリプト終了後も続行しました |
SandboxCallMatcherError |
call, call_index, method |
ステップマッチャーが False を返しました |
UnconsumedSandboxSteps |
remaining_steps, pending_methods |
すべてのステップを使用する前にワークフローが終了しました |
返されるオブジェクトはセッション自体です。RunConfig(sandbox={"session": sandbox}) に直接渡してください。ラッパーの .session 属性はありません。
Realtime のレシピ
Realtime セッションのテスト
ScriptedRealtimeModel は、Python SDK の正規化済み RealtimeModel 境界を実装します。各 RealtimeStep は 1 つの送信 RealtimeModelSendEvent と一致した後、正規化済みの受信 RealtimeModelEvent オブジェクトを発行するか、挿入されたエラーを送出します。
import pytest
from agents.realtime import (
RealtimeAgent,
RealtimeModelOutputTextDeltaEvent,
RealtimeModelSendUserInput,
RealtimeRawModelEvent,
RealtimeRunner,
)
from agents.realtime.testing import RealtimeStep, ScriptedRealtimeModel
@pytest.mark.asyncio
async def test_realtime_message() -> None:
reply = RealtimeModelOutputTextDeltaEvent(
item_id="item_1",
delta="Hello!",
response_id="response_1",
)
model = ScriptedRealtimeModel(
[
RealtimeStep(
expect=RealtimeModelSendUserInput(user_input="Hello"),
emit=[reply],
)
]
)
runner = RealtimeRunner(
RealtimeAgent(name="Assistant"),
model=model,
config={"tracing_disabled": True},
)
observed_reply = False
async with await runner.run() as session:
await session.send_message("Hello")
async for event in session:
if isinstance(event, RealtimeRawModelEvent) and event.data == reply:
observed_reply = True
break
assert observed_reply
assert model.sent_events == (RealtimeModelSendUserInput(user_input="Hello"),)
assert model.closed is True
model.assert_complete()
期待値には、厳密なイベント値、isinstance で照合するイベントクラス、または送信イベントを受け取り、一致した場合に True を返す callable を指定できます。デフォルトでは strict モードが有効です。strict=False を指定すると、無関係な送信イベントは記録されますが、保留中のステップは消費されません。これは、テスト対象の動作に含まれない付随的なイベントをセッションが発行する場合に便利です。
接続中に受信イベントを発行するには、connect_events を使用します。ライフサイクル障害には connect_error または close_error を使用し、一致した 1 回の送信に関連付けられた障害には RealtimeStep(error=...) を使用します。1 つのステップで emit と error の両方を定義することはできません。
Realtime ツールワークフローのテスト
実際の関数ツールを RealtimeAgent にアタッチし、正規化済みツール呼び出しを発行して、SDK がモデル境界を通じてツール出力を送信することを確認します。async_tool_calls を False に設定すると、この小さな例はテスト固有の待機機構なしで接続中に完了します。
import pytest
from agents.decorators import tool
from agents.realtime import (
RealtimeAgent,
RealtimeModelSendToolOutput,
RealtimeModelToolCallEvent,
RealtimeRunner,
)
from agents.realtime.testing import RealtimeStep, ScriptedRealtimeModel
@tool
def lookup_order(order_id: str) -> str:
"""Look up an order by ID."""
return f"Order {order_id} has shipped."
@pytest.mark.asyncio
async def test_realtime_tool_workflow() -> None:
tool_call = RealtimeModelToolCallEvent(
name="lookup_order",
call_id="call_1",
arguments='{"order_id":"order_123"}',
)
def matches_tool_output(event) -> bool:
return (
isinstance(event, RealtimeModelSendToolOutput)
and event.tool_call.call_id == "call_1"
and event.output == "Order order_123 has shipped."
)
model = ScriptedRealtimeModel(
[RealtimeStep(expect=matches_tool_output)],
connect_events=[tool_call],
)
agent = RealtimeAgent(
name="Order assistant",
tools=[lookup_order],
)
runner = RealtimeRunner(
agent,
model=model,
config={"async_tool_calls": False, "tracing_disabled": True},
)
async with await runner.run():
pass
model.assert_complete()
これにより、実際の Realtime ツール検索、引数検証、実行、および出力ルーティングをテストできます。実際のモデルがそのツールを選択することを証明するものではありません。
Realtime の呼び出しとライフサイクルの確認
| メンバー | 内容 |
|---|---|
connect_calls |
認証情報を含まない、分離された接続スナップショット |
sent_events |
呼び出し順の、分離された送信イベントスナップショット |
remaining_steps |
残っている想定送信 |
listeners |
現在登録されているリスナーオブジェクト |
connected, closed, close_calls |
現在のインメモリライフサイクル状態 |
接続履歴には、API キーまたはヘッダーフィールドが指定されたかどうかだけが記録され、その値が保存されることはありません。URL のスナップショットからは、ユーザー情報、クエリパラメーター、およびフラグメントが削除されます。可変のイベントデータと設定は分離されますが、ツール、ハンドオフ、再生トラッカーなどのライブ SDK オブジェクトは同一性を維持します。
最後に model.assert_complete() を使用し、RealtimeSession 非同期コンテキストマネージャーでモデルを閉じてください。Python ユーティリティは、保留中の期待値を表す Promise、暗黙的なタイムアウト、または別個の assert_closed() ヘルパーを意図的に提供していません。
| エラー | 構造化フィールド | 意味 |
|---|---|---|
UnexpectedRealtimeSend |
actual, expected |
strict な送信が次のステップと一致しなかったか、ステップが残っていませんでした |
UnconsumedRealtimeSteps |
remaining_steps |
想定されたすべての送信を使用する前にセッションが終了しました |
RealtimeScriptError |
なし | 切断中の送信など、無効なライフサイクル状態でスクリプトが使用されました |
Voice パイプラインのレシピ
Voice パイプラインのテスト
スクリプト化された STT モデルおよび TTS モデルを SingleAgentVoiceWorkflow と、ScriptedModel を基盤とするエージェントと組み合わせることで、プロバイダーへのリクエストなしに、音声テキスト変換 -> エージェント -> テキスト音声変換という完全なパイプラインをテストできます。
import numpy as np
import pytest
from agents import Agent
from agents.testing import ScriptedModel, assistant_message
from agents.voice import AudioInput, SingleAgentVoiceWorkflow, VoicePipeline
from agents.voice.testing import (
ScriptedSTTModel,
ScriptedTTSModel,
TTSResult,
pcm16_samples,
)
@pytest.mark.asyncio
async def test_voice_pipeline() -> None:
model = ScriptedModel([[assistant_message("Hello there.")]])
stt = ScriptedSTTModel("hello")
pcm = pcm16_samples([0, 100, -100, 0])
tts = ScriptedTTSModel([TTSResult([pcm])])
pipeline = VoicePipeline(
workflow=SingleAgentVoiceWorkflow(Agent(name="Voice assistant", model=model)),
stt_model=stt,
tts_model=tts,
config={"tracing_disabled": True, "tts_settings": {"buffer_size": 1}},
)
result = await pipeline.run(AudioInput(np.zeros(2, dtype=np.int16)))
events = [event async for event in result.stream()]
assert events
assert [call.text for call in tts.calls] == ["Hello there."]
stt.assert_complete()
tts.assert_complete()
model.assert_complete()
パイプラインの STT/TTS ライフサイクルをテストする一方で、エージェントオーケストレーションをテストしない場合は、代わりに ScriptedVoiceWorkflow を使用します。
from agents.voice.testing import ScriptedVoiceWorkflow
workflow = ScriptedVoiceWorkflow(
turns=["Hello there."],
start="Welcome.",
)
start ステップは on_start() によって消費されます。VoicePipeline が on_start() を呼び出すのは StreamedAudioInput の場合のみです。静的な AudioInput 実行では、start は消費されません。通常の各ターンでは文字起こしが記録され、設定済みの実行結果が 1 つ消費されます。1 つの文字列は 1 つのフラグメントです。文字列のシーケンスを使用すると、テキスト分割と TTS の前のフラグメント境界を制御できます。
ストリーミング文字起こしのテスト
ScriptedSTTModel は、静的な transcriptions と、独立してスクリプト化されたストリーミング sessions を受け付けます。セッションには、ScriptedTranscriptionSession、文字起こしターンのシーケンス、例外、または単一の文字列を指定できます。
from agents.voice.testing import ScriptedSTTModel, ScriptedTranscriptionSession
session = ScriptedTranscriptionSession(["first turn", "second turn"])
stt = ScriptedSTTModel(sessions=[session])
ScriptedTranscriptionSession を閉じると反復が停止し、スキップされたターンは assert_complete() が報告できるよう残されます。同様に、ScriptedTTSModel は呼び出しごとに TTSResult、バイトチャンクのシーケンス、または例外を 1 つ消費します。
Voice 呼び出しの確認
| コンポーネント | 記録される履歴 |
|---|---|
ScriptedSTTModel |
calls、session_calls、およびライブ created_sessions の同一性 |
ScriptedTTSModel |
テキストと分離された設定を含む calls |
ScriptedVoiceWorkflow |
ターン順の transcriptions |
静的なオーディオバッファと可変の設定は、呼び出し時にスナップショットされます。StreamedAudioInput と作成された文字起こしセッションオブジェクトは、パイプラインが引き続き使用するため、ライブな同一性を維持します。
| エラー | 構造化フィールド | 意味 |
|---|---|---|
UnexpectedVoiceCall |
operation |
静的な文字起こし、ストリーミングセッション、TTS 呼び出し、ワークフロー開始、またはワークフローターンに設定済みステップがありませんでした |
UnconsumedVoiceSteps |
remaining_steps |
設定済みの Voice ステップが 1 つ以上残っています |
テストで設定するスクリプト化済み Voice コンポーネントごとに、assert_complete() を呼び出してください。ScriptedSTTModel.assert_complete() は、それが作成した文字起こしセッション内のターンも確認します。
適切な境界の選択
モデルプロバイダーに依存せずに、SDK の実行ループ、ツール、ハンドオフ、ガードレール、セッション、再試行、または正規化済みストリーミングをテストする場合は、ScriptedModel を使用します。
サンドボックスプロバイダーを起動せずに、SandboxAgent の機能とオーケストレーションをテストする場合は、ScriptedModel とともに scripted_sandbox_session() を使用します。プロバイダーの作成、プロセス実行、ファイルシステムの忠実性、永続化、リソース制限、および分離の確認は、実際のサンドボックスプロバイダーに対する統合テストで行ってください。
WebSocket 接続を開かずに、RealtimeSession の動作、または RealtimeAgent のツールとハンドオフのオーケストレーションをテストする場合は、ScriptedRealtimeModel を使用します。raw の Realtime クライアント/サーバーイベント、認証、ネットワーク復旧、およびオーディオトランスポートの動作は、実際のトランスポートまたは統合環境でテストしてください。Realtime API セッションでは、クライアントが入力を送信してイベントを受信している間、接続が開いたままになるため、これらのネットワークとプロトコルに関する事項は、正規化済みモデル境界より下位に属します。本番環境の接続アーキテクチャについては、OpenAI Realtime API ガイドを参照してください。
音声プロバイダーを使用せずに、STT/TTS の順序、ストリーミング文字起こしのクリーンアップ、ワークフローフラグメントの配信、または完全な Voice パイプライン構成をテストする場合は、Voice テストコンポーネントを使用します。文字起こし品質、生成音声、エンコーディング互換性、レイテンシ、または再生をテストする場合は、実際のオーディオモデルと代表的なオーディオを使用してください。
Responses API または Chat Completions のリクエストシリアル化、認証ヘッダー、プロバイダーのデフォルト値、HTTP ペイロード、プロバイダーのストリームチャンク、Realtime のワイヤーフレーム、またはプロバイダー固有のライフサイクル動作のテストには、これらのユーティリティを使用しないでください。そのようなテストでは実際のアダプターを維持し、そのネットワーク境界を置き換えるか制御してください。openai v3 では、OpenAI アダプターのテストに httpx2 のリクエスト、レスポンス、トランスポート、および例外の型を使用する必要があります。従来の httpx は、Agents SDK のコア依存関係ではありません。
最終チェックリスト
- 正規化済みモデル、Sandbox セッション、Realtime モデル、または Voice パイプラインの境界が管理するインタラクションのみをスクリプト化します。
- ランナーの非公開状態ではなく、重要な公開リクエストフィールドまたは呼び出しフィールドを検証します。
- 固定レスポンスステップを優先し、リクエストに依存する動作にのみレスポンダーを使用します。
- モデルの自動ストリーミングを優先し、イベントレベルの動作が重要な場合にのみ厳密なストリームを使用します。
- スクリプト化された各コンポーネントのテストを、その
assert_complete()メソッドで終了します。 - 周囲のテストが Realtime および Sandbox のライフサイクルを管理する場合は、クリーンアップに非同期コンテキストマネージャーを使用します。
- 人が読めるメッセージを解析するのではなく、構造化されたエラーフィールドを検証します。
- プロバイダーのワイヤーテストでは、制御されたネットワークトランスポートを備えた実際のアダプターを使用します。
スコープと現在の制限事項
テストモジュールは、意図的に以下を提供していません。
- 正規化済みモデル出力項目ごとの便利なビルダー。一般的なケースでは
assistant_message()とfunction_call()を使用し、その他の正規化済み項目は直接渡してください。 - プロバイダープロトコルのシミュレーター。厳密なモデルストリームでは、Responses API または Chat Completions のワイヤーチャンクではなく、正規化済み SDK イベントを使用します。
- 高レベルのシミュレートされた Realtime サーバー。テストでは、正規化済みの送信を明示的に照合し、シナリオに必要な正規化済み受信イベントを発行します。
- 順序に依存しない Sandbox または Realtime の期待値。どちらのユーティリティも、想定ステップを 1 つのグローバルな順序で消費します。
- テストランナー固有のマッチャー、fixture、暗黙的なタイムアウト、または自動 teardown。
- リセット API。
ScriptedModelは段階的なスクリプト向けにenqueue()とextend()をサポートしますが、独立したシナリオには新しいスクリプト化コンポーネントを作成してください。
不正なストリーム、制御された一時停止や並行処理、厳密なキャンセル、またはスクリプト化ユーティリティでは維持できないライフサイクル境界がテストに必要な場合は、対応する公開インターフェースのカスタム実装を使用してください。その特殊な境界をテスト内に記載してください。