← 試験の目次へ
全6問。単一選択と複数選択があります。複数選択の問題には「2つ選んでください」と書いてあります。解答と解説は最後にあります。
回答済み 0 / 6
スキル: デバッグとエラー処理
長い報告書を JSON で出すアプリで、ときどき JSON のパースに失敗します。ログを見ると、HTTP は 200 で、失敗したときの stop_reason はいつも max_tokens です。最も適切な対応はどれですか。
正解: B
stop_reason はエラーではなく、生成が止まった理由です。max_tokens は出力が上限に達して途中で切れたことを示すので、上限を上げるか、続きを生成させるか、出力を分けます。A の再試行は、同じ上限なら同じところで切れます。HTTP 200 なので一時的なエラーでもありません。C は認証の問題(401)の対応です。D は途中切れと関係がありません。
エージェントが呼ぶ「在庫確認」ツールの中で、外部の在庫システムが混雑によりタイムアウトしました。Claude にどう返すのが最も適切ですか。
正解: D
ツールの実行が失敗したら、tool_result に is_error: true を付けてエラーの内容を返します。公式ドキュメントは、「failed」のような一般的な文ではなく、何が起きたかと次に何を試せばよいかを書くよう勧めています。そうすると Claude は推測せずに立て直せます。A は失敗を成功に見せかけるので、Claude は「在庫なし」と誤って答えます。B は回復の手がかりがありません。C は、立て直せる失敗で仕事全体を止めてしまいます。
Web 検索のサーバーツールを使うエージェントで、応答の stop_reason が pause_turn になりました。どう処理するのが正しいですか。
正解: A
pause_turn は、サーバーツールのループが反復の上限に達したことを示します。エラーではありません。応答の中には結果がまだない server_tool_use ブロックが入っていることがあり、アシスタントの応答をそのまま会話に足して送り直すと、Claude が続きを処理します。公式ドキュメントも、サーバーツールを使うエージェントのループでは pause_turn を処理するよう勧めています。B、C、D はどれも pause_turn の意味を取り違えています。
社内の料金案内ボットが、古い料金を自信ありげに答えるという報告がありました。トレースを見ると、料金を調べる検索ツールが、去年の料金表を返していました。Claude はその結果どおりに答えていました。問題はどこにありますか。
正解: C
モデルが間違えたと決める前に、モデルが実際に何を受け取ったかを確かめます。ここでは検索ツールが古い料金表を返し、Claude はそのとおりに答えています。原因はデータを渡す側(検索ツールやインデックスの更新)にあるので、そこを直します。A、B、D はモデルの出力の問題として扱っていますが、正しいデータが渡っていないので、モデルを変えたりプロンプトを足したりしても根本的には直りません。
Agent SDK のエージェントの動きを OpenTelemetry で調べようとしています。公式ドキュメントの説明として正しいものはどれですか。2つ選んでください。
正解: A、C
テレメトリーは CLAUDE_CODE_ENABLE_TELEMETRY=1 とエクスポーターを設定するまでオフです。初期設定では構造の情報だけが記録され、プロンプトやツールの中身は OTEL_LOG_USER_PROMPTS=1 や OTEL_LOG_TOOL_CONTENT=1 などを付けたときだけ記録されます。B は逆で、送り先に届かなくてもエージェントはふつうに動き、データだけが捨てられます(だからコレクター側で届いているか確かめます)。D も誤りで、OTLP を受け付ける任意の基盤に送れます。
5万トークンの契約書について質問に答えるアプリで、契約書にない条項を答えることがあります。渡しているデータは正しいことを確認済みです。公式のハルシネーション対策として、まず試す価値が高いものはどれですか。
公式ドキュメントは、長い文書(2万トークン超)では先に言葉どおりの引用を抜き出させてから作業させると、実際の文章にもとづいた答えになりハルシネーションが減るとしています。また「わからない」と言ってよいと明示的に許すことも、誤った情報を大きく減らすとしています。A は逆で、外の知識を使わせず、渡した文書だけを使わせるのが対策の1つです。B は根拠の問題を解決しません。C は、複数回実行して食い違いを見る Best-of-N のような確かめ方と逆です。
この分野の教材を読む