問い合わせへの返信をClaudeに下書きさせていると、指示を少しずつ直したくなります。件名を付けてほしい、要点は箇条書きにしてほしい。直した版で何通か試し、読みやすくなっていれば採用したくなりますが、直したことで別のところが崩れていないかは、読みやすさからは分かりません。
名入れ文具の店の返信指示で、元の版と、件名と箇条書きの2行を足した版を、同じ3件の問い合わせでClaudeに1回ずつ下書きさせました（2026年10月20日）。6つの項目で採点すると、一致した数は2つの版とも18項目中17項目で同じでした。ところが2行を足した版では、商品が届かないという問い合わせへの返信にだけ、店のルールにない「名入れ商品は通常の商品より発送までにお時間をいただく場合がございます」という説明が入っていました。Claudeは補足で「仮定です」と断っていましたが、その一文はお客様に送る本文の側にありました。
一致数だけで比べていたら、この違反は見逃します。この記事では、重大な約束違反と表現の不足を分けた評価セットの作り方と、実際の2つの版の採点結果、ラベルから採否を出す短い採点スクリプトをまとめます。読み終えたら、自分の返信指示を直したときに、同じ評価セットで採点して、採用するか、もう一度直すかを決められます。
評価セット：重大な条件と表現の条件を分けて先に決める
評価セットは、試す問い合わせと、返信に期待することの組です。指示を直すたびに同じ組で採点すると、ある返信が良くなった代わりに別の返信が崩れた、という変化に気づけます。
期待することは、間違えたときの影響で2つに分けます。お客様に誤った約束や事実を伝えてしまうものは「重大」、読みやすさや体裁に関わるものは「表現」です。
| ID | 返信に期待すること | 区分 |
|---|---|---|
| E1 | 返金・交換・作り直し・再送を約束しない。返金の依頼には、担当者が確認してから連絡すると伝える | 重大 |
| E2 | 情報が足りなければ質問する。問い合わせにない事実（発送状況、到着日、原因など）を言い切らない | 重大 |
| E3 | 1行目に件名がある | 表現 |
| E4 | 箇条書きが2行以上ある | 表現 |
| E5 | 担当窓口「サポート担当 support@example.com」を書いている | 表現 |
| E6 | 結びのあいさつで締めている | 表現 |
どれを重大にするかは、汎用の点数表ではなく、自分の店で間違えたときに何が起きるかで決めます。たとえば緊急の連絡先を伝えないと困る業務なら、E5は重大に移します。
採点は、お客様に送る返信の部分だけを対象にします。Claudeが返信の外に書いた前置きや「補足」は、お客様には届かないので数えません。
2つの版の指示と、3件の問い合わせ
元の版（v1）の指示は次のとおりです。
名入れ文具のネットショップに届いた問い合わせへの返信を下書きしてください。次の店のルールに従ってください。
- 返金・交換・作り直しの可否は、担当者が注文内容を確認してから決めます。返信では返金・交換・作り直しを約束せず、担当者が確認してから改めて連絡すると伝えてください。
- 返信に必要な情報（注文番号、商品名、状況など）が足りないときは、推測せずにお客様へ質問してください。
- 名入れは全角10文字までです。
- 担当窓口として「サポート担当 support@example.com」を記載してください。
- 最後に結びのあいさつを入れてください。直した版（v2）は、ここに次の2行を足しただけです。
- 1行目に「件名：」で始まる件名を付けてください。
- 要点は箇条書きで書いてください。問い合わせは、返金の依頼、情報の足りない問い合わせ、通常の質問の3件です。
-
Q1：注文番号1024で届いた名入れノートの名前が間違っていました。返金してもらえますか。
-
Q2：先週注文したものがまだ届きません。どうなっていますか。
-
Q3：名入れは何文字までできますか。
指示の後に「問い合わせ：」と問い合わせを付け、ブラウザ版Claudeの新しいチャットに1通ずつ、2つの版で計6回送りました。
採点の結果
| 版 | 一致した数 | 重大な違反 | 一致しなかった項目 |
|---|---|---|---|
| v1 | 17/18 | なし | Q3の返信に箇条書きがない（E4、表現） |
| v2 | 17/18 | 1件 | Q2の返信に店のルールにない発送事情（E2、重大） |
返金の依頼（Q1）には、どちらの版も返金を約束せず、担当者が確認してから連絡すると伝え、注文時に指定した名前と届いた商品の印字を尋ねていました。v1は件名を指示していなくても3通とも件名を付けていて、2行を足したことで増えた一致は、Q3の箇条書きの1項目だけでした。
減ったのは、v2のQ2です。注文番号や商品名を尋ねる部分は基準どおりでしたが、本文に次の一文がありました（表現は変えていません）。
なお、名入れ商品は、ご注文後にお名前などを刻印・印刷してから発送するため、通常の商品より発送までにお時間をいただく場合がございます。
同じ回答の最後には、お客様に送らない補足として、次のように書いていました。
「通常より発送までにお時間をいただく場合がある」という一文は、名入れ商品の一般的な事情として入れた仮定です。実際の店舗の運用と異なる場合は削除または修正してください。
店のルールには、発送にかかる時間の説明はありません。届かない理由がまだ分からない段階で、この一文が届くと、お客様は「名入れだから遅れている」と受け取ります。実際には発送漏れや配送の事故かもしれません。補足で仮定だと断っていても、補足はお客様に届かず、本文の一文だけが届きます。そこでE2の「問い合わせにない事実を言い切らない」に当たる重大な違反と数えました。
各版1回ずつの結果なので、この一文が足した2行のせいで入ったのか、同じ指示でも入ったり入らなかったりするのかは、この結果からは決められません。それでも、採用するかの判断には十分です。v2をこのまま使えば、少なくとも1通に重大な違反があった版を採ることになるからです。
決めきれなかった文は、理由と一緒に記録する
ラベルは、実行担当のAI（Claude）が上の基準で付けたものです。そのなかで、基準だけでは決めきれない文が1つありました。どちらの版もQ2の返信で書いていた「お届けが遅れており」です。お客様の「まだ届きません」を言い直しただけとも読めますが、遅れていることを店が事実として認めたとも読めます。今回は言い直しと読んで一致に数えました。v1の回答は、返信の外の説明で「配送の遅れとも発送漏れとも断定せず」と書いていて、本文の言い回しとは食い違っています。
こうした文は、どちらに数えたかと理由を記録に残しておき、次に指示を直すときの判断材料にします。採点を2人で分けて付けられるなら、この文で判断が割れるかどうかも、指示を直すべき箇所の手がかりになります。
採点スクリプト
ラベルを付けたあとの集計は、次のPythonでできます。重大な違反を一致数とは別に数え、採点の対象が欠けていたら止まります。Python 3.10以降の標準機能だけで動き、LABELSの1と0を自分の採点に書き換えて使います。
# 返信指示の2つの版を、同じ評価セットで採点する。
# ラベルは、出力1通ごとの一致（1）／不一致（0）。
# この例は担当AIの判定。自分の返信に使うときは本文と基準を照合して確定する。
CRITICAL = {"E1", "E2"} # 重大条件
ITEMS = ["E1", "E2", "E3", "E4", "E5", "E6"]
QUESTIONS = ["Q1", "Q2", "Q3"]
LABELS = {
"v1": {"Q1": [1, 1, 1, 1, 1, 1], "Q2": [1, 1, 1, 1, 1, 1], "Q3": [1, 1, 1, 0, 1, 1]},
"v2": {"Q1": [1, 1, 1, 1, 1, 1], "Q2": [1, 0, 1, 1, 1, 1], "Q3": [1, 1, 1, 1, 1, 1]},
}
def score(labels):
if sorted(labels) != QUESTIONS or any(len(v) != len(ITEMS) for v in labels.values()):
raise ValueError("評価対象の不足または追加")
matched, critical = 0, []
for q in QUESTIONS:
for item, ok in zip(ITEMS, labels[q]):
matched += ok
if item in CRITICAL and not ok:
critical.append(f"{q}-{item}")
return matched, critical
for version, labels in LABELS.items():
matched, critical = score(labels)
state = "不採用（重大違反あり）" if critical else "重大違反なし・表現の不足を確認"
print(f"{version}: 一致{matched}/{len(QUESTIONS) * len(ITEMS)} 重大違反{critical} {state}")
assert score(LABELS["v1"]) == (17, [])
assert score(LABELS["v2"]) == (17, ["Q2-E2"])
try:
score({q: v for q, v in LABELS["v2"].items() if q != "Q2"})
except ValueError:
print("評価対象が欠ける場合: 停止")v1: 一致17/18 重大違反[] 重大違反なし・表現の不足を確認
v2: 一致17/18 重大違反['Q2-E2'] 不採用（重大違反あり）
評価対象が欠ける場合: 停止採点の対象が欠けたら止めるのは、うまくいかなかった問い合わせを評価セットから外すと、一致の割合が簡単に上がってしまうからです。分母を固定しておけば、範囲を変えたことと指示が良くなったことを取り違えません。
指示を直すたびに回す手順
-
評価セットの問い合わせと、E1〜E6の基準を固定して保存する。
-
指示を1か所だけ直す。一度に複数を変えると、何が結果を動かしたかを追えません。
-
同じ問い合わせを、新しいチャットで直した版に送り、返信の全文を保存する。
-
返信ごとにラベルを付け、決めきれない文は理由と一緒に記録する。
-
重大な違反が1件でもあれば採用しない。重大な違反がなければ、表現の不足がお客様に送る前に直せる程度かを見て決める。
指示を直すときに使った問い合わせとは別に、直すときには見ない確認用の問い合わせも数件用意しておくと、直した問い合わせにだけ合わせた指示になっていないかを確かめられます。
今回のv2を直すなら、たとえば「店のルールにない発送や配送の事情は書かないでください」の1行を足し、同じ3件でもう一度採点します。そこで重大な違反が消え、Q3の箇条書きも残っていれば、採用を検討できます。
参照した公式資料
-
Define success criteria and build evaluations — 確認日：2026年9月21日。
