このページでは、ここまでの 4 つのページで Jev を試して分かったことをまとめます。一言でいうと、流れと合否はコードが持ち、Jev にはその途中の小さな判断だけをさせると、うまくはまりました。
Jev は何を返すのか
Jev は文章を書きません。Choice（選択肢から 1 つ）・Score（段階評価）・Noul（はい・いいえ）の 3 つの型で質問を渡すと、答えと確率を返します。Choice と Score には confidence も付きます。1 回のリクエストに型の違う質問をいくつも入れられ、それぞれが並列に評価されます。手元で 3 つの型を 1 回で聞くと、応答は 0.3 秒前後でした。入力 100 万トークンあたり 0.042 ドルで、出力には料金がかかりません。
答えと「どれだけ迷ったか」を別々に受け取れることが、どの使い方でも鍵になりました。
試した使い方
| 使い方 | Jev にさせたこと | 結果 |
|---|---|---|
| 既読機能の E2E の合否 | 次に押すリンクを選ばせ続ける | ずれていた。合否は決定的なテストに任せた |
| 導線の分かりやすさ | 読者の目的に合うリンクを 1 回だけ選ばせる | 見出しを消すと confidence が 0.93 → 0.57 に下がり、決定的なテストが気づかない変化を拾えた |
| jevcumber | 自然文の手順を操作に分解させる | lockfile で結果を固定でき、2 回目から API キーは要らない。文言の変更にも追従した |
| 道の駅のおすすめ | 43 駅を Score で採点させる | 日本語のままで 1 位は 17/17 件が妥当。2.5 の足切りで「該当なし」も表せた |
向いている使い方
- コードの流れの途中にある、小さな判断。 担当チームの振り分け、要望と駅の相性、目的に合うリンクなど、人なら数秒で決められる判断です
- 答えの型が決まっていて、そのまま
ifや並べ替えに使えるもの。 足切りの閾値を決めておけば、「該当なし」もコードで扱えます - confidence を指標として読む使い方。 導線のテストでは、正解かどうかより confidence の下がり方のほうが役に立ちました
向いていない使い方
- 機能が正しく動くかの合否。 DOM を見れば分かることは、決定的なテストで確かめるほうが確実です
- 道順の決まった操作をループで進ませること。 公式もアンチパターンとして挙げています
- 画面の構造に依存する判定。 ✓ がどの行に付いているかのような判定は、画面の文字だけを受け取る Jev には伝わりませんでした
- 渡していない情報に基づく判断。 営業時間を要約に入れていなければ、「夜遅く」の要望は採点できません。こうした条件はコードで処理します
閾値は使い道ごとに決める
confidence の閾値は、導線のテストでは 0.5 と 0.8、道の駅ではスコアの 2.5 と、使い道ごとに実測から決めました。公式も、閾値は 1 つの値ではなく、判断を誤ったときの影響に合わせて決めるよう勧めています。どちらの値も手元の少ない例で決めたものなので、画面や利用者が変われば測り直す必要があります。