Featured image of post グラフの最高潮位が、気象台の発表と合わない。途中に立てた検査は、壊れた値を通していた

グラフの最高潮位が、気象台の発表と合わない。途中に立てた検査は、壊れた値を通していた

集計の途中で値が壊れ、グラフの最高潮位が発表より3cm低い。途中に立てた検査は全部通ってしまう。その地点で何であるはずかを知る検査を立て、範囲を半分ずつ絞る調べ方(Wolf Fence)で、壊した段に届きます。

Featured image of post 去年の報告書を計算し直すと、数字が合わない。怪しいと読んだ変更は無実だった

去年の報告書を計算し直すと、数字が合わない。怪しいと読んだ変更は無実だった

去年の報告書を今のツールで計算し直すと、一件だけ数字が合わない。怪しい変更を戻しても直らない。良い版と悪い版の間の履歴を判定プログラムで二分する git bisect(git bisect run)で、最初に壊れたコミットまで辿ります。

Featured image of post 同じCSVなのに、ある月だけ取り込めない。違っていたのは中身ではなかった

同じCSVなのに、ある月だけ取り込めない。違っていたのは中身ではなかった

同じ中身のCSVなのに、ある顧客の月だけ「必須の列がありません」で取り込めず、手元では再現しない。報告者との差を一つずつ揃える再現手順の確立(Reproducing Problems)で、毎回起きる手順と Go の再現テストを作り、原因まで辿ります。

Featured image of post 深夜の注文が締め切り前なのに断られる。3回直したのは、どれも見当違いの場所だった

深夜の注文が締め切り前なのに断られる。3回直したのは、どれも見当違いの場所だった

深夜に入った翌朝便の注文だけが締め切り前なのに断られ、3回直しても直らない。観察と解釈を分け、予測を先に書いてから実験する科学的デバッグ(Scientific Debugging)で、Go の time.Truncate の落とし穴まで仮説ごとのテストで辿ります。

Featured image of post 【実験】甘いシェリー樽ウイスキーに「スモークリキッド」を垂らしたら、アイラモルトになるのか?

【実験】甘いシェリー樽ウイスキーに「スモークリキッド」を垂らしたら、アイラモルトになるのか?

スモーキーではないシェリー樽熟成ウイスキー(シーバスリーガル エクストラ 13年)に、ヒッコリーの燻製調味料「リキッドスモーク」を1滴未満垂らしたらアイラモルト風になるのか実験しました。意外な酸味の正体(酢酸)と加水による変化をレポートします。

Featured image of post Issueに仕込まれた一文で、AIが社員の勤務表を公開した。非公開と外への書き込みを揃えない【プロンプトインジェクション対策】

Issueに仕込まれた一文で、AIが社員の勤務表を公開した。非公開と外への書き込みを揃えない【プロンプトインジェクション対策】

公開しているリポジトリの Issue を AI に片付けさせたら、仕込まれた一文に従って、非公開の勤務表から写した社員の名前と勤務を公開のコメントに貼った。誰でも書ける入力・非公開のデータ・外への書き込みの3つを一つの会話で揃えない仕掛け(プロンプトインジェクション対策)を、TypeScript と node --test で書きます。

連載 コードファルコナー (第12話 / 全12話)
Featured image of post AIに別ブランチで作業させたのに、コミット前の変更が消えた。フォルダごと分ける【git worktree】

AIに別ブランチで作業させたのに、コミット前の変更が消えた。フォルダごと分ける【git worktree】

AI に別のブランチを切らせて夜通し作業を任せたら、同じフォルダにあったコミット前の変更が朝には消えていた。AI の作業場所をフォルダごと分ける git worktree と、分けても共有されるものを、TypeScript と node --test で確かめます。

Featured image of post AIのレビューを2回通ったのに、ログインボーナスが二重に配られた。書いた理由を渡さずに頼む【敵対的レビュー】

AIのレビューを2回通ったのに、ログインボーナスが二重に配られた。書いた理由を渡さずに頼む【敵対的レビュー】

AI のレビューを同じ会話とサブエージェントで2回通したのに、ログインボーナスが二重に配られた。書いた側の言い分を渡さず、差分と仕様だけでレビューを頼む依頼の組み立て(敵対的レビュー)を TypeScript と node --test で書きます。

Featured image of post 公式ドキュメントを渡したのに、AIが存在しない関数を書いた。インストール済みの依存から資料を作る【最新ドキュメントを渡す】

公式ドキュメントを渡したのに、AIが存在しない関数を書いた。インストール済みの依存から資料を作る【最新ドキュメントを渡す】

公式サイトのドキュメントを貼って AI に書かせたら、入っている版に無い関数でビルドが30か所落ちた。インストール済みの依存から名前と版を取り出し、AI に渡す資料を作る方法(最新ドキュメントを渡す)を TypeScript と node --test で書きます。

Featured image of post AIがテストの答えを書き換え、全部通ったまま請求が倍に。差分で見つける【テスト先行と改変の検知】

AIがテストの答えを書き換え、全部通ったまま請求が倍に。差分で見つける【テスト先行と改変の検知】

AI に保管料の計算の改修を任せたら、テストの期待値がバグの出力に書き換えられ、チェックは全部緑のまま請求が倍になった。テストを先に固め、その後の差分からテストの削除と期待値の書き換えを見つける仕掛け(テスト先行と改変の検知)を TypeScript と node --test で書きます。

Featured image of post AIに続けて7件直させたら、5件目の修正が戻った。会話を区切って引き継ぐ【1タスク1セッション】

AIに続けて7件直させたら、5件目の修正が戻った。会話を区切って引き継ぐ【1タスク1セッション】

AI に一つの会話で不具合を7件続けて直させたら、7件目の修正で5件目が元に戻った。会話をタスクごとに区切り、決めたこととやめたことだけを次の会話に渡す引き継ぎ書(1タスク1セッション)を TypeScript と node --test で書きます。

Featured image of post 確認を全部許可にしたら、AIが検証環境のデータを消した。読む確認だけ残す【許可リスト】

確認を全部許可にしたら、AIが検証環境のデータを消した。読む確認だけ残す【許可リスト】

確認が一日三百回出るのに疲れて AI の操作を全部許可にしたら、AI が検証環境のデータを消した。通す・聞く・止める操作を先に決めて、読む確認だけを残す仕組み(許可リスト)を TypeScript と node --test で書きます。

Featured image of post 指示書に規則を足すほどAIが守らなくなった。消していい規則を確かめる【指示書の刈り込み】

指示書に規則を足すほどAIが守らなくなった。消していい規則を確かめる【指示書の刈り込み】

指摘のたびに規則を足した指示書が300行を超え、肝心の1行が埋もれて同じ指摘が三回目に。hook の名前ではなく、規則ごとの違反例を実際に流して止まった行だけを消す刈り込み(指示書の刈り込み)を TypeScript と node --test で書きます。