やっと読み終わった。シルバーウィークから読み始めたけれど、特集の「ハーネス設計」と「AIによるテスト自動化」がなかなか読み進められなくて、時間がかかった。気がつけば、次の11月号がでてた。読むのは大変だったが、役に立つ内容だった思う。
「自走AIのためのハーネス設計入門」は、Agentic Codingに限らずハーネス（手綱）を握って制御するのが大変そう。ハーネスも「作りのためのハーネス」と「使う人のためのハーネス」の２つがあり、今回の特集だとちゃんと整理されているけれど、世の中の情報だと、最初にどっちのケースの話なのかの見極めは必要になってくる。たぶん、いままで、そこの切り分けがよくわかっていなかったので、ハーネスエンジニアリングがわかりにくかったのかもしれない。制御のためのスキルの作成や権限のところは難しそうだ。スキルの部分はある程度、テンプレートがあるので70点くらいまで行きそうだけど、それをチューニングして、80点、90点と出来をよくしていくのは大変そう。
それからハーネスのところで、「Lethal Trifecta（致命的な3要素）」の話はよかった。「（信頼できない）コンテンツへの露出」「プライベートデータへのアクセス」「外部への通信機能」の３つの要素が揃うと、それだけで情報漏えいが成立しうるという話だ。１つ１つは大したことがないものの、この組み合わせをされると、AIエージェントが指示を遂行するために外部データを送ってしまうので、環境はとても気をつけないといけない。一番早いのは、外部ネットワークを使わずにローカルやイントラネットだけで処理できればいいのだろうけれど、エージェントで自動化を考えると、なかなか難しい。防ぎ方もあるけれど、ほんとに難しい。あとは、認証の範囲を最小限にするとか、当たり前ではあるのだけど、管理をするのも、権限を与えるのも、なかなかに手間がかかるから、これを形骸化しそうなポイントで、ハーネスエンジニアリングとしては難しいところだろう。AIエージェントが、意図しない情報漏えいや破壊的な何かをしなければいいのだけど、そういう制御のためにも、ハーネスエンジニアリングは必要だ。
「AIによるテスト自動化のリアル」も、本当にリアルでよかった。どれをどう繋いで、テストという話ではなくて、AIでテストの自動化したときの失敗事例からの自動化の話があってよかった。泥臭い失敗談は貴重で、どうしてそれが必要なのかは失敗があってわかることが多いので。そして、Playwright用のテストケースを出すまではAIの仕事だけど、その後の実行はPlaywright任せになるので、反覆実行するところはAIのコストがかからない。テスト全体をAIにやらせるわけではなく、テストはテスト用のツールで、テストの仕様を考えるところは人ではなくて機械的にAIにやらせるのはよいと。テストをちゃんと設計するためには、暗黙知も含めた必要な情報をすべて集める必要があるということ。記事の中にもあるけれど、必要な情報を集めたり、ドキュメント化するのが一番大変で、そこはAIにはできないので、一番最初の難関になるわけで大変だ。何度もPlaywrightでテストを自動化しようして、めんどくさくてやめているので、そろそろ、 部分的でもいいから、Playwrightでテストを試してみたい、とは思う。やる気と時間をなんとか作らないとなぁ。
Amazon： https://link.amazon/B07rhHRti
コメントを残す