「特権ID NHI管理入門」もよかったけれど、「誰も教えてくれないLLMの話」が面白かった。確かに疑問には思っていても答えてくれるものはない。本が出ていたとしても、LLMの世代が変われば、変わる話が多いので、ささっと読めるのはよかった。
特権IDの話は、「特権NHIの脅威を理解するうえで最も重要なのは、人間のIDが『利用者本人の認証』によって保護されているのに対し、特権NHIは『認証情報そのもの』が本人である点です。」というのが目から鱗だった。言われてみて考えてみると、確かにAPIキーとIDの組み合わせに対して、権限をつけているので、人間のようなMFAなどはなく、正しい組み合わせでアクセスしてきたら権限通りに動作するようになっている。だから、アクセス自体が認証そのものだ。これ（APIキーやトークンなど）が漏れる可能性もあるので、細かい権限設定と定期的な変更が必要というのはわかる。でも、大変なのでついつい忘れがちになる。権限の見直しなどは、追加するときは依頼ベースでの対応になるので実行されるけれど、権限の削除は行われにくいわけで重要なのに後回しになりがちなので気をつけないといけない。あとは、人間が使う特権IDの管理も特権IDアクセス用のシステムをいれないとというのはわかるがめんどくさい。だけど、やらないとは思うのだが。
誰も教えてくれないLLMの話は、「モデル崩壊」の部分がよかった。AIを使って、AIを鍛えると、モデル崩壊する原因やその対策、AIでAIをきたえればいいじゃん、と思うけれど、それが難しい理由もわかった。自分自身のフィードバックループだけでは、なかなか鍛えられていかないわけだ。ある程度、現実世界に即した何かが必要になると。それに「Web全体という情報生態系の健全性」というのもわかる。AIによるニュースサイトが増えて続けたり、低品質なAIによる生成記事ばかり増えると、それを使って学習するAIがモデル崩壊に近づくという。データの質は重要なわけで、フォーラムなどで有益な内容がなくなっていくといけないわけだ。個人ブログにしても、だんだんと減っていくことだろう。個人向けのブログサービス自体が、採算が取れなくなって閉鎖になるケースもあるわけで。AIによるアクセスしかなければ、そういうことが起きていくのだろう。
LLMの話で「長い推論と有効な推論は必ずしも同じではない」というのも面白かった。長いからいいわけではなく、質が重要で推論を長くすればいいわけではないと。プロンプトの質も影響するわけだ。だから、LLMを利用するときのコストは難しく「モデルがどれだけ読み、どれだけ書き、どれだけ考えたか」が跳ね返るわけで、長いインプットでも推論が少なければ安くなる、長いインプットで推論回数が増えれば増えるほどコストは高くなると・・・。なんでもかんでも構成なLLMを使えばいいわけではないというわけだ。
Amazon： https://amzn.to/3UyXDsO
