Strata and Hermes Agent

Strataで遊んでます。
開発が活発で楽しいですね。

Proxmox VE環境にVMで構築。

• CPU: Ryzen 9 5900XT
• Memory: 128GB
• OS: Proxmox VE 9.2

Strata用VMは、PCIパススルーでGPU利用。

• vCPU: 16
• Memory: 96GB
• GPU: GeForce RTX 4070 SUPER(12GB)
• OS: ubuntu 24.04.4

うちの環境ではこのリソース構成が今のところベストのようです。
iq3_xxsもswift-iq3_xxsも常用する気になる程度のtokens/sが出ています。

同じ基盤にHermes Agent用VMも稼働させ、主にHermes用に使ってます。
setup.shおすすめのサイズは32K。hermes agentセットアップ時に最低要件の64Kに変更。
しばらく動かしていましたがHermesでcontext compressが多発。
128Kに変更したところ頻度が下がり快適に。併せてHermesのMEMORYサイズも4000に変更して今のところ安定稼働。

が、常用する気になる性能が出てくると、もっと強力な機材が欲しくなって困る。
いろんなものが高くて困りますよね。

# freeのESXiだとvCPU制限があるのでProxmoxに移行するのが一番面倒くさかった...。

参考)

• Strata
• Hermes Agent