レイテンシ– tag –

LLM呼び出しの所要時間を送出・ヘッダ受信・本文読了の3点で分解し、25日分・29,628件を実測した。遅さの約94%はプロバイダ側の本文生成で、firstbyte は日次中央値0.53〜0.68秒と安定していた。再起動が効くのはホスト起因のときだけである。

【結論】高価なSANに頼らず、Proxmox VE・InfiniBand（RDMA）・LightOS を組み合わせれば、エンタープライズ級の性能と可用性を圧倒的なコスト効率で実現できる。鍵は、CPUではなくネットワークの「遅延」を削ることにある。 性能のボトルネックはCPUでは...