#Anyscale

テクノロジー

GKEのRay Serve LLMがスループット5倍・遅延8分の1

LLMの本番推論では、開発しやすさとスループットの両立が長年…