Kthena

Einführung in Kthena: LLM-Inferenz für die cloudnative Ära

TL;DR Kthena ist ein neues cloud-natives System für die Inferenz von Large Language Models (LLMs), das speziell für Kubernetes entwickelt wurde. Es …