Chaque fois que je change de modèle, de version de serveur ou de réglage sur le homelab, je le mesure avant de décider. Cette page rassemble ces mesures, du plus récent au plus ancien.
On y trouve des modèles de langage, de lecture de pages, de transcription et de voix, servis par llama.cpp ou Strata sur des RTX 3090 de 24 Go. Les mesures viennent de GenAI Bench, l’outil que j’ai écrit pour ça.
Chaque bench tient en une page : des graphiques, puis une conclusion. Un écart de quelques points sur un petit banc est souvent du bruit, et chaque page le dit quand c’est le cas.
Les bancs
Aucun banc publié pour le moment.