LLM Benchmark Suite: Wer hat den längsten... Balken?

Tja... da stehen wir nun. Der VRAM glüht, die Lüfter von DANA (meiner treuen Inference-Node im Keller) drehen auf Anschlag und ich frage mich: Welches Modell ist eigentlich gerade wirklich brauchbar für den täglichen Coding-Wahnsinn?

Man kann natürlich stundenlang Benchmarks im Netz lesen, aber hey... die laufen meistens auf H100 Clustern, von denen wir Normalsterblichen nur träumen können. Ich wollte wissen, was auf meiner RTX 3080 (12 GB) unter Linux Mint wirklich passiert. Also habe ich die LLMGui Benchmark Suite gebaut.

(Kurzer Disclaimer am Rande: Ja, der Stempel da oben hat Recht. Der Text hier ist KI-generiert/unterstützt, aber von mir höchstpersönlich moderiert und in Form geprügelt. Ich lass doch keine Maschine meinen Blog komplett übernehmen... noch nicht. ;)

Was macht der Benchmark eigentlich?

Ganz simpel: Das Tool feuert eine Reihe von definierten Prompts gegen die lokale Ollama-Instanz und stoppt die Zeit. Dabei geht es nicht um philosophische Ergüsse der KI, sondern um nackte Zahlen.

• Tokens pro Sekunde (Tok/s): Die magische Zahl. Wie schnell tippt die KI?
• Load-Zeit: Wie lange braucht das System, um das Modell in den VRAM zu schaufeln?
• Context Window Testing: Wo bricht das Modell ein?

Was wird da eigentlich abgefragt? (The Prompts)

Tja, Speed ist geil, aber was tippst du eigentlich da rein? Ich hab mir ein paar fiese Prompts überlegt, die verschiedene Skills abfragen. Hier sind die Hauptverdächtigen aus meinem Test-Suite-Geraffel:

1. Der Klassiker: Fibonacci mit Memoization
   • Prompt: "Write a python function to compute the Nth Fibonacci number efficiently using memoization. Explain the time complexity."
   • Besonderheit: Das ist der ultimative "Efficiency Check". Hier muss die KI zeigen, ob sie nur Code auswerfen kann oder auch versteht, wie man rekursive Funktionen davor bewahrt, den RAM zu sprengen. Wer hier nur die naive Lösung ohne Cache liefert, hat schon verloren.
2. Security Audit: SQL Injection Jagd
   • Prompt: (Identifizieren und fixen von SQLi-Lücken in Python-Snippets)
   • Besonderheit: Hier trennt sich die Spreu vom Weizen. Erkennt das Modell, dass direkte String-Concatenation in SQL-Statements der Vorhof zur Hölle ist? Es geht nicht nur um Code, sondern um die Fähigkeit, Sicherheits-Patterns zu verstehen und zu erklären.
3. Backend Logic: FastAPI & Moving Averages
   • Prompt: (Implementierung eines gleitenden Durchschnitts in einem FastAPI-Endpoint mit Edge-Case Handling)
   • Besonderheit: Das ist Real-World-Stuff. Die KI muss mit Pydantic-Models hantieren, Listen-Operationen beherrschen und – ganz wichtig – Fehler abfangen (was passiert bei leeren Listen?). Das testet die Eignung für echten Produktiv-Code.

Wo sind die Grenzen? (The "War on Hallucinations")

Bevor jetzt die "Aber Modell X ist viel schlauer als Modell Y"-Fraktion kommt: Stop!

Dieser Benchmark misst nur Performance, nicht Intelligenz oder Qualität. Er sagt dir, wie schnell dir eine KI Müll oder Genialität vor die Füße wirft. Er misst nicht, ob der Code am Ende auch kompiliert oder ob die KI wieder anfängt, über den Sinn des Lebens zu halluzinieren, wenn man nach einer RegEx fragt.

"Do you really want to shoot with a battleship gun onto an undefined target?"

Genau das ist der Punkt. Ein 35b Modell mag klüger sein, aber wenn es mit 1.8 Tok/s vor sich hin dümpelt, kann ich den Code auch gleich selbst in Assembler klöppeln.

Wie lese ich das Ergebnis-Geraffel?

Wenn ihr euch das Dashboard oben anschaut, gibt es ein paar Anhaltspunkte:

1. Tok/s ⌀ (Durchschnitt): Alles über 100 Tok/s ist purer Luxus. Da kommt man mit dem Lesen kaum hinterher. Das ist die "Coding-Speed-Zone".
2. Rec-Ctx (Recommended Context): Der Sweet-Spot. Hier bleibt die Performance stabil. Da drüber wird es oft zäh oder der VRAM läuft über.
3. Load-Zeit: Wichtig für Leute, die ständig zwischen Modellen springen. Wer will schon 5 Sekunden warten, bis die KI "Guten Tag" sagt?

Denkt dran: Mehr VRAM = Mehr Spaß. Meine 12 GB RTX 3080 ist bei den 30b+ Modellen schon hart an der Grenze zur Arbeitsverweigerung.

Tja... wer also wissen will, warum ich aktuell meistens auf dem Deepseek-Coder-v2 oder Llama 3.1 unterwegs bin: Die Zahlen lügen nicht. Speed is King, wenn man im Flow bleiben will.

Stay secure, bleibt pragmatisch und lasst euch nicht von Marketing-Geraffel blenden!

Footnote: Dieser Inhalt wurde mit Hilfe von KI-Modellen generiert und anschließend durch einen Menschen (mich!) moderiert, korrigiert und in den typischen MrMarco-Stil übersetzt. KI als Tool, Mensch als Pilot.

Transparency Note: Einige Inhalte, Code-Snippets und Beschreibungen in diesem Post wurden mittels KI (LLMs / Vibecoding) erstellt oder unterstützt, jedoch von mir persönlich kuratiert, überarbeitet und geprüft.