Kreativität in Nodes: Warum Bildgeneratoren keine LLMs sind

Tja... da sind wir wieder. Wer dachte, nach dem ganzen LLM-Hype könnten wir uns entspannt zurücklehnen, hat sich geschnitten. Die nächste Welle rollt längst. Und dieses Mal geht es um Pixel...

Letztens im Slack-Channel wollte mir doch tatsächlich jemand erklären, dass Midjourney und DALL-E im Grunde "genauso funktionieren wie ChatGPT, nur halt für Bilder".

HUST

Da zuckt es mir direkt in den Fingern. Nein. Tun sie nicht. Bildgeneratoren sind keine LLMs. Sie plappern nicht, sie würfeln nicht mit Wörtern, sie rechnen mit ganz anderen Tensoren im latenten Raum. Wer den Unterschied nicht checkt, wundert sich, warum die KI bei komplexen Bildkompositionen nur absoluten Unfug ausspuckt.

Weil mir das Thema keine Ruhe gelassen hat (und weil man der Teppichetage mal wieder erklären muss, warum man für professionelle Grafiken mehr braucht als einen 20-Dollar-Account bei OpenAI), habe ich eine neue Präsentation zusammengeklöppelt.

Willkommen bei Kreativität in Nodes: Bild- und Videogenerierung mit ComfyUI.

Die Präsentation: Kreativität in Nodes

→ Vollbild-Modus öffnen

⚙️ Warum Text-KIs keine Bilder malen

Ein Sprachmodell (LLM) liest und schreibt Wörter (tschuldigung, Token). Es rät sequenziell das wahrscheinlichste nächste Wort. Das Ding hat aber null Gespür für räumliche 2D-Koordinaten oder wie Licht auf einer Kaffeetasse bricht.

Bildgeneratoren (Diffusionsmodelle) dagegen arbeiten rückwärts: Sie lernen im Training nicht, wie man zeichnet, sondern wie man mathematisches Rauschen (Noise) entfernt.

Wir starten bei der Inferenz mit purem, zufälligem Bildrauschen. Die KI zieht Schritt für Schritt das Rauschen ab, bis ein scharfes Bild übrig bleibt. Das Sprachmodell (meist CLIP oder T5) dient dabei nur als blinder Übersetzer, der den Prompt in mathematische Richtungsvektoren umwandelt, um die Rauschminderung zu lenken. Ohne vorgeschaltetes LLM? Blinder Flug im Datensturm.

🛠️ Das ComfyUI-Prinzip: Kabel statt Buttons

Wer Midjourney nutzt, spielt im Grunde Lotto. Du wirfst einen Prompt ein, klickst auf "Generate" und hoffst das Beste. Beim nächsten Klick sieht der Charakter komplett anders aus. Für Memes ganz nett, für professionelles Arbeiten (Hallo Comic-Projekte!) ein absoluter Epic Fail.

Genau hier kommt ComfyUI ins Spiel.

ComfyUI ist ein Node-basiertes Interface. Visuelle Programmierung vom Feinsten, Baby! Jedes Teil der Inferenz-Maschine ist eine Box (Node): Checkpoint-Loader, Prompt-Encoder, KSampler, VAE-Decoder. Du ziehst Kabel von Box A zu Box B.

Klingt anfangs verdammt kompliziert? Ist es auch. Aber es gibt dir die absolute Macht.

Der größte Vorteil: Vollständige Reproduzierbarkeit.
Wenn du den Seed (den Startwert des Zufallsgenerators) festnagelst, kannst du einen Workflow bauen, der immer und immer wieder exakt dieselbe Logik abspielt. Tausche das Gesicht, behalte die Kleidung, richte die Pose per ControlNet aus und jage das Ganze am Ende durch einen Hi-Res Fix für gestochen scharfe 4K-Details. Das ist kein Lotto mehr, das ist eine reproduzierbare Grafik-Fabrik.

💀 Die dunkle Seite: Risiken & Safeguards

Weil wir hier beim Security-Geraffel sind, müssen wir natürlich auch über die Schmerzen reden.

• Deepfakes & Phishing 2.0: Mit LoRAs (winzigen Tuning-Dateien für Stile oder Gesichter) und ControlNet baut dir heute jeder Teenager im Keller ein täuschend echtes Foto von dir in einer kompromittierenden Situation. CEO-Fraud auf einem völlig neuen Level. Das ist kein Zukunfts-Szenario, der SNAFU ist längst da.
• Copyright-Murks: Worauf wurden die Modelle trainiert? Richtig, auf Milliarden Bildern aus dem Netz, meistens ohne Einwilligung der Künstler. Wer gewerblich Bilder rendert, steht mit einem Bein im Abmahn-Sumpf, wenn die KI zu nah am Original eines geschützten Künstlers klebt.
• Keine Filter: Während DALL-E 3 sich wie eine Nanny verhält und bei jedem zweiten Begriff rot anläuft (Zensur-Tax lässt grüßen), haben lokale Modelle wie SDXL oder Flux in ihren "Uncensored"-Finetunes keinerlei Sperren. Großartig für die kreative Freiheit – ein offenes Tor für maximalen Missbrauch im Social Engineering. Die Verantwortung liegt zu 100% bei dem, der die Bude lokal hostet.

Fazit

Bildgenerierung mit ComfyUI hat nichts mit dem typischen "KI-Chatten" zu tun. Es ist visuelles Programmieren mit Tensoren. Wer die Mechanik dahinter – von VAE über Latents bis hin zu ControlNets – versteht, hat ein mächtiges Werkzeug in der Hand. Alle anderen spielen weiter Midjourney-Lotto. ;-)

Zieht euch die Slides rein, drückt F11 für Vollbild und probiert es am besten selbst lokal aus. Aber vergesst eure Grafikkarte nicht... unter 16GB VRAM macht Flux aktuell keinen Spaß.

Stay secure und behaltet die Kontrolle über eure Daten!

Cheers,
MrMarco ;)

Transparency Note: Dieser Post wurde mit Unterstützung von Antigravity erstellt. Der Sarkasmus, die Nerd-Referenzen und die generelle Begeisterung für Kabel und Boxen in ComfyUI sind aber 100% original Marco. Alles andere wäre ja AI-Slop... und den wollen wir hier nicht. ;-)