GEO Part 3: Crawl Budgets, Timeout-Limits und warum Varnish/Vinyl-Cache über Ihr Ranking entscheidet
n der klassischen SEO-Welt der 2010er Jahre verzieh Google noch Ladezeiten von 3 bis 4 Sekunden. Das ist im Zeitalter der LLMs und Answer-Engines (Perplexity, ChatGPT Search) endgültig vorbei.
KIs trainieren und indexieren das Web in Echtzeit. Ihre Crawler (wie der OAI-SearchBot oder Google-Extended) operieren unter massiven zeitlichen Beschränkungen – dem sogenannten "Crawl Budget".
Das harte TTFB-Limit
Die kritischste Metrik in der Server-Kommunikation ist die Time-To-First-Byte (TTFB). Das ist exakt die Zeit (in Millisekunden), die der Server benötigt, um das erste Datenpaket der Webseite an den anfragenden Bot zu senden.
Wenn eine Plattform bei jedem Aufruf erst 25 Datenbank-Abfragen ausführen und komplexe Templates rendern muss, liegt das TTFB oft bei über 1,5 Sekunden. Fortgeschrittene Crawler stufen die Seite dann schlichtweg als "zu ressourcenintensiv" ein, brechen den Request ab (Timeout) und ziehen zur Konkurrenz weiter.
Unsere Edge-Caching Lösung: Von Varnish zu Vinyl Cache
Um niedrige TTFB-Zeiten zu garantieren, nutzen wir traditionell Edge-Caching. Bis vor kurzem war die Software "Varnish Cache" hierfür der absolute Industriestandard.
Im September 2025 kam es jedoch zum Eklat: Nach einem eskalierten Streit um Markenrechte zwischen der Open-Source-Community und der kommerziellen "Varnish Software"-Firma hat sich das FOSS-Projekt abgespalten. Aus Varnish wurde Vinyl Cache.
Als Agentur für Industrial Grade Web Development ist für uns absolute Unabhängigkeit (Kein Vendor-Lock-in) entscheidend. Wir betreiben unsere TYPO3-Cluster daher ab sofort standardmäßig mit dem originalen Open-Source-Fork Vinyl Cache (Version 8.0+).
Vinyl Cache liegt als Reverse Proxy direkt vor unserem Nginx-Webserver. Wenn der KI-Crawler eine Seite anfragt, liefert Vinyl Cache die fertig gerenderte HTML-Datei direkt aus dem schnellen Arbeitsspeicher (RAM) aus – ohne dass PHP, TYPO3 oder die MySQL-Datenbank überhaupt aufwachen müssen.
Das messbare Ergebnis
Für die Crawler bedeutet unsere Infrastruktur: "Diese Quelle ist hochverfügbar, liefert Antworten in Millisekunden und kostet mein Crawl-Budget kaum Ressourcen." Das Vertrauen in die Domain steigt, tiefe Unterseiten werden viel häufiger re-indexiert und die Wahrscheinlichkeit, als verlässliche Quelle in einer KI-Antwort zitiert zu werden, maximiert sich.
