In den vergangenen 14 Tagen gab es insgesamt 368.738.569 Anfragen von 1.225.731 Besucher*innen. Die Menge der übertragenen Daten beträgt 1,65 TiB.
Die meisten Anfragen kamen am 1. April: 56.172.621, am zweiten April dann die zweitmeisten (zum Zeitpunkt der Logauswertung): 54.946.508.
Die Daten vom 3. April sind unvollständig, da die Auswertung gestern Abend gestartet wurde.
Der Ausfall am 2. April lag nicht einfach nur an der großen Menge der Zugriffe, sondern auch an einem Fehler meinerseits: der Cache war enorm angewachsen, die Inodes im Dateisystem waren nahezu alle belegt, also habe ich den Cache bereinigt, allerdings zu aggressiv.
Durch die fortwährenden Anfragen stieg die Systemlast immer weiter an, irgendwann gab es wohl keine Dateideskriptoren mehr und die Software hat sich irgendwie in einen Deadlock begeben.
Als kurzfristige Lösung wurden die Tiles vorberechnet und in einem Dateisystem mit ausreichender Menge an Inodes abgelegt und werden direkt von Nginx ausgeliefert.
Langfristig werden die Tiles wahrscheinlich in ein PMTiles Archiv wandern.
Ich habe gelernt, dass so ziemlich alles irgendwie zu wenig sein kann und dass Nginx extrem schnell ist.
Bei der Auswertung der Logs fällt auf, dass einige Besucher*innen überaus ungewöhnliches Verhalten an den Tag legten. Die meisten Aufrufe (1.758.521 mit 6,2 Gigabyte Traffic) kamen aus dem Netzwerk des Landesbetrieb IT.Niedersachsen.
Nachfolgend die Top 6 der ISPs mit ungewöhnlicher Häufung an Zugriffen:
Landesbetrieb IT.Niedersachsen
Landesbetrieb Daten und Information Rheinland-Pfalz
Bundesministerium des Innern und Fuer Heimat (Staatsbetrieb Saechsische Informatik Dienste)
ITZBund
Bundesministerium des Innern und Fuer Heimat
Ministerium der Finanzen Sachsen-Anhalt
--
Es liegen noch sehr viele unbeantwortete Emails herum, da gab es noch keine Zeit, auf alles zu antworten.