Die berüchtigten Fehler und wie man sie am Beispiel von ClickHouse vermeidet

Notorische Fehler

Konfigurationsfehler

Die epischsten Fehler sind diejenigen, die zum versehentlichen Löschen von Daten führen.

Fehler im Code

Wir schreiben Code in C ++. Dies bedeutet, dass wir bereits Probleme haben.

• "Prüfsumme stimmt nicht überein, beschädigte Daten" - die Prüfsumme stimmt nicht überein, die Daten sind kaputt - beängstigend!
• "LRUCache wurde inkonsistent. Es muss ein Fehler darin sein “- der Cache wurde inkonsistent, höchstwahrscheinlich ein Fehler darin.

class ArenaWithFreeLists
{
    Block * free_lists[16] {};
    static auto sizeToPreviousPowerOfTwo(size_t size)
    {
        return _bit_scan_reverse(size - 1);
    }

    char * alloc(size_t size)
    {
        const auto list_idx = findFreeListIndex(size);
        free_lists[list_idx] ->...
    }
}

Es gibt eine ungeschriebene Regel: "Wenn eine Funktion am Anfang einen Unterstrich hat, lesen Sie die Dokumentation einmal und wenn zwei, lesen Sie sie zweimal."

bsrl %edi, %eax
retq

• Wir verwenden Garbage als Index im FreeLists-Array. Anstelle eines Arrays gehen wir zu einer entfernten Adresse und erhalten Speicherzugriff.
• Wir haben Glück, dass fast alle Adressen in der Nähe mit Daten aus dem Cache gefüllt sind - wir verderben den Cache. Der Cache enthält Datei-Offsets.
• Wir lesen Dateien mit dem falschen Versatz. Aus dem falschen Offset erhalten wir die Prüfsumme. Es gibt jedoch keine Prüfsumme, sondern etwas anderes - diese Prüfsumme stimmt nicht mit den folgenden Daten überein.
• Wir erhalten den Fehler "Prüfsumme stimmt nicht überein, beschädigte Daten".

Käfer in Eisen

Fazit: Überprüfen Sie die Daten immer selbst.

Weitere Bugs! ..

Hypothesen und Muster

SELECT max(ReceiveTimestamp) FROM tracking_events_all 
WHERE APIKey = 1111 AND (OperatingSystem IN ('android', 'ios'))

• Die Gruppen der Problemserver sind dieselben wie im Februar.
• Problemserver befinden sich in bestimmten Teilen des Rechenzentrums. In DC Vladimir gibt es sogenannte Linien - seine verschiedenen Teile: VLA-02, VLA-03, VLA-04. Fehler sind klar gruppiert: In einigen Warteschlangen ist es gut (VLA-02), in anderen Problemen (VLA-03, VLA-04).

Debugging eingeben

strace -f -e trace=network -s 1000 -x \
clickhouse-local --query "
    SELECT uniqIf(DeviceIDHash, SessionType = 0)
    FROM remote('127.0.0.{2,3}', mobile.generic_events)
    WHERE StartDate = '2019-02-07' AND APIKey IN (616988,711663,507671,835591,262098,159700,635121,509222)
        AND EventType = 1 WITH TOTALS" --config config.xml

Hardwareproblem

• Das Problem trat auf und verschwand an bestimmten Daten.
• Betroffene Server werden nach ihren Namen gruppiert : mtxxxlog01-{39..44 57..58 64 68..71 73..74 76}-3.
• Die Gruppen der Problemserver sind dieselben wie im Februar.
• Problemserver befinden sich nur in bestimmten Warteschlangen des Rechenzentrums.

Nichts wird Sie retten - überprüfen Sie selbst. Erwarten Sie nicht, dass jemand dies für Sie tut.

• Für komprimierte Datenblöcke beim Schreiben in eine Datei in das Netzwerk.
• Die Gesamtprüfung ist die Summe der komprimierten Daten für die Überprüfung der Abstimmung.
• Die Gesamtprüfung ist die Summe der nicht komprimierten Daten für die Überprüfung der Abstimmung.

Haben Sie keine Angst, die Scheckbeträge zu zählen, sie werden nicht langsamer.

Verbesserte Fehlermeldung

"Delirium" in den Daten

Hinweis Pfad

Bugs aus dem ganzen Internet

HighLoad++ ( 133 ), - , , ++ PHP Russia 2020 Online.

Badoo, PHP Russia 2020 Online . PHP Russia 2020 Online 13 , .

— , .