Les bugs notoires et comment les éviter sur l'exemple de ClickHouse

Bogues notoires

Bogues de configuration

Les bugs les plus épiques sont ceux qui conduisent à une suppression de données par inadvertance.

Bugs dans le code

Nous écrivons du code en C ++. Cela signifie que nous avons déjà des problèmes.

• «Somme de contrôle ne correspond pas, données corrompues» - la somme de contrôle ne correspond pas, les données sont cassées - effrayant!
• "LRUCache est devenu incohérent. Il doit y avoir un bogue »- le cache est devenu incohérent, probablement un bogue.

class ArenaWithFreeLists
{
    Block * free_lists[16] {};
    static auto sizeToPreviousPowerOfTwo(size_t size)
    {
        return _bit_scan_reverse(size - 1);
    }

    char * alloc(size_t size)
    {
        const auto list_idx = findFreeListIndex(size);
        free_lists[list_idx] ->...
    }
}

Il existe une règle non écrite: "Si une fonction a un trait de soulignement au début, lisez la documentation une fois, et si deux, lisez-la deux fois."

bsrl %edi, %eax
retq

• Nous utilisons les ordures comme index dans le tableau FreeLists. Au lieu d'un tableau, nous allons à une adresse distante et obtenons un accès à la mémoire.
• Nous avons de la chance, presque toutes les adresses à proximité sont remplies de données du cache - nous gâchons le cache. Le cache contient des décalages de fichiers.
• Nous lisons les fichiers avec le mauvais décalage. Du mauvais décalage, nous obtenons la somme de contrôle. Mais il n'y a pas de somme de contrôle, mais autre chose - cette somme de contrôle ne coïncidera pas avec les données suivantes.
• Nous obtenons l'erreur «La somme de contrôle ne correspond pas, les données sont corrompues».

Bugs en fer

Conclusion: vérifiez toujours les données vous-même.

Plus de bugs! ..

Hypothèses et schémas

SELECT max(ReceiveTimestamp) FROM tracking_events_all 
WHERE APIKey = 1111 AND (OperatingSystem IN ('android', 'ios'))

• Les groupes de serveurs problématiques sont les mêmes qu'en février.
• Les serveurs problématiques sont situés dans certaines parties du centre de données. À DC Vladimir, il y a ce qu'on appelle des lignes - ses différentes parties: VLA-02, VLA-03, VLA-04. Les erreurs sont clairement regroupées: dans certaines files d'attente, c'est bon (VLA-02), dans d'autres problèmes (VLA-03, VLA-04).

Taper le débogage

strace -f -e trace=network -s 1000 -x \
clickhouse-local --query "
    SELECT uniqIf(DeviceIDHash, SessionType = 0)
    FROM remote('127.0.0.{2,3}', mobile.generic_events)
    WHERE StartDate = '2019-02-07' AND APIKey IN (616988,711663,507671,835591,262098,159700,635121,509222)
        AND EventType = 1 WITH TOTALS" --config config.xml

Problème matériel

• Le problème est apparu et a disparu à certaines dates.
• Serveurs concernés sont regroupés par leur nom: mtxxxlog01-{39..44 57..58 64 68..71 73..74 76}-3.
• Les groupes de serveurs problématiques sont les mêmes qu'en février.
• Les serveurs problématiques se trouvent uniquement dans certaines files d'attente du centre de données.

Rien ne vous sauvera - vérifiez vous-même. Ne vous attendez pas à ce que quelqu'un fasse cela pour vous.

• Pour les blocs de données compressés lors de l'écriture dans un fichier, sur le réseau.
• La vérification totale est la somme des données compressées pour la vérification du rapprochement.
• Le contrôle total est la somme des données non compressées pour la vérification du rapprochement.

N'ayez pas peur de compter les montants des chèques, ils ne ralentissent pas.

Message d'erreur amélioré

"Delirium" dans les données

Chemin de l'indice

Bogues de partout sur Internet

HighLoad++ ( 133 ), - , , ++ PHP Russia 2020 Online.

Badoo, PHP Russia 2020 Online . PHP Russia 2020 Online 13 , .

— , .