Los errores notorios y cómo evitarlos en el ejemplo de ClickHouse

Errores notorios

Errores de configuración

Los errores más épicos son aquellos que conducen a la eliminación accidental de datos.

Errores en el código

Escribimos código en C ++. Esto significa que ya tenemos problemas.

• "La suma de verificación no coincide, los datos dañados" - la suma de verificación no coincide, los datos están rotos - ¡da miedo!
• "LRUCache se volvió inconsistente. Debe haber un error en él ”: el caché se volvió inconsistente, probablemente un error en él.

class ArenaWithFreeLists
{
    Block * free_lists[16] {};
    static auto sizeToPreviousPowerOfTwo(size_t size)
    {
        return _bit_scan_reverse(size - 1);
    }

    char * alloc(size_t size)
    {
        const auto list_idx = findFreeListIndex(size);
        free_lists[list_idx] ->...
    }
}

Hay una regla no escrita: "Si una función tiene un guión bajo al principio, lea la documentación una vez, y si hay dos, léala dos veces".

bsrl %edi, %eax
retq

• Usamos basura como índice en la matriz FreeLists. En lugar de una matriz, vamos a alguna dirección distante y obtenemos acceso a la memoria.
• Somos afortunados, casi todas las direcciones cercanas están llenas de datos de la caché; la estropeamos. El caché contiene compensaciones de archivos.
• Leemos archivos en el desplazamiento incorrecto. Del desplazamiento incorrecto, obtenemos la suma del cheque. Pero no hay una suma de verificación, sino algo más: esta suma de verificación no coincidirá con los siguientes datos.
• Recibimos el error "La suma de comprobación no coincide, los datos dañados".

Bichos en hierro

Conclusión: siempre verifique y sume los datos usted mismo.

Más errores! ..

Hipótesis y patrones

SELECT max(ReceiveTimestamp) FROM tracking_events_all 
WHERE APIKey = 1111 AND (OperatingSystem IN ('android', 'ios'))

• Los grupos de servidores problemáticos son los mismos que en febrero.
• Los servidores problemáticos se encuentran en ciertas partes del centro de datos. En DC Vladimir hay las llamadas líneas, sus diferentes partes: VLA-02, VLA-03, VLA-04. Los errores están claramente agrupados: en algunas colas es bueno (VLA-02), en otros problemas (VLA-03, VLA-04).

Depuración de mecanografía

strace -f -e trace=network -s 1000 -x \
clickhouse-local --query "
    SELECT uniqIf(DeviceIDHash, SessionType = 0)
    FROM remote('127.0.0.{2,3}', mobile.generic_events)
    WHERE StartDate = '2019-02-07' AND APIKey IN (616988,711663,507671,835591,262098,159700,635121,509222)
        AND EventType = 1 WITH TOTALS" --config config.xml

Problema de hardware

• El problema surgió y desapareció en ciertas fechas.
• Servidores afectados se agrupan por sus nombres: mtxxxlog01-{39..44 57..58 64 68..71 73..74 76}-3.
• Los grupos de servidores problemáticos son los mismos que en febrero.
• Los servidores con problemas solo se encuentran en ciertas colas del centro de datos.

Nada te salvará, comprueba tú mismo. No esperes que alguien haga esto por ti.

• Para bloques de datos comprimidos al escribir en un archivo, en la red.
• La verificación total es la suma de datos comprimidos para la verificación de conciliación.
• La verificación total es la suma de datos sin comprimir para la verificación de conciliación.

No tenga miedo de contar los montos de los cheques, no disminuyen la velocidad.

Mensaje de error mejorado

"Delirio" en los datos

Pista de pista

Errores de todo el Internet

HighLoad++ ( 133 ), - , , ++ PHP Russia 2020 Online.

Badoo, PHP Russia 2020 Online . PHP Russia 2020 Online 13 , .

— , .