Mil millones de operaciones en la base de datos en 0.3 segundos. No compare OLTP con OLAP, pero QuestDB con PostgreSQL

Lo que afecta la elección de la base de datos.

• procesamiento de transacciones en tiempo real o procesamiento analítico en línea
  
• escalable vertical u horizontalmente
• en el caso de una base distribuida - consistencia de datos / disponibilidad / resistencia de separación (teorema CAP)
• Un esquema de datos específico y restricciones en la base de datos o almacenamiento que no requieren un esquema de datos
  
• modelo de datos: clave-valor, jerárquico, gráfico, documento o relacional
• lógica de procesamiento lo más cercana posible a los datos o todo el procesamiento en la aplicación
• trabajar principalmente en RAM o con un subsistema de disco
• solución universal o especializada
• Utilizamos la experiencia existente en una base de datos que no es particularmente adecuada para los requisitos del proyecto o desarrollamos una nueva en capacitación adecuada pero no familiar, "sangre y sudor" (lo mismo se aplica no solo al desarrollo, sino también a la operación)
  
• incorporado o en otro proceso / red
• inconformista o retrógrado

• Lenguaje de consulta "extranjero"
• la única API nativa para trabajar con la base de datos, lo que complicará la transición a otras bases de datos (se gastó tiempo, esfuerzo de equipo y presupuesto del proyecto)
• indisponibilidad de controladores para otras plataformas / idiomas / sistemas operativos
• falta de códigos fuente, descripciones del formato de datos en el disco (o prohibición de licencias de ingeniería inversa, especialmente Oracle con la coherencia con errores)
• crecimiento de costo de licencia año por año
• ecosistema propio y dificultad para encontrar especialistas
• , ,

QuestDB

• Un intento de aprovechar al máximo el hardware para realizar consultas analíticas: vectorización de funciones de agregación, trabajar con datos a través de archivos mapeados en memoria
• SQL como lenguaje de consultas DML y operaciones DDL para gestionar la estructura de la base de datos
• soporte para tablas de unión específicas para series temporales DB
• soporte para funciones de ventana y agregación en SQL
• la capacidad de incrustar una base de datos en una aplicación en la JVM
• JVM, ServiceLoader
• Influx DB line protocol (ILP) UDP Telegraf. «What makes QuestDB faster than InfluxDB»
• PostgreSql 11 PostgreSQL: JDBC, ODBC psql
  
• web - REST endpoint , SQL json
  
• ,
  
• zero-GC API, .
  
• ( )
  
• 64 Windows, Linux, OSX, ARM Linux FreeBSD
  
• , open source,

Operaciones SIMD

Ejecutando la imagen de la base de datos de Docker

docker pull questdb/questdb

docker run --rm -it -p 9000:9000 -p 8812:8812 questdb/questdb

Acceso jdbc

import org.junit.jupiter.api.Test;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

import static org.assertj.core.api.Assertions.*;

public class QuestDbDriverTest {

    @Test
    void containerIsUpTestByJdbcInvocation() throws Exception {
        try (Connection connection = DriverManager.getConnection("jdbc:tc:questdb:///?user=admin&password=quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

import io.questdb.ServerMain;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.Statement;

public class QuestDbJdbcTest {
    @Test
    void embeddedServerStartTest(@TempDir Path tempDir) throws Exception{
        ServerMain.main(new String[]{"-d", tempDir.toString()});
        try (DriverManager.getConnection("jdbc:postgresql://localhost:8812/", "admin", "quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

Incrustar en la aplicación Java

import io.questdb.cairo.CairoEngine;
import io.questdb.cairo.DefaultCairoConfiguration;
import io.questdb.griffin.CompiledQuery;
import io.questdb.griffin.SqlCompiler;
import io.questdb.griffin.SqlExecutionContextImpl;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;

public class TruncateExecuteTest {
    @Test
    void truncate(@TempDir Path tempDir) throws Exception{
        SqlExecutionContextImpl executionContext = new SqlExecutionContextImpl();
        DefaultCairoConfiguration configuration = new DefaultCairoConfiguration(tempDir.toAbsolutePath().toString());
        try (CairoEngine engine = new CairoEngine(configuration)) {
            try (SqlCompiler compiler = new SqlCompiler(engine)) {
                CompiledQuery createTable = compiler.compile("create table tr_table(id long,name string)", executionContext);
                compiler.compile("truncate table tr_table", executionContext);
            }
        }
    }
}

Consola web

¿Necesitas otra base de datos?