Eine Milliarde Operationen in der Datenbank in 0,3 Sekunden. Vergleichen Sie OLTP nicht mit OLAP, sondern QuestDB mit PostgreSQL

Was beeinflusst die Auswahl der Datenbank?

• Transaktionsverarbeitung in Echtzeit oder Online-Analyseverarbeitung
  
• vertikal oder horizontal skalierbar
• im Fall einer verteilten Basis - Datenkonsistenz / Verfügbarkeit / Trennungswiderstand (CAP-Theorem)
• ein bestimmtes Datenschema und Einschränkungen in der Datenbank oder im Speicher, für die kein Datenschema erforderlich ist
  
• Datenmodell - Schlüsselwert, hierarchisch, grafisch, dokumentarisch oder relational
• Verarbeitungslogik so nah wie möglich an Daten oder die gesamte Verarbeitung in der Anwendung
• arbeiten hauptsächlich im RAM oder mit einem Festplattensubsystem
• universelle Lösung oder spezialisiert
• Wir nutzen das vorhandene Fachwissen in einer Datenbank, die für die Anforderungen des Projekts nicht besonders geeignet ist, oder entwickeln eine neue in geeigneter, aber nicht vertrauter Ausbildung, „Blut und Schweiß“ (dies gilt nicht nur für die Entwicklung, sondern auch für den Betrieb).
  
• eingebaut oder in einem anderen Prozess / Netzwerk
• Hipster oder retrograd

• Abfragesprache "Alien"
• Die einzige native API für die Arbeit mit der Datenbank, die den Übergang zu anderen Datenbanken erschwert (Zeit, Teamaufwand und Projektbudget wurden aufgewendet).
• Nichtverfügbarkeit von Treibern für andere Plattformen / Sprachen / Betriebssysteme
• Fehlen von Quellcodes, Beschreibungen des Datenformats auf der Festplatte (oder Verbot von Reverse Engineering-Lizenzen, insbesondere Oracle mit dem Buggy Coherence)
• Lizenzkostenwachstum von Jahr zu Jahr
• eigenes Ökosystem und Schwierigkeiten, Spezialisten zu finden
• , ,

QuestDB

• Ein Versuch, die Hardware für analytische Abfragen optimal zu nutzen - Vektorisierung von Aggregationsfunktionen, Arbeiten mit Daten über Speicherzuordnungsdateien
• SQL als Sprache für DML-Abfragen und DDL-Operationen zur Verwaltung der Datenbankstruktur
• Unterstützung für Join-Tabellen, die für die Zeitreihen-DB spezifisch sind
• Unterstützung für Fenster- und Aggregationsfunktionen in SQL
• die Möglichkeit, eine Datenbank in eine Anwendung in der JVM einzubetten
• JVM, ServiceLoader
• Influx DB line protocol (ILP) UDP Telegraf. «What makes QuestDB faster than InfluxDB»
• PostgreSql 11 PostgreSQL: JDBC, ODBC psql
  
• web - REST endpoint , SQL json
  
• ,
  
• zero-GC API, .
  
• ( )
  
• 64 Windows, Linux, OSX, ARM Linux FreeBSD
  
• , open source,

SIMD-Operationen

Docker-Datenbank-Image ausführen

docker pull questdb/questdb

docker run --rm -it -p 9000:9000 -p 8812:8812 questdb/questdb

JDBC-Zugriff

import org.junit.jupiter.api.Test;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

import static org.assertj.core.api.Assertions.*;

public class QuestDbDriverTest {

    @Test
    void containerIsUpTestByJdbcInvocation() throws Exception {
        try (Connection connection = DriverManager.getConnection("jdbc:tc:questdb:///?user=admin&password=quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

import io.questdb.ServerMain;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.Statement;

public class QuestDbJdbcTest {
    @Test
    void embeddedServerStartTest(@TempDir Path tempDir) throws Exception{
        ServerMain.main(new String[]{"-d", tempDir.toString()});
        try (DriverManager.getConnection("jdbc:postgresql://localhost:8812/", "admin", "quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

Einbetten in Java-Anwendung

import io.questdb.cairo.CairoEngine;
import io.questdb.cairo.DefaultCairoConfiguration;
import io.questdb.griffin.CompiledQuery;
import io.questdb.griffin.SqlCompiler;
import io.questdb.griffin.SqlExecutionContextImpl;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;

public class TruncateExecuteTest {
    @Test
    void truncate(@TempDir Path tempDir) throws Exception{
        SqlExecutionContextImpl executionContext = new SqlExecutionContextImpl();
        DefaultCairoConfiguration configuration = new DefaultCairoConfiguration(tempDir.toAbsolutePath().toString());
        try (CairoEngine engine = new CairoEngine(configuration)) {
            try (SqlCompiler compiler = new SqlCompiler(engine)) {
                CompiledQuery createTable = compiler.compile("create table tr_table(id long,name string)", executionContext);
                compiler.compile("truncate table tr_table", executionContext);
            }
        }
    }
}

Webkonsole

Benötigen Sie eine andere Datenbank?