Un milliard d'opérations dans la base de données en 0,3 seconde. Ne comparez pas OLTP avec OLAP, mais QuestDB avec PostgreSQL

Ce qui affecte le choix de la base de données

• traitement des transactions en temps réel ou traitement analytique en ligne
  
• évolutif verticalement ou horizontalement
• dans le cas d'une base distribuée - cohérence des données / disponibilité / résistance de séparation (théorème CAP)
• un schéma de données spécifique et des restrictions dans la base de données ou le stockage qui ne nécessitent pas de schéma de données
  
• modèle de données - valeur-clé, hiérarchique, graphique, document ou relationnel
• une logique de traitement au plus proche des données ou de tous les traitements dans l'application
• travailler principalement en RAM ou avec un sous-système de disque
• solution universelle ou spécialisée
• nous utilisons l'expertise existante sur une base de données qui n'est pas particulièrement adaptée aux exigences du projet ou nous en développons une nouvelle dans une formation appropriée mais pas familière, «sang et sueur» (il en va de même non seulement pour le développement, mais aussi pour l'exploitation)
  
• intégré ou dans un autre processus / réseau
• hipster ou rétrograde

• Langage de requête «étranger»
• la seule API native pour travailler avec la base de données, ce qui compliquera la transition vers d'autres bases de données (temps, effort d'équipe et budget du projet ont été dépensés)
• indisponibilité de pilotes pour d'autres plates-formes / langues / systèmes d'exploitation
• manque de codes sources, de descriptions du format des données sur le disque (ou interdiction des licences de reverse engineering, notamment Oracle avec le buggy Coherence)
• croissance des coûts de licence d'année en année
• propre écosystème et difficulté à trouver des spécialistes
• , ,

QuestDB

• Une tentative de tirer le meilleur parti du matériel pour effectuer des requêtes analytiques - vectorisation des fonctions d'agrégation, travailler avec des données via des fichiers mappés en mémoire
• SQL comme langage des requêtes DML et des opérations DDL pour gérer la structure de la base de données
• prise en charge des tables de jointure spécifiques aux séries chronologiques DB
• prise en charge des fonctions de fenêtre et d'agrégation dans SQL
• la possibilité d'incorporer une base de données dans une application sur la JVM
• JVM, ServiceLoader
• Influx DB line protocol (ILP) UDP Telegraf. «What makes QuestDB faster than InfluxDB»
• PostgreSql 11 PostgreSQL: JDBC, ODBC psql
  
• web - REST endpoint , SQL json
  
• ,
  
• zero-GC API, .
  
• ( )
  
• 64 Windows, Linux, OSX, ARM Linux FreeBSD
  
• , open source,

Opérations SIMD

Exécution de l'image de la base de données Docker

docker pull questdb/questdb

docker run --rm -it -p 9000:9000 -p 8812:8812 questdb/questdb

Accès jdbc

import org.junit.jupiter.api.Test;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

import static org.assertj.core.api.Assertions.*;

public class QuestDbDriverTest {

    @Test
    void containerIsUpTestByJdbcInvocation() throws Exception {
        try (Connection connection = DriverManager.getConnection("jdbc:tc:questdb:///?user=admin&password=quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

import io.questdb.ServerMain;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.Statement;

public class QuestDbJdbcTest {
    @Test
    void embeddedServerStartTest(@TempDir Path tempDir) throws Exception{
        ServerMain.main(new String[]{"-d", tempDir.toString()});
        try (DriverManager.getConnection("jdbc:postgresql://localhost:8812/", "admin", "quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

Intégration dans une application Java

import io.questdb.cairo.CairoEngine;
import io.questdb.cairo.DefaultCairoConfiguration;
import io.questdb.griffin.CompiledQuery;
import io.questdb.griffin.SqlCompiler;
import io.questdb.griffin.SqlExecutionContextImpl;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;

public class TruncateExecuteTest {
    @Test
    void truncate(@TempDir Path tempDir) throws Exception{
        SqlExecutionContextImpl executionContext = new SqlExecutionContextImpl();
        DefaultCairoConfiguration configuration = new DefaultCairoConfiguration(tempDir.toAbsolutePath().toString());
        try (CairoEngine engine = new CairoEngine(configuration)) {
            try (SqlCompiler compiler = new SqlCompiler(engine)) {
                CompiledQuery createTable = compiler.compile("create table tr_table(id long,name string)", executionContext);
                compiler.compile("truncate table tr_table", executionContext);
            }
        }
    }
}

Console Web

Avez-vous besoin d'une autre base de données?