Um bilhão de operações no banco de dados em 0,3 segundos. Não compare o OLTP com o OLAP, mas o QuestDB com o PostgreSQL

O que afeta a escolha do banco de dados

• processamento de transações em tempo real ou processamento analítico online
  
• escalável vertical ou horizontalmente
• no caso de uma base distribuída - consistência / disponibilidade / resistência à separação dos dados (teorema da PAC)
• um esquema de dados específico e restrições no banco de dados ou armazenamento que não requer um esquema de dados
  
• modelo de dados - valor-chave, hierárquico, gráfico, documento ou relacional
• lógica de processamento o mais próximo possível dos dados ou todo o processamento no aplicativo
• funciona principalmente em RAM ou com um subsistema de disco
• solução universal ou especializada
• usamos a experiência existente em um banco de dados que não é particularmente adequado para os requisitos do projeto ou desenvolvemos um novo em treinamento adequado, mas não familiar, “sangue e suor” (o mesmo se aplica não apenas ao desenvolvimento, mas também à operação)
  
• embutido ou em outro processo / rede
• hipster ou retrógrado

• Linguagem de consulta "alienígena"
• a única API nativa para trabalhar com o banco de dados, o que complicará a transição para outros bancos de dados (tempo, esforço da equipe e orçamento do projeto)
• indisponibilidade de drivers para outras plataformas / idiomas / sistemas operacionais
• falta de códigos-fonte, descrições do formato dos dados no disco (ou proibição de licenças de engenharia reversa, especialmente Oracle com o bhery Coherence)
• crescimento do custo da licença ano a ano
• ecossistema próprio e dificuldade em encontrar especialistas
• , ,

QuestDB

• Uma tentativa de tirar o máximo proveito do hardware para realizar consultas analíticas - vetorização de funções de agregação, trabalhando com dados através de arquivos mapeados na memória
• SQL como o idioma das consultas DML e operações DDL para gerenciar a estrutura do banco de dados
• suporte para tabelas de junção específicas ao banco de dados de séries temporais
• suporte para funções de janela e agregação em SQL
• a capacidade de incorporar um banco de dados em um aplicativo na JVM
• JVM, ServiceLoader
• Influx DB line protocol (ILP) UDP Telegraf. «What makes QuestDB faster than InfluxDB»
• PostgreSql 11 PostgreSQL: JDBC, ODBC psql
  
• web - REST endpoint , SQL json
  
• ,
  
• zero-GC API, .
  
• ( )
  
• 64 Windows, Linux, OSX, ARM Linux FreeBSD
  
• , open source,

Operações SIMD

Executando a imagem do banco de dados do Docker

docker pull questdb/questdb

docker run --rm -it -p 9000:9000 -p 8812:8812 questdb/questdb

Acesso Jdbc

import org.junit.jupiter.api.Test;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

import static org.assertj.core.api.Assertions.*;

public class QuestDbDriverTest {

    @Test
    void containerIsUpTestByJdbcInvocation() throws Exception {
        try (Connection connection = DriverManager.getConnection("jdbc:tc:questdb:///?user=admin&password=quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

import io.questdb.ServerMain;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.Statement;

public class QuestDbJdbcTest {
    @Test
    void embeddedServerStartTest(@TempDir Path tempDir) throws Exception{
        ServerMain.main(new String[]{"-d", tempDir.toString()});
        try (DriverManager.getConnection("jdbc:postgresql://localhost:8812/", "admin", "quest")){
            try (Statement statement = connection.createStatement()){
                try (ResultSet resultSet = statement.executeQuery("select 42 from long_sequence(1)")){
                    resultSet.next();
                    assertThat(resultSet.getInt(1)).isEqualTo(42);
                }
            }
        }
    }
}

Incorporando no aplicativo java

import io.questdb.cairo.CairoEngine;
import io.questdb.cairo.DefaultCairoConfiguration;
import io.questdb.griffin.CompiledQuery;
import io.questdb.griffin.SqlCompiler;
import io.questdb.griffin.SqlExecutionContextImpl;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.io.TempDir;

import java.nio.file.Path;

public class TruncateExecuteTest {
    @Test
    void truncate(@TempDir Path tempDir) throws Exception{
        SqlExecutionContextImpl executionContext = new SqlExecutionContextImpl();
        DefaultCairoConfiguration configuration = new DefaultCairoConfiguration(tempDir.toAbsolutePath().toString());
        try (CairoEngine engine = new CairoEngine(configuration)) {
            try (SqlCompiler compiler = new SqlCompiler(engine)) {
                CompiledQuery createTable = compiler.compile("create table tr_table(id long,name string)", executionContext);
                compiler.compile("truncate table tr_table", executionContext);
            }
        }
    }
}

Console da Web

Você precisa de outro banco de dados?