Get best of the week

Postgresso 20


A vida continua. Continuamos a familiarizá-lo com as notícias mais interessantes do PostgreSQL

principais notícias


Recurso Freeze A funcionalidade do
PostgreSQL versão 13 está congelada. Agora apenas melhorias e correções de bugs. A lista de novos, ao contrário de muitas expectativas, é bastante extensa. Leia o nosso artigo
Quanto de novo em The Devil's Dozen , onde há muitos exemplos. Mas também na seção dos artigos do Postgresso, há links para artigos dedicados a recursos individuais.

Lançamentos


Postgres Pro Enterprise 12.2.1

Esta versão combina as inovações do PostgreSQL 12 e os recursos do ramo Enterprise.
Extensão Multimaster : como em 11.xe em outras versões do Enterprise, é recomendável usá-lo em uma configuração 2 + 1 quando um dos nós de árbitros. Mais detalhes na documentação . E agora você pode verificar a consistência dos dados sobre os nós do cluster usando a função mtm.check_query().

No CFS, agora você pode escolher algoritmos de compactação. Zstd (padrão), zlib e pglz são suportados, mas outros algoritmos podem ser adicionados.

Outro recurso de choque do Enterprise é o mecanismo PTRACK, necessário para a operação eficiente de nosso aplicativo pg_probackup, - foi completamente redesenhado e recebeu uma nova API externa. Para que os backups já criados com o PTRACK no pg_probackup funcionem no Postgres Pro Enterprise 12.x, é necessário atualizar o pg_probackup para a versão 2.2.6 ou superior e configurar o PTRACK para copiar novamente.

Um patch importante para a desduplicação do índice em árvore B (por Anastasia Lubennikova, Postgres Professional) no PostgreSQL 13, mas sua funcionalidade já está no Enterprise 12.2.1. Além disso, a exclusão de duplicatas pode ser desativada para os índices criados usando o parâmetro de deduplicate_itemscomando CREATE INDEX. Isto está aqui .

Mais algumas inovações brevemente:


Left e o Postgres Pro 12.2.1 do padrão . Como as diferenças do PostgreSQL no Standard não são tão radicais quanto no Postgres Pro Enterprise, simplesmente nos referimos ao changelog .

pgAdmin 4 versão 4.20

Esta versão adiciona agrupamento, configuração do FTS, dicionário do FTS, analisador do FTS, modelo do FTS, domínio, restrições de domínio e tipos de diferenças de esquema .

Leia sobre o lançamento aqui e faça o download aqui .

WAL-G v0.2.15

Na nova versão do backup Yandex, você pode reduzir o atraso da réplica por comandos catchup-pushecatchup-fetchcriando um backup incremental a partir de um determinado LSN com uma réplica atrasada. Foi adicionado suporte à criptografia Libsodium, Repetindo para a AWS.

repmgr 5.1 O

backup do 2ndQuadrant foi enriquecido com melhorias significativas: agora o requisito de que o usuário repmgr seja um superusuário do banco de dados foi removido sempre que possível. Um usuário comum do banco de dados pode copiar seu banco de dados e um usuário com a função REPLICATION especificará as conexões e os slots (se necessário). Mas algumas operações ainda exigem uma opção -S | --superuser. Baixe aqui .

pgBackRest 2.25 As

principais notícias desta versão são a compactação LZ4. Adicionado opção útil: --dry-runpara o comandoexpire: você pode ver quais backups / arquivos serão excluídos com este comando sem excluir nada. Você pode limitar o tamanho do backup ao valor relatado no início da cópia, dependendo da reprodução do WAL se o arquivo aumentar.

check_pgbackrest 1.8

Uma nova versão do utilitário de monitoramento BackRest também foi lançada (é desenvolvida não pelo CrunchyData, como o próprio pgBackRest, mas pelo Dalibo). Uma opção apareceu --list-archives: imprima uma lista de todos os segmentos WAL arquivados.

pgmetrics v1.9

Há uma coleção de métricas com o AWS RDS e Aurora , uma coleção de definições de índices, tipos e número de back-end, verificações de versão e ambiente antes de chamar funções. E você pode definir o papel antes de começar a coletar métricas como opção --role. Solte no github .

pg_show_plans

A extensão, que Hans-Jürgen Schönig da Cybertec oferece para tentar, permite ver simultaneamente todos os planos instantâneos que estão ativos no momento - enquanto ainda estão sendo executados. Ele explica o trabalho deles em seu próprio blog e no site da empresa. E não apenas ele. O pg_show_plans já foi discutido às terças - feiras em Samokhvalov (consulte nossa seção Webinars ). A propósito, a extensão pg_query_state , disponível no Postgres Pro Standard / Enterprise, é uma alternativa interessante. Mas o PostgreSQL de baunilha terá que anexar um patch.

Joe 0.6.2 / 1/0 Nos

arrependemos: sobre a aparência desse utilitário com a interface do bot de bate-papoescrevemos duas linhas no passado e no ano anterior ao último Postgresso, apesar de merecer mais. Esse bot de DBA, como os desenvolvedores do Postgres.ai o chamam, é uma ferramenta para testar alterações no banco de dados sem pôr em risco a base industrial, mas sem copiar muito para o ambiente de teste (os bancos de dados em terabytes são copiados em segundos). Além disso, esse recurso de teste é compartilhado: uma dúzia de desenvolvedores podem trabalhar simultaneamente. Detalhes Anatoly Stansler disse em um relatório sobre o Highload ++, recomendamos que você procure.
Nas versões 0.6.2 e 0.6.1, apenas correções de bugs, mas coisas interessantes apareceram na 0.6.0: trabalhando com índices hipotéticos (com a extensão HypoPG) As equipes compostas começando com estão trabalhando com índices hipotéticos hypo. Por exemplo: hypo reset- mate todos os índices hipotéticos. A nova equipe plan fornece o plano sem atender à solicitação.

Pyrseas 0.9.1

Esta versão do utilitário de extensão para descrever o esquema de banco de dados em YAML / JSON, reconciliando esquemas de banco de dados com um determinado, difere das versões anteriores principalmente pelo suporte do PostgreSQL 12. Aqui está uma página no PGXN .

pgFormatter 4.3

Adicionadas duas opções, bugs corrigidos:

  • -r | --redshift para palavras-chave do AWS Redshift
  • -N | --numberingAdiciona um prefixo de visualização a cada linha /* Statement # n */;
  • formatação fixa dentro da frase com WITH;
  • correção de formatação de script ao trabalhar com psql;
  • Além disso, várias funções internas foram adicionadas à lista de funções do PostgreSQL.

pg_timeout 0.0.1

E mais uma extensão: com ele você pode definir o tempo limite de inatividade para a sessão, definindo-o em dois GUC:

  • pg_timeout.naptime: quantos segundos o processo em segundo plano dorme entre verificações de inação (10 segundos por padrão)
  • pg_timeout.idle_session_timeout: quantos segundos uma sessão pode permanecer inativa (60 segundos por padrão).

As notificações correspondentes aparecerão no log. O número da versão fala por si.

pg_logqueryid

E essa extensão inclui o registro de identificadores de solicitações pg_stat_statementsquando ele é incluído auto_explain.

Psycopg 2.8.5

Este conector Python agora suporta a plataforma AIX.

pg_timetable 2.0

Este programador (programador) são adicionados possibilidades de controle: Você pode marcar tarefas como @reboot, @every, ou @after.

pgBadger 11.2

No popular analisador de logs, Gilles Darold adicionou :

  • suporte e reconhecimento automático do formato de log do AWS Redshift;
  • suporte para o novo formato de log pgbouncer 1.11;
  • suporte de compactação zstd e lz4;
  • você pode executar o utilitário assim: pgbadger -I -O "/out-dir/data" --noreport /var/log/postgresql*.logou
  • como se segue: pgbadger -I -l "/out-dir/data/LAST_PARSED" -H "/out-dir/reports" /out-dir/data/2020/02/19/*.bin.


PAF v2.3.0

A versão desta solução tolerante a falhas muito popular da ClusterLabs, baseada no Pacemaker + Corosync , se destaca principalmente pelo suporte do PostgreSQL 12. Ele não funcionará com versões anteriores ao Pacemaker 1.1.13 + corosync 2.x.

pgagroal 0.5.1 A
nova versão do extrator pode ser baixada aqui: sources , RPM .

As nuvens


O Amazon RDS Now oferece suporte ao PostgreSQL 12

O anúncio diz que, juntamente com o release, você receberá (entre outras) extensões atualizadas:
PostGIS 3.0,
PGAudit 1.4,
wal2json 2.1,
PLV8 2.3.14,
Orafce 3.8,
pg_repack 1.4.5,
pg_hint_plan 1.3.5.22 a77c,
pglogical 2.3.0.

Como autenticar usuários do Postgres no Amazon AWS Cognito

Não foi possível encontrar uma resposta satisfatória de autenticação do Cognito para o PostgreSQL, Ernst-Georg Schmid, pois a ergo escreveu o script cognito_PAM.py para facilitar a autenticação dos usuários do PostgreSQL e do pgbouncer.

Artigos


Vamos começar com artigos sobre o feroz despeito do dia. Mas esses dois artigos são interessantes não apenas pela agenda atual, mas também informativos no sentido técnico.

Gráfico da disseminação do COVID-19 usando dados

O blog Timescale mostrará passo a passo como escrever consultas para criar mapas de distribuição de vírus. O autor pegou os dados do github da Johns Hopkins University , carregou-os no TimescaleDB e usou o Grafana para visualização no mapa .

Interseção de trilhas GPS para identificar indivíduos infectados

Um artigo sobre Cybertec com muitas fotos e listagens. As funções da janela são usadas para detectar contatos infectados e o QGIS é usado para visualizar os caminhos do movimento dos proprietários de vírus.

Crie e visualize modelos de aprendizado de máquina usando o 2UDA

2ndQuadrant (esta empresa é incomumente ativa nesses tempos difíceis: seminários e artigos da web estão entrando em fluxo) neste artigo, você pode experimentar seu próprio conjunto de aplicativos de análise, que também inclui um pacote de aprendizado de máquina. O 2UDA se integra ao ambiente Orange e se comunica com o PostgreSQL até sua versão mais recente - 12.2. Desta vez, eles são ensinados a trabalhar com a Random Forest . Nos artigos anteriores da série, ensinamos SVM (também conhecido como Método de vetores de suporte) e procuramos vizinhos mais próximos (KNN).

E aqui está sua série sobre o desenvolvimento do PostgreSQL para Windows : partes 3 2 1 .

Comparando MongoDB vs Postgres sobre JOINs

Devemos começar não com o título do artigo , mas com os autores: Michael Stonebraker (Michael Stonebraker, o mesmo) e lvaro Hernández . Alvaro, no entanto, também é "o mesmo" - ele falou várias vezes em conferências em Moscou: por exemplo, seu relatório sobre o StackGres no PGConf.Russia 2020. Bem, o tópico de comparar o NoSQL com o Postgres não perdeu sua relevância.

10 coisas que eu odeio no Postgres

Outra fase friaalma do contraste Postgres vs outros DBMS. Alguns dos comentários de Rick Branson (Rick Branson) são muito difíceis. Por exemplo: a escalabilidade do processo está ficando cada vez melhor a cada versão principal. Porém, no final, há um limite de desempenho rígido devido à arquitetura do Postgres em comparação com o mesmo MySQL com seu único thread por conexão .

Função interna de consulta paralela

Abdul Yadi analisa o que está acontecendo nas funções SQL e PL / pgSQL. Ele descobriu que a execução paralela de consultas, trabalhando em consultas SQL sem funções, foi desativada ao executar funções SQL e PL / pgSQL. E mostra um truque como habilitar o paralelismo no PL / pgSQL.

Monitorando o planejador de consultas que

Julien Rouhaud escrevena minha casinha, estou falando sobre o monitoramento do planejador.

Esperando pelo PostgreSQL 13 - Permitir que pg_stat_statements rastreie as estatísticas de planejamento
Hubert "Depeche" Lubashevsky escreve sobre esse patch e como ele o testou no pgbench e como você pode executar um longo planejamento de consultas (o plano não é reutilizado). A propósito, nossa análise também tem exemplos com pg_stat_statements .

Pessoa da semana do PostgreSQL: Michael Paquier

Michelle Pacquier (ele nasceu e estudou na França e o último trabalha no Japão), muitos familiarizados com a lista de hackers , começaram a trabalhar com a versão 8.3. Responde à pergunta sobre sua extensão favorita: pg_stat_statement! (seu ponto de exclamação) e, dentre os recursos das versões mais recentes, selecione TableAM .

Mas a escolha da pessoa por semanas Aylarov Battison (Ilaria Battiston) era imprevisível: é uma estudante italiana de 22 anos que estuda engenharia de dados na Universidade Técnica de Munique. O que ela merecia o título - leia .

Escrevemos no PostgreSQL no sublight: 1 host, 1 dia, 1 TB

Kirill Borovikov akaKilor(empresa "Tensor") escreve sobre como tornar a gravação no banco de dados mais eficiente, organizando corretamente os fluxos de dados. Spoiler: comece com o corte. O autor abordou esse tópico no artigo anterior , mas depois na teoria e agora em sua própria experiência.

'Projetos relacionados' do PostgreSQL

Andreas Scherbaum lembra que o postgresql.org tem uma nova página em projetos relacionados ao PostgreSQL, como pgweb, pglister, PostgreSQL Build Farm e outros.

Um guia para iniciantes de indexação básica no Postgres

Válido para iniciantes . Para quem continua, lembramos uma série de artigos Egor Rogov erogovsobre índices (no entanto, também temos uma pequena , ela é a primeira conhecida , onde, é claro, você pode ler sobre índices).

Consultas úteis para manutenção de índice do Postgres

Ibrar Ahmed, da Percona, em um pequeno artigo, fornece os conceitos básicos de monitoramento de índices usando consultas típicas em tabelas de catálogos.

A integridade dos índices no PostgreSQL pelos olhos do desenvolvedor Java

Ivan Vakhrushev (Yandex) escreveu a biblioteca pg-index-health e, neste artigo, ele fala sobre como usar seus scripts [UPD: o autor atualizou os links no artigo] . Ivan admite que teve um grande expurgo , inspirado no relatórioOleg Bartunov e Alexander Korotkov. Todos os scripts SQL necessários podem ser encontrados nos links no artigo e no repositório .

Educação em casa


"Total Recall" ou # sidimdoma útil

na desta página estão agora recolhidos links para todos os cursos do departamento de educação Postgres Professional.
Mas os cursos também podem ser vistos como listas de reprodução do YouTube .

Webinars e Mitapas


Postgres Terça-feira
São realizados por Nikolay Samokhvalov (Postgres.ai) e Ilya Kosmodemyansky (DataEgret).

# 16 : com a participação de Maxim Boguk e Viktor Yegorov (ambos DataEgret). Foi discutido: como garantir que o aplicativo funcione sem problemas, mesmo com um salto inesperado de carga de 5 vezes.

# 15 . Tópicos discutidos: PostgreSQL é o Linux de bancos de dados ; Mais uma vez sobre o GiST; algumas grandes melhorias no PostgreSQL 13 estão em pg_stat_statements e EXPLAIN; Macroanálise: estatísticas de planejamento em pg_stat_statements; Microanálise: estatísticas WAL em EXPLAIN; pg_show_plans da Cybertec.
# 14 : Erros do desenvolvedor ao trabalhar com o Postgres. Convidado: Pavel Bisset.

# 13 : Um exemplo de trabalho com JSON no Postgres (+ CTE, LATERAL, intervalos, índice GiST).

Os próximos

tipos de data / hora do segundo quadrante nos webinars do PostgreSQL

em 22 de abril de Andrew Dunstan.

Indexação KNN no PostgreSQL

em 29 de abril de Kirk Roybal.

Registro e uma lista na página de seus webinars .

Conferências


O PGCon 2020

será transmitido on-line de 26 a 29 de maio.

A partir dos materiais de conferências anteriores, por exemplo:

Postgres fáceis e corretos de alta disponibilidade com o Kubernetes

Postgres Open envia vídeos das conferências do Postgres Open que conduzem (conduzidas e, esperamos, serão realizadas após o isolamento) nos EUA. No presente relatório de Postgres Abrir 2019, Steven Pousty de Crunchy Dados fala sobre o PostgreSQL altamente disponível a partir de recipiente desembalar a passos práticos.

PGConf.Russia

Lembre-se de que a maioria dos vídeos, para não mencionar os slides, está disponível no site da conferência . Relatórios

Highload ++

, aparentemente, mais convenientes para assistir no canal do youtube conferências .

Notícias sobre ética


O Relatório Anual da Comissão do Código de Conduta 2019

17 de março O Comitê do Postgresista Codex informou sobre o trabalho realizado. Dos amplamente conhecidos nos círculos dos pós-russos russos, você pode ver Ilya Kosmodemyansky. Felizmente, resulta do relatório que até agora nenhum usuário progressivo foi banido.

Escravo - tudo

Lembramos que os escravos foram finalmente abolidos em toda a documentação do Postgres: o escravo tornou-se Standby em replicação. O particionamento mestre se tornar raiz , e o escravo - folha .


Inscreva-se no canal postgresso !

Envie idéias e sugestões para o e-mail: news_channel@postgrespro.ru Edições
anteriores: # 19 , # 18 , # 17 , # 16 , # 15 , # 14 , # 13 , # 12 , # 11 (especial) , # 10 , # 9 , # 8 , # 7 , # 6 , # 5 , # 4 , # 3 , # 2 , # 1

More articles:


All Articles