Get best of the week

Postgresso 20


Das Leben geht weiter. Wir machen Sie weiterhin mit den interessantesten PostgreSQL-Nachrichten bekannt

Hauptnachrichten


Feature Freeze
PostgreSQL Version 13-Funktionalität ist eingefroren. Jetzt nur noch Verbesserungen und Fehlerbehebungen. Die Liste der Neuheiten ist entgegen vieler Erwartungen recht umfangreich. Lesen Sie unseren Artikel
Wie viel Neues im Dutzend des Teufels , wo es viele Beispiele gibt. Aber auch im Abschnitt der Postgresso- Artikel finden Sie Links zu Artikeln, die sich mit einzelnen Funktionen befassen.

Veröffentlichungen


Postgres Pro Enterprise 12.2.1

Diese Version kombiniert die Innovationen von PostgreSQL 12 und die Funktionen der Enterprise-Branche. Multimaster-
Erweiterung : Wie in 11.x und in anderen Versionen von Enterprise wird empfohlen, sie in einer 2 + 1-Konfiguration zu verwenden, wenn einer der Schiedsrichterknoten vorhanden ist. Weitere Details in der Dokumentation . Jetzt können Sie mithilfe der Funktion die Konsistenz der Daten auf den Knoten des Clusters überprüfen . In CFS können Sie jetzt Komprimierungsalgorithmen auswählen. Zstd (Standard), zlib und pglz werden unterstützt, es können jedoch auch andere Algorithmen hinzugefügt werden. Ein weiteres Schockmerkmal von Enterprise ist der PTRACK-Mechanismus, der für den effizienten Betrieb unserer Anwendung pg_probackup erforderlich istmtm.check_query()



, - wurde gründlich überarbeitet und erhielt eine neue externe API. Damit Sicherungen, die bereits mit PTRACK in pg_probackup erstellt wurden, in Postgres Pro Enterprise 12.x funktionieren, müssen Sie pg_probackup auf Version 2.2.6 oder höher aktualisieren und PTRACK so konfigurieren, dass es erneut kopiert wird.

Ein wichtiger Patch für die Deduplizierung von B-Tree-Indizes (von Anastasia Lubennikova, Postgres Professional) in PostgreSQL 13, dessen Funktionalität jedoch bereits in Enterprise 12.2.1 enthalten ist. Darüber hinaus kann der Ausschluss von Duplikaten für die erstellten Indizes mit dem deduplicate_itemsBefehlsparameter CREATE INDEX deaktiviert werden . Das ist hier .

Noch ein paar Neuerungen kurz:


Links und der Postgres Pro 12.2.1 von Standard . Da die Unterschiede zu PostgreSQL in Standard nicht so radikal sind wie in Postgres Pro Enterprise, verweisen wir einfach auf das Änderungsprotokoll .

pgAdmin 4 Version 4.20

Diese Version enthält Sortierung , FTS-Konfiguration, FTS-Wörterbuch, FTS-Parser, FTS-Vorlage, Domäne, Domänenbeschränkungen und Typen für Schema Diff .

Lesen Sie über die Veröffentlichung hier , und Sie können Download von hier .

WAL-G v0.2.15

In der neuen Version von Yandex Backup können Sie die Verzögerung des Replikats durch Befehle catchup-pushund reduzierencatchup-fetchErstellen einer inkrementellen Sicherung von einem bestimmten LSN mit einem verzögerten Replikat. Unterstützung für Libsodium-Verschlüsselung, Retrying for AWS wurde hinzugefügt.

repmgr 5.1 Das

Backup von 2ndQuadrant wurde mit erheblichen Verbesserungen angereichert : Jetzt wurde die Anforderung, dass der Benutzer repmgr ein Superuser der Datenbank sein muss, nach Möglichkeit entfernt. Ein gewöhnlicher Datenbankbenutzer kann seine Datenbank kopieren, und ein Benutzer mit der Rolle REPLICATION gibt die Verbindungen und Steckplätze an (falls erforderlich). Für einige Vorgänge ist jedoch noch eine Option erforderlich -S | --superuser. Laden Sie hier .

pgBackRest 2.25 Die

wichtigsten Nachrichten von dieser Version ist LZ 4-Kompression. Nützliche Option hinzugefügt: --dry-runfür den Befehlexpire: Sie können sehen, welche Sicherungen / Archive mit diesem Befehl gelöscht werden, ohne etwas zu löschen. Sie können die Größe der Sicherung auf den Wert beschränken, der zu Beginn des Kopiervorgangs angegeben wurde, und sich darauf verlassen, dass die WAL abgespielt wird, wenn die Datei anschwillt.

check_pgbackrest 1.8

Eine neue Version des BackRest-Überwachungsdienstprogramms wurde ebenfalls veröffentlicht (es wurde nicht von CrunchyData wie pgBackRest selbst entwickelt, sondern von Dalibo). Eine Option wurde angezeigt --list-archives: Drucken Sie eine Liste aller archivierten WAL-Segmente.

pgmetrics v1.9

Es gibt eine Sammlung von Metriken mit AWS RDS und Aurora , eine Sammlung von Definitionen von Indizes, Typen und Anzahl von Backends, Versions- und Umgebungsprüfungen vor dem Aufrufen von Funktionen. Und Sie können die Rolle festlegen, bevor Sie optional mit dem Sammeln von Metriken beginnen --role. Auf Github loslassen .

pg_show_plans

Mit der Erweiterung, die Hans-Jürgen Schönig von Cybertec anbietet, können Sie alle aktuell aktiven Sofortpläne gleichzeitig anzeigen - während sie noch ausgeführt werden. Er erklärt ihre Arbeit in seinem eigenen Blog und auf der Website des Unternehmens. Und nicht nur er. pg_show_plans wurde sogar schon dienstags in Samokhvalov besprochen (siehe unseren Abschnitt Webinare ). Eine interessante Alternative ist übrigens die Erweiterung pg_query_state , die in Postgres Pro Standard / Enterprise verfügbar ist. Aber Vanilla PostgreSQL muss einen Patch anhängen.

Joe 0.6.2 / 1/0 Wir

bereuen: über das Aussehen dieses Dienstprogramms mit der Chat-Bot-OberflächeWir haben in der Vergangenheit und im Jahr vor dem letzten Postgresso zwei Zeilen geschrieben , obwohl es mehr verdient. Dieser DBA-Bot, wie ihn die Entwickler von Postgres.ai nennen, ist ein Tool zum Testen von Änderungen in der Datenbank, ohne die industrielle Basis zu gefährden, aber ohne lange in die Testumgebung zu kopieren (Terabyte-Datenbanken werden in Sekunden kopiert ). Darüber hinaus wird diese Testressource gemeinsam genutzt: Ein Dutzend Entwickler können gleichzeitig arbeiten. Details Anatoly Stansler sagte in einem Bericht über Highload ++, wir empfehlen, dass Sie schauen.
In den Versionen 0.6.2 und 0.6.1 wurden nur Fehlerbehebungen vorgenommen, aber in 0.6.0 tauchten interessante Dinge auf: Arbeiten mit hypothetischen Indizes (mit der Erweiterung HypoPG)) Zusammengesetzte Teams arbeiten zunächst mit hypothetischen Indizes hypo. Zum Beispiel: hypo reset- Töte alle hypothetischen Indizes. Das neue Team plan gibt den Plan, ohne die Anfrage zu erfüllen.

Pyrseas 0.9.1

Diese Version des Erweiterungsdienstprogramms zur Beschreibung des Datenbankschemas in YAML / JSON zum Abgleichen von Datenbankschemata mit einem bestimmten unterscheidet sich von früheren Versionen hauptsächlich durch die Unterstützung von PostgreSQL 12. Hier ist eine Seite zu PGXN .

pgFormatter 4.3 Zwei Optionen

hinzugefügt , Fehler behoben:

  • -r | --redshift für AWS Redshift-Schlüsselwörter
  • -N | --numberingFügt jeder Zeile ein Ansichtspräfix hinzu /* Statement # n */.
  • feste Formatierung innerhalb des Satzes mit WITH;
  • feste Skriptformatierung bei der Arbeit mit psql;
  • Darüber hinaus wurden der Liste der PostgreSQL-Funktionen mehrere integrierte Funktionen hinzugefügt.

pg_timeout 0.0.1

Und noch eine Erweiterung: Damit können Sie das Inaktivitäts-Timeout für die Sitzung festlegen, indem Sie es in zwei GUC definieren:

  • pg_timeout.naptime: Wie viele Sekunden dauert der Hintergrundprozess zwischen den Untätigkeitsprüfungen (standardmäßig 10 Sekunden)?
  • pg_timeout.idle_session_timeout: Wie viele Sekunden darf eine Sitzung im Leerlauf leben (standardmäßig 60 Sekunden)?

Die entsprechenden Benachrichtigungen werden im Protokoll angezeigt. Die Versionsnummer spricht für sich.

pg_logqueryid

Und diese Erweiterung enthält die Protokollierung von Kennungen von Anforderungen in , pg_stat_statementswenn es enthalten ist auto_explain.

Psycopg 2.8.5

Dieser Python-Connector unterstützt jetzt die AIX-Plattform.

pg_timetable 2.0

Dieser Scheduler (Planer) sind Steuerungsmöglichkeiten hinzugefügt: Sie Aufgaben markieren können wie @reboot, @everyoder @after.

pgBadger 11.2

Gilles Darold hat im beliebten Log Analyzer Folgendes hinzugefügt :

  • Unterstützung und automatische Erkennung des AWS Redshift-Protokollformats;
  • Unterstützung für das neue pgbouncer 1.11-Protokollformat;
  • zstd- und lz4-Komprimierungsunterstützung;
  • Sie können das Dienstprogramm folgendermaßen ausführen: pgbadger -I -O "/out-dir/data" --noreport /var/log/postgresql*.logoder
  • wie folgt : pgbadger -I -l "/out-dir/data/LAST_PARSED" -H "/out-dir/reports" /out-dir/data/2020/02/19/*.bin.


PAF v2.3.0

Die auf Pacemaker + Corosync basierende Version dieser sehr beliebten fehlertoleranten Lösung von ClusterLabs zeichnet sich hauptsächlich durch die Unterstützung von PostgreSQL 12 aus. Sie funktioniert nicht mit Versionen, die älter als Pacemaker 1.1.13 + corosync 2.x sind. pgagroal 0.5.1 Die neue Version des Abziehers kann hier heruntergeladen werden: Quellen , Drehzahl .




Die Wolken


Amazon RDS unterstützt jetzt PostgreSQL 12

Die Ankündigung besagt, dass Sie zusammen mit der Version (unter anderem) aktualisierte Erweiterungen erhalten:
PostGIS 3.0,
PGAudit 1.4,
wal2json 2.1,
PLV8 2.3.14,
Orafce 3.8,
pg_repack 1.4.5,
pg_hint_plan 1.3.5.22 a77c,
pglogisch 2.3.0.

Wie man Authentifizieren Postgres Benutzer gegen Amazon AWS Cognito

Es kann keine zufriedenstellende finden Cognito Authentifizierung Antwort für PostgreSQL, Ernst-Georg Schmid als ergo selbst schrieb das cognito_PAM.py Skript zur Authentifizierung von PostgreSQL und pgbouncer Benutzer zu erleichtern.

Artikel


Beginnen wir mit Artikeln über den heftigen Tag. Diese beiden Artikel sind jedoch nicht nur für die aktuelle Agenda interessant, sondern auch im technischen Sinne informativ.

Diagramm der Verbreitung von COVID-19 anhand von Daten

Der Timescale-Blog zeigt Ihnen Schritt für Schritt, wie Sie Abfragen schreiben , um Virenverteilungskarten zu erstellen. Der Autor nahm die Daten aus dem Github der Johns Hopkins University , lud sie in TimescaleDB hoch und verwendete Grafana zur Visualisierung auf der Karte .

Überschneiden von GPS-Tracks zur Identifizierung infizierter Personen

Ein Artikel über Cybertec mit vielen Bildern und Auflistungen. Fensterfunktionen werden verwendet, um infizierte Kontakte zu erkennen, und QGIS wird verwendet, um die Bewegungspfade von Virenbesitzern zu visualisieren.

Erstellen und Visualisieren von Modellen für maschinelles Lernen mit 2UDA

2ndQuadrant (dieses Unternehmen ist in diesen schwierigen Zeiten ungewöhnlich aktiv: Webinare und Artikel werden in Betrieb genommen) bietet in diesem Artikel die Möglichkeit, Ihre eigenen Analyseanwendungen auszuprobieren , die auch ein Paket für maschinelles Lernen enthalten. 2UDA lässt sich in die Orange-Umgebung integrieren und kommuniziert mit PostgreSQL bis zur neuesten Version - 12.2. Dieses Mal lernen sie, wie man mit Random Forest arbeitet . In früheren Artikeln der Serie wir gelehrt SVM (auch bekannt als Methode der Support - Vektoren) und sucht nächsten Nachbarn (KNN).

Und hier ist ihre Serie zur Entwicklung von PostgreSQL für Windows : Teile 3 2 1 .

Vergleich von MongoDB und Postgres über JOINs

Wir sollten nicht mit dem Titel des Artikels beginnen , sondern mit den Autoren: Michael Stonebraker (Michael Stonebraker, derselbe) und Alvaro Hernández () lvaro Hernández) . Alvaro ist jedoch auch „derselbe“ - er hat wiederholt auf Konferenzen in Moskau gesprochen: zum Beispiel sein Bericht über StackGres auf der PGConf.Russia 2020. Das Thema des Vergleichs von NoSQL mit Postgres hat jedoch nicht an Relevanz verloren.

10 Dinge, die ich an Postgres hasse

Eine weitere kalte PhaseKontrast Seele Postgres vs Andere DBMS. Einige der Kommentare von Rick Branson (Rick Branson) sind sehr hart. Zum Beispiel: Die Skalierbarkeit von Prozessen wird mit jeder größeren Version besser und besser. Letztendlich gibt es jedoch aufgrund der Architektur von Postgres ein enges Leistungslimit im Vergleich zu demselben MySQL mit einem Thread pro Verbindung .

Parallele Abfrage innerhalb der Funktion

Abdul Yadi analysiert, was innerhalb der SQL- und PL / pgSQL-Funktionen geschieht. Er entdeckte, dass die parallele Abfrageausführung, die in SQL-Abfragen ohne Funktionen funktioniert, beim Ausführen von SQL- und PL / pgSQL-Funktionen deaktiviert war. Und es zeigt einen Trick, wie Parallelität in PL / pgSQL aktiviert werden kann.

Überwachung des Abfrageplaners schreibt

Julien RouhaudIn meinem kleinen Haus spreche ich über die Überwachung des Planers.

Warten auf PostgreSQL 13 - Erlauben Sie pg_stat_statements, Planungsstatistiken zu verfolgen
Hubert "Depeche" Lubashevsky schreibt über diesen Patch und wie er ihn auf pgbench getestet hat und wie Sie auf lange Abfrageplanung stoßen können (der Plan wird nicht wiederverwendet). Übrigens enthält unser Test auch Beispiele mit pg_stat_statements .

PostgreSQL-Person der Woche: Michael Paquier

Michelle Pacquier (er wurde in Frankreich geboren und studiert, letzterer arbeitet in Japan), von denen viele mit der Hacker- Mailingliste vertraut sind , begann mit Version 8.3 zu arbeiten. Beantwortet die Frage zu seiner Lieblingserweiterung: pg_stat_statement! (Ausrufezeichen) und wählt aus den Funktionen der neuesten Versionen TableAM aus .

Die Wahl der Personenwochen Aylarov Battison (Ilaria Battiston) war jedoch unvorhersehbar: Es handelt sich um einen 22-jährigen Italiener, der an der Technischen Universität München Data Engineering studiert. Was hat sie den Titel verdient - lesen .

Wir schreiben in PostgreSQL im Sublight: 1 Host, 1 Tag, 1 TB

Kirill Borovikov akaKilor(Tensor Company) schreibt darüber, wie das Schreiben in die Datenbank effizienter gestaltet werden kann, indem die Datenflüsse ordnungsgemäß organisiert werden. Spoiler: Beginnen Sie mit dem Schneiden. Der Autor hat dieses Thema im vorherigen Artikel angesprochen , aber dann theoretisch und jetzt aus eigener Erfahrung.

PostgreSQLs 'Verwandte Projekte'

Andreas Scherbaum erinnert sich, dass auf postgresql.org eine neue Seite über Projekte im Zusammenhang mit PostgreSQL wie pgweb, pglister, PostgreSQL Build Farm und andere erschienen ist.

Ein Leitfaden für Anfänger zur grundlegenden Indizierung in Postgres

Gültig für Anfänger . Für diejenigen, die fortfahren, erinnern wir uns an eine Reihe von Artikeln Egor Rogov erogovüber Indizes (wir haben jedoch auch eine kleine , sie ist die erste Bekannte , bei der Sie natürlich über Indizes lesen können).

Nützliche Abfragen für die Postgres-

Indexpflege Ibrar Ahmed von Percona erläutert in einem kurzen Artikel die Grundlagen der Überwachung von Indizes anhand typischer Abfragen in Katalogtabellen.

Der

Zustand von Indizes in PostgreSQL mit den Augen eines Java-Entwicklers Ivan Vakhrushev (Yandex) hat die Bibliothek pg-index-health geschrieben. In diesem Artikel spricht er über die Verwendung seiner Skripte [UPD: Der Autor hat die Links im Artikel aktualisiert] . Ivan gibt zu, dass er eine große Säuberung hatte , inspiriert von dem BerichtOleg Bartunov und Alexander Korotkov. Alle erforderlichen SQL-Skripte finden Sie unter den Links im Artikel und im Repository .

Heimunterricht


"Total Recall" oder # sidimdoma, die

auf dieser Seite sinnvoll sind, enthalten jetzt Links zu allen Kursen des Bildungsministeriums Postgres Professional.
Kurse können aber auch als Youtube-Wiedergabelisten angesehen werden .

Webinare und Mitapas


Postgres dienstags
Sie werden von Nikolay Samokhvalov (Postgres.ai) und Ilya Kosmodemyansky (DataEgret) geleitet.

# 16 : unter Beteiligung von Maxim Boguk und Viktor Yegorov (beide DataEgret). Es wurde diskutiert, wie sichergestellt werden kann, dass die Anwendung auch bei einem unerwarteten Lastsprung von 5 Mal reibungslos ausgeführt wird.

# 15 . Besprochene Themen: PostgreSQL ist das Linux von Datenbanken ; Noch einmal über GiST; Einige große Verbesserungen in PostgreSQL 13 sind in pg_stat_statements und EXPLAIN enthalten. Makroanalyse: Planungsstatistiken in pg_stat_statements; Mikroanalyse: WAL-Statistiken in EXPLAIN; pg_show_plans von Cybertec.
# 14 : Entwicklerfehler bei der Arbeit mit Postgres. Gast: Pavel Bisset.

# 13 : Ein Beispiel für die Arbeit mit JSON in Postgres (+ CTE, LATERAL, Intervalle, GiST-Index).

Die kommenden

Datums- / Zeitstempeltypen des 2. Quadranten in PostgreSQL- Webinaren

22. April, Andrew Dunstan.

KNN-Indizierung in PostgreSQL

29. April, Kirk Roybal.

Registrierung und eine Liste auf der Seite ihrer Webinare .

Konferenzen


Die PGCon 2020

wird vom 26. bis 29. Mai online stattfinden.

Zum Beispiel aus den Materialien vergangener Konferenzen:

Einfache und korrekte Hochverfügbarkeit von Postgres mit Kubernetes

Postgres Open lädt Videos von Postgres Open-Konferenzen hoch , die eine Community in den USA durchführen (durchgeführt und hoffentlich nach der Isolation abgehalten werden). In diesem Bericht von Postgres Open 2019 spricht Steven Pousty von Crunchy Data über das hochverfügbare PostgreSQL vom Entpacken von Containern bis hin zu praktischen Schritten.

PGConf.Russia Beachten

Sie, dass der größte Teil des Videos, ganz zu schweigen von den Folien, auf der Konferenzwebsite verfügbar ist .

Highload ++

Berichte sind anscheinend bequemer auf dem YouTube-Kanal anzusehen Konferenzen .

Ethik-Nachrichten


Der Code of Conduct Committee 2019 Jahresbericht

17. März Der Postgresista Codex Committee berichtete über die geleistete Arbeit. Von den in den Kreisen der russischen Postgresisten weithin bekannten ist Ilya Kosmodemyansky zu sehen. Glücklicherweise folgt aus dem Bericht, dass bisher kein progressiver Benutzer gesperrt wurde.

Slave - alles. Wir

erinnern Sie daran, dass Slaves in der gesamten Postgres-Dokumentation endgültig abgeschafft wurden: Slave wurde bei der Replikation in den Standby- Modus versetzt. Die Partitionierung Master werden Wurzel und der Slave - Blatt .


Abonnieren Sie den Postgresso- Kanal !

Senden Sie Ideen und Vorschläge per E-Mail an: news_channel@postgrespro.ru
Frühere Ausgaben: Nr. 19 , Nr. 18 , Nr. 17 , Nr. 16 , Nr. 15 , Nr. 14 , Nr. 13 , Nr. 12 , Nr. 11 (speziell) , Nr. 10 , Nr. 9 , # 8 , # 7 , # 6 , # 5 , # 4 , # 3 , # 2 , # 1

More articles:


All Articles