Get best of the week

Postgresso 20


La vida continua. Continuamos familiarizándote con las noticias más interesantes de PostgreSQL

noticias principales


Congelación
de funciones La funcionalidad de PostgreSQL versión 13 está congelada. Ahora solo mejoras y correcciones de errores. La lista de novedades, contrariamente a muchas expectativas, es bastante extensa. Lea nuestro artículo
Cuantas novedades hay en The Devil's Dozen , donde hay muchos ejemplos. Pero también en la sección de los artículos de Postgresso hay enlaces a artículos dedicados a características individuales.

Lanzamientos


Postgres Pro Enterprise 12.2.1

Esta versión combina las innovaciones de PostgreSQL 12 y las características de la rama Enterprise.
Extensión multimaestro : como en 11.x, y en otras versiones de Enterprise, se recomienda usarlo en una configuración 2 + 1 cuando uno de los nodos de árbitro. Más detalles en la documentación . Y ahora puede verificar la consistencia de los datos en los nodos del clúster utilizando la función mtm.check_query().

En CFS, ahora puede elegir algoritmos de compresión. Zstd (predeterminado), zlib y pglz son compatibles, pero se pueden agregar otros algoritmos.

Otra característica impactante de Enterprise es el mecanismo PTRACK, que es necesario para el funcionamiento eficiente de nuestra aplicación pg_probackup, - fue completamente rediseñado y recibió una nueva API externa. Para que las copias de seguridad ya creadas con PTRACK en pg_probackup funcionen en Postgres Pro Enterprise 12.x, debe actualizar pg_probackup a la versión 2.2.6 o superior y configurar PTRACK para copiar nuevamente.

Un parche importante para la deduplicación del índice B-tree (por Anastasia Lubennikova, Postgres Professional) en PostgreSQL 13, pero su funcionalidad ya está en Enterprise 12.2.1. Además, la exclusión de duplicados se puede deshabilitar para los índices creados utilizando el parámetro de deduplicate_itemscomando CREATE INDEX. Esto esta aqui .

Algunas innovaciones más brevemente:


Izquierda y Postgres Pro 12.2.1 de Standard . Dado que las diferencias con PostgreSQL en Standard no son tan radicales como en Postgres Pro Enterprise, simplemente nos referimos al registro de cambios .

pgAdmin 4 versión 4.20

Esta versión agrega Intercalación, Configuración FTS, Diccionario FTS, Analizador FTS, Plantilla FTS, Dominio, Restricciones de dominio y Tipos para Dif . de esquema .

Lea sobre el lanzamiento aquí , y puede descargarlo desde aquí .

WAL-G v0.2.15

En la nueva versión de Yandex Backup, puede reducir el retraso de la réplica mediante comandos catchup-pushycatchup-fetchcreando una copia de seguridad incremental de un LSN dado con una réplica retrasada. Se ha agregado soporte para el cifrado de Libsodium, reintentando para AWS.

repmgr 5.1 La

copia de seguridad de 2ndQuadrant se ha enriquecido con mejoras significativas: ahora se elimina el requisito de que el usuario repmgr sea un superusuario de la base de datos siempre que sea posible. Un usuario ordinario de la base de datos puede copiar su base de datos, y un usuario con el rol REPLICACIÓN especificará las conexiones y las ranuras (si es necesario). Pero algunas operaciones aún requieren una opción -S | --superuser. Descargar desde aquí .

pgBackRest 2.25 La

principal noticia de esta versión es la compresión LZ4. Opción útil agregada: --dry-runpara el comandoexpire: puede ver qué copias de seguridad / archivos se eliminarán con este comando sin eliminar nada. Puede limitar el tamaño de la copia de seguridad al valor informado al comienzo de la copia, confiando en reproducir el WAL si el archivo se hincha.

check_pgbackrest 1.8 También se ha lanzado

una nueva versión de la utilidad de monitoreo BackRest (no está desarrollada por CrunchyData, como pgBackRest en sí, sino por Dalibo). Apareció una opción --list-archives: imprimir una lista de todos los segmentos WAL archivados.

pgmetrics v1.9

Existe una colección de métricas con AWS RDS y Aurora , una colección de definiciones de índices, tipos y cantidad de backends, versiones y verificaciones de entorno antes de llamar a funciones. Y puede SET ROLE antes de comenzar a recopilar métricas como una opción --role. Lanzamiento en github .

pg_show_plans

La extensión, que Hans-Jürgen Schönig de Cybertec ofrece probar, le permite ver simultáneamente todos los planes instantáneos que están actualmente activos, mientras todavía se están ejecutando. Explica su trabajo en su propio blog y en el sitio web de la compañía. Y no solo a él. pg_show_plans incluso ya se discutió los martes en Samokhvalov (consulte nuestra sección Seminarios web ). Por cierto, la extensión pg_query_state , que está disponible en Postgres Pro Standard / Enterprise, es una alternativa interesante. Pero Vangre PostgreSQL tendrá que adjuntar un parche.

Joe 0.6.2 / 1/0 Nos

arrepentimos: sobre la apariencia de esta utilidad con la interfaz de bot de chatEscribimos dos líneas en el pasado y el año anterior al último Postgresso, aunque merece más. Este bot DBA, como lo llaman los desarrolladores de Postgres.ai, es una herramienta para probar los cambios de la base de datos sin poner en peligro la base industrial, pero sin copiar mucho en el entorno de prueba (las bases de datos de terabytes se copian en segundos). Además, este recurso de prueba se comparte: una docena de desarrolladores pueden trabajar simultáneamente. Detalles Anatoly Stansler dijo en un informe sobre Highload ++, le recomendamos que mire.
En las versiones 0.6.2 y 0.6.1 solo se corrigieron errores, pero aparecieron cosas interesantes en 0.6.0: trabajar con índices hipotéticos (con la extensión HypoPG) Los equipos compuestos que comienzan con están trabajando con índices hipotéticos hypo. Por ejemplo: hypo reset- elimine todos los índices hipotéticos. El nuevo equipo plan da el plan sin cumplir con la solicitud.

Pyrseas 0.9.1

Esta versión de la utilidad de extensión para describir el esquema de la base de datos en YAML / JSON, conciliar los esquemas de la base de datos con uno dado difiere de las versiones anteriores principalmente por el soporte de PostgreSQL 12. Aquí hay una página en PGXN .

pgFormatter 4.3 Se

agregaron dos opciones, errores corregidos:

  • -r | --redshift para palabras clave de AWS Redshift
  • -N | --numberingAgrega un prefijo de vista a cada línea /* Statement # n */;
  • formato fijo dentro de la oración con WITH;
  • formato de script fijo cuando se trabaja con psql;
  • Además, se han agregado varias funciones integradas a la lista de funciones de PostgreSQL.

pg_timeout 0.0.1

Y una extensión más: con ella puedes establecer el tiempo de inactividad para la sesión definiéndolo en dos GUC:

  • pg_timeout.naptime: cuántos segundos duerme el proceso en segundo plano entre las comprobaciones de inacción (10 segundos por defecto)
  • pg_timeout.idle_session_timeout: cuántos segundos se permite que una sesión viva inactiva (60 segundos por defecto).

Las notificaciones correspondientes aparecerán en el registro. El número de lanzamiento habla por sí mismo.

pg_logqueryid

Y esta extensión incluye el registro de identificadores de solicitudes pg_stat_statementscuando se incluye auto_explain.

Psycopg 2.8.5

Este conector de Python ahora es compatible con la plataforma AIX.

pg_timetable 2.0

Este planificador (scheduler) se añaden posibilidades de control: Puede marcar tareas como @reboot, @every, o @after.

pgBadger 11.2

En el popular analizador de registros Gilles Darold agregó :

  • soporte y reconocimiento automático del formato de registro AWS Redshift;
  • soporte para el nuevo formato de registro pgbouncer 1.11;
  • Soporte de compresión zstd y lz4;
  • puede ejecutar la utilidad de esta manera: pgbadger -I -O "/out-dir/data" --noreport /var/log/postgresql*.logo
  • de la siguiente manera: pgbadger -I -l "/out-dir/data/LAST_PARSED" -H "/out-dir/reports" /out-dir/data/2020/02/19/*.bin.


PAF v2.3.0

La versión de esta solución tolerante a fallas muy popular de ClusterLabs, basada en Pacemaker + Corosync , se distingue principalmente por el soporte de PostgreSQL 12. No funcionará con versiones anteriores a Pacemaker 1.1.13 + corosync 2.x.

pgagroal 0.5.1 La
nueva versión del extractor se puede descargar desde aquí: fuentes , RPM .

Las nubes


Amazon RDS ahora es compatible con PostgreSQL 12

El anuncio dice que, junto con el lanzamiento, recibirá (entre otras) extensiones actualizadas:
PostGIS 3.0,
PGAudit 1.4,
wal2json 2.1,
PLV8 2.3.14,
Orafce 3.8,
pg_repack 1.4.5,
pg_hint_plan 1.3.5.22 a77c,
pglogical 2.3.0.

Cómo autenticar usuarios de Postgres contra Amazon AWS Cognito

Incapaz de encontrar una respuesta de autenticación de Cognito satisfactoria para PostgreSQL, Ernst-Georg Schmid como ergo escribió el script cognito_PAM.py para facilitar la autenticación de los usuarios de PostgreSQL y pgbouncer.

Artículos


Comencemos con artículos sobre el feroz rencor del día. Pero estos dos artículos son interesantes no solo por la agenda actual, son informativos en el sentido técnico.

Gráfico de la propagación de COVID-19 utilizando datos

El blog de Timescale le mostrará paso a paso cómo escribir consultas para crear mapas de distribución de virus. El autor tomó la información de la Universidad Johns Hopkins github , la subió a TimescaleDB , y se utiliza Grafana para la visualización en el mapa .

Intersección de GPS-Tracks para identificar individuos infectados

Un artículo sobre Cybertec con muchas imágenes y listados. Las funciones de ventana se utilizan para detectar contactos infectados, y QGIS se utiliza para visualizar las rutas de movimiento de los propietarios de virus..

Cree y visualice modelos de aprendizaje automático utilizando 2UDA

2ndQuadrant (esta empresa es inusualmente activa en estos tiempos difíciles: los seminarios web y los artículos están llegando a la corriente) en este artículo ofrece probar su propio conjunto de aplicaciones analíticas, que también incluyen un paquete de aprendizaje automático. 2UDA se integra en el entorno Orange y se comunica con PostgreSQL hasta su última versión: 12.2. Esta vez se les enseña a trabajar con Random Forest . En artículos anteriores de la serie enseñamos SVM (también conocido como Método de vectores de soporte) y buscamos vecinos más cercanos (KNN).

Y aquí está su serie sobre el desarrollo de PostgreSQL para Windows : partes 3 2 1 .

Comparando MongoDB vs Postgres sobre JOINs

No deberíamos comenzar con el título del artículo , sino con los autores: Michael Stonebraker (Michael Stonebraker, el mismo) y lvaro Hernández . Sin embargo, Álvaro también es "el mismo": ha hablado repetidamente en conferencias en Moscú: por ejemplo, su informe sobre StackGres en PGConf.Rusia 2020. Pero el tema de comparar NoSQL con Postgres no ha perdido su relevancia.

10 cosas que odio de Postgres

Otra fase fríaContraste alma Postgres vs Otros DBMS. Algunos de los comentarios de Rick Branson (Rick Branson) son muy duros. Por ejemplo: la escalabilidad del proceso es cada vez mejor con cada lanzamiento importante. Pero al final hay un límite de rendimiento estricto debido a la arquitectura de Postgres en comparación con el mismo MySQL con su único hilo por conexión .

Función de consulta paralela dentro

Abdul Yadi analiza lo que sucede dentro de las funciones SQL y PL / pgSQL. Descubrió que la ejecución de consultas paralelas, trabajando en consultas SQL sin funciones, estaba deshabilitada al ejecutar funciones SQL y PL / pgSQL. Y muestra un truco sobre cómo habilitar el paralelismo en PL / pgSQL.

Supervisando el planificador de consultas

Julien Rouhaud escribeen mi casita estoy hablando de monitorear el Planificador.

Esperando PostgreSQL 13: permita que pg_stat_statements realice un seguimiento de las estadísticas de planificación
Hubert "Depeche" Lubashevsky escribe sobre este parche, y cómo lo probó en pgbench y cómo puede ejecutar una planificación de consulta larga (el plan no se reutiliza). Por cierto, nuestra revisión también tiene ejemplos con pg_stat_statements .

Persona de la semana de PostgreSQL: Michael Paquier

Michelle Pacquier (nació y estudió en Francia, y este último trabaja en Japón), muchos familiarizados con la lista de correo de hackers , comenzó a trabajar con la versión 8.3. Responde a la pregunta sobre su extensión favorita: pg_stat_statement! (su signo de exclamación), y de las características de las últimas versiones selecciona TableAM .

Pero la persona elegida de la semana, Ailaria Battiston, era impredecible: es una estudiante italiana de 22 años que estudia Ingeniería de Datos en la Universidad Técnica de Munich. ¿Qué merecía ella el título? Leer .

Escribimos en PostgreSQL en el sublight: 1 host, 1 día, 1TB

Kirill Borovikov akaKilor(Tensor Company) escribe sobre cómo hacer que la escritura en la base de datos sea más eficiente organizando adecuadamente los flujos de datos. Spoiler: comience con seccionamiento. El autor tocó este tema en el artículo anterior , pero luego en teoría, y ahora en su propia experiencia. Andreas Scherbaum,

'Proyectos relacionados' de PostgreSQL, recuerda que ha aparecido una nueva página en postgresql.org sobre proyectos relacionados con PostgreSQL, como pgweb, pglister, PostgreSQL Build Farm y otros. Una guía para principiantes sobre indexación básica en Postgres Válida para principiantes . Para aquellos que continúan, recordamos una serie de artículos.





Egor Rogov erogovsobre índices (sin embargo, también tenemos uno pequeño , ella es la primera conocida , donde, por supuesto, puedes leer sobre índices).

Consultas útiles para el mantenimiento de índices de Postgres

Ibrar Ahmed de Percona en un breve artículo proporciona los conceptos básicos de seguimiento de índices utilizando consultas típicas en tablas de catálogo.

La salud de los índices en PostgreSQL a través de los ojos de un desarrollador de Java

Ivan Vakhrushev (Yandex) escribió la biblioteca pg-index-health , y en este artículo habla sobre cómo usar sus scripts [UPD: el autor actualizó los enlaces en el artículo] . Ivan admite que tuvo una gran purga , inspirada en el informeOleg Bartunov y Alexander Korotkov. Todos los scripts SQL necesarios se pueden encontrar en los enlaces del artículo y en el repositorio .

Educación en casa


"Total Recall" o # sidimdoma útil

en esta página ahora son enlaces recopilados a todos los cursos del departamento de educación profesional de Postgres.
Pero los cursos también se pueden ver como listas de reproducción de Youtube .

Webinars y Mitapas


Los martes de Postgres
Los llevan a cabo Nikolay Samokhvalov (Postgres.ai) e Ilya Kosmodemyansky (DataEgret).

# 16 : con la participación de Maxim Boguk y Viktor Yegorov (ambos DataEgret). Se discutió: cómo garantizar que la aplicación funcione sin problemas incluso con un salto de carga inesperado de 5 veces.

# 15 . Temas discutidos: PostgreSQL es el Linux de las bases de datos ; Una vez más sobre GiST; Algunas grandes mejoras en PostgreSQL 13 se encuentran en pg_stat_statements y EXPLAIN; Macroanálisis: estadísticas de planificación en pg_stat_statements; Microanálisis: estadísticas WAL en EXPLICAR; pg_show_plans de Cybertec.
# 14 : Errores del desarrollador al trabajar con Postgres. Invitado: Pavel Bisset.

# 13 : Un ejemplo de trabajo con JSON en Postgres (+ CTE, LATERAL, intervalos, índice GiST).



Próximos tipos de fecha / hora de 2nd Quadrant en los seminarios web de PostgreSQL

el 22 de abril, Andrew Dunstan.

KNN Indexing in PostgreSQL

29 de abril, Kirk Roybal.

Registro y una lista en la página de sus seminarios web .

Conferencias


PGCon 2020

pasará del 26 al 29 de mayo en línea.

De los materiales de conferencias pasadas, por ejemplo:

Postgres de alta disponibilidad fácil y correcto con Kubernetes

Postgres Open sube videos de conferencias abiertas de Postgres que llevan a cabo (conducidas y, con suerte, se llevarán a cabo después de la separación) comunidad en los Estados Unidos. En este informe del Postgres Open 2019, Steven Pousty de Crunchy Data habla sobre el altamente disponible PostgreSQL desde el desempaquetado de contenedores hasta los pasos prácticos.

PGConf.Russia

Tenga en cuenta que la mayor parte del video, sin mencionar las diapositivas, está disponible en el sitio web de la conferencia . Informes de

Highload ++

, aparentemente, más conveniente para ver en el canal de youtube conferencias .

Noticias de ética


El Comité del Código de Conducta Informe anual 2019

17 de marzo El Comité del Codex Postgresista informó sobre el trabajo realizado. De los ampliamente conocidos en los círculos de postgresistas rusos se puede ver a Ilya Kosmodemyansky. Afortunadamente, del informe se desprende que hasta ahora ningún usuario progresivo ha sido prohibido.

Esclavo: todo. Le

recordamos que los esclavos fueron finalmente abolidos en toda la documentación de Postgres: el esclavo se convirtió en modo de espera en la replicación. La partición principal convertirse en la raíz , y el esclavo - hoja .


¡Suscríbete al canal postgresso !

Envíe ideas y sugerencias al correo: news_channel@postgrespro.ru Ediciones
anteriores: # 19 , # 18 , # 17 , # 16 , # 15 , # 14 , # 13 , # 12 , # 11 (especial) , # 10 , # 9 , # 8 , # 7 , # 6 , # 5 , # 4 , # 3 , # 2 , # 1

More articles:


All Articles