Dari kehidupan dengan Kubernetes: Bagaimana kami menghapus DBMS (dan tidak hanya) dari lingkungan ulasan menjadi statis

1. Lingkungan tinjauan dapat dibuat dari cabang terpisah di repositori Git yang didefinisikan oleh pengembang (yang disebut cabang fitur).
2. Mereka dapat memiliki instance DBMS yang terpisah, prosesor antrian, layanan caching, dll. - secara umum, semuanya untuk reproduksi penuh dari lingkungan produksi.
3. Mereka memungkinkan pengembangan paralel, secara signifikan mempercepat pelepasan fitur baru dalam aplikasi. Pada saat yang sama, lusinan lingkungan seperti itu mungkin diperlukan setiap hari, itulah sebabnya kecepatan penciptaannya sangat penting.

Masalah dan cara mengatasinya

1. Untuk menyederhanakan pekerjaan QA-engineer dan beberapa karyawan lainnya, keluarkan semua basis data (dan vhosts terkait) yang digunakan dalam tinjauan, dalam lingkungan statis - terpisah. Untuk alasan yang berlaku dalam proyek ini, cara berinteraksi dengan mereka adalah optimal.
2. Kurangi waktu yang diperlukan untuk membuat lingkungan ulasan. Seluruh proses penciptaan mereka dari awal tersirat, yaitu. termasuk kloning basis data, migrasi, dll.

• Saat membuat lingkungan ulasan, berikut ini harus terjadi sekali: pembuatan database di dua DBMS (MongoDB dan PostgreSQL), pemulihan database dari cadangan / templat, dan pembuatan vhost di RabbitMQ. Ini akan membutuhkan cara yang nyaman untuk memuat dump saat ini. (Jika Anda pernah memiliki lingkungan ulasan sebelumnya, kemungkinan besar Anda sudah memiliki solusi yang siap pakai untuk ini.)
• Setelah menyelesaikan lingkungan ulasan, Anda harus menghapus database dan host virtual di RabbitMQ.

• untuk tugas inisialisasi, kami akan menggunakan pengait pre-installuntuk meluncurkannya sebelum membuat semua sumber daya dalam rilis;
• untuk tugas hapus, sebuah kait post-delete.

Implementasi praktis

{{- if .Values.global.review }}
---
apiVersion: batch/v1
kind: Job
metadata:
  name: db-create-postgres-database
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "5"
spec:
  template:
    metadata:
      name: init-db-postgres
    spec:
      volumes:
      - name: postgres-scripts
        configMap:
          defaultMode: 0755
          name: postgresql-configmap
      containers:
      - name: init-postgres-database
        image: private-registry/postgres 
        command: ["/docker-entrypoint-initdb.d/01-review-load-dump.sh"]
        volumeMounts:
        - name: postgres-scripts
          mountPath: /docker-entrypoint-initdb.d/01-review-load-dump.sh
          subPath: review-load-dump.sh
        env:
{{- include "postgres_env" . | indent 8 }}
      restartPolicy: Never
{{- end }}

1. Job review-. review CI/CD Helm- (. if .Values.global.review ).
2. Job — , ConfigMap. , , . , hook-weight.
3. cURL , PostgreSQL, .
4. PostgreSQL : , shell- .

PostgreSQL

1. Pemulihan "Standar" dari cadangan;
2. Pemulihan menggunakan templat .

---
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: update-postgres-template
spec:
  schedule: "50 4 * * *"
  concurrencyPolicy: Forbid
  successfulJobsHistoryLimit: 3
  failedJobsHistoryLimit: 3
  startingDeadlineSeconds: 600
  jobTemplate:
    spec:
      template:
        spec:
          restartPolicy: Never
          imagePullSecrets:
          - name: registrysecret
          volumes:
          - name: postgres-scripts
            configMap:
              defaultMode: 0755
              name: postgresql-configmap-update-cron
          containers:
          - name: cron
            command: ["/docker-entrypoint-initdb.d/update-postgres-template.sh"]
          image: private-registry/postgres 
            volumeMounts:
            - name: postgres-scripts
              mountPath: /docker-entrypoint-initdb.d/update-postgres-template.sh
              subPath: update-postgres-template.sh
            env:
{{- include "postgres_env" . | indent 8 }}

#!/bin/bash -x

CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

psql -d "${CREDENTIALS}" -w -c "REVOKE CONNECT ON DATABASE ${POSTGRES_DB_TEMPLATE} FROM public"
psql -d "${CREDENTIALS}" -w -c "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = '${POSTGRES_DB_TEMPLATE}'"

curl --fail -vsL ${HOST_FORDEV}/latest_${POSTGRES_DB_STAGE}.psql -o /tmp/${POSTGRES_DB}.psql

psql -d "${CREDENTIALS}" -w -c "ALTER DATABASE ${POSTGRES_DB_TEMPLATE} WITH is_template false allow_connections true;"
psql -d "${CREDENTIALS}" -w -c "DROP DATABASE ${POSTGRES_DB_TEMPLATE};" || true
psql -d "${CREDENTIALS}" -w -c "CREATE DATABASE ${POSTGRES_DB_TEMPLATE};" || true
pg_restore -U ${POSTGRES_USER} -h ${POSTGRES_HOST} -w -j 4 -d ${POSTGRES_DB_TEMPLATE} /tmp/${POSTGRES_DB}.psql

psql -d "${CREDENTIALS}" -w -c "ALTER DATABASE ${POSTGRES_DB_TEMPLATE} WITH is_template true allow_connections false;"

rm -v /tmp/${POSTGRES_DB}.psql

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x
    
 
 
    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

    if [ "$( psql -d "${CREDENTIALS}" -tAc "SELECT CASE WHEN EXISTS (SELECT * FROM pg_stat_activity WHERE datname = '${POSTGRES_DB}' LIMIT 1) THEN 1 ELSE 0 END;" )" = '1' ]
      then
          echo "Open connections has been found in ${POSTGRES_DB} database, will drop them"
          psql -d "${CREDENTIALS}" -c "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = '${POSTGRES_DB}' -- AND pid <> pg_backend_pid();"
      else
          echo "No open connections has been found ${POSTGRES_DB} database, skipping this stage"
    fi

    psql -d "${CREDENTIALS}" -c "DROP DATABASE ${POSTGRES_DB}"

    if [ "$( psql -d "${CREDENTIALS}" -tAc "SELECT 1 FROM pg_database WHERE datname='${POSTGRES_DB}'" )" = '1' ]
      then
          echo "Database ${POSTGRES_DB} still exists, delete review job failed"
          exit 1
      else
          echo "Database ${POSTGRES_DB} does not exist, skipping"
    fi


    psql ${CREDENTIALS} -d postgres -c 'CREATE DATABASE ${POSTGRES_DB} TEMPLATE "loot-stage-copy"'

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  review-delete-db.sh: |
    #!/bin/bash -e

    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

    psql -d "${CREDENTIALS}" -w postgres -c "DROP DATABASE ${POSTGRES_DB}"

1. Setiap malam, cadangan database dibuat sehingga dapat diunduh dari jaringan lokal cluster.
2. Pada saat pembuatan lingkungan ulasan, database dimuat dan dipulihkan dari dump.
3. Ketika dump dikerahkan, semua tindakan lain dilakukan.

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x

    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"
    psql -d "${CREDENTIALS}" -w -c "DROP DATABASE ${POSTGRES_DB}" || true
    psql -d "${CREDENTIALS}" -w -c "CREATE DATABASE ${POSTGRES_DB}"

    curl --fail -vsL ${HOST_FORDEV}/latest_${POSTGRES_DB_STAGE}.psql -o /tmp/${POSTGRES_DB}.psql

    psql psql -d "${CREDENTIALS}" -w -c "CREATE EXTENSION ip4r;"
    pg_restore -U ${POSTGRES_USER} -h ${POSTGRES_HOST} -w -j 4 -d ${POSTGRES_DB} /tmp/${POSTGRES_DB}.psql
    rm -v /tmp/${POSTGRES_DB}.psql

Mongodb

1. Dia dalam kondisi usang .
2. Menurut hasil pengujian kami, kami tidak menemukan perbedaan besar dalam waktu pemulihan basis data dibandingkan dengan yang biasa mongo_restore. Namun, saya perhatikan bahwa pengujian dilakukan sebagai bagian dari satu proyek - dalam kasus Anda, hasilnya bisa sangat berbeda.

1. Pemulihan bisa memakan waktu lama, misalnya, jika DBMS Anda berada di sistem file jaringan (untuk kasus-kasus yang tidak dengan lingkungan produksi). Kemudian Anda cukup mentransfer DBMS dari stage ke node yang terpisah dan menggunakan penyimpanan lokal. Karena ini bukan produksi, kecepatan membuat ulasan lebih penting bagi kami.
2. Anda dapat memindahkan setiap pemulihan Pekerjaan ke pod yang terpisah, memungkinkan Anda untuk melakukan pra-eksekusi migrasi dan proses lain yang bergantung pada DBMS. Jadi kami menghemat waktu dengan menyelesaikannya terlebih dahulu.
3. Kadang-kadang Anda dapat mengurangi ukuran dump dengan menghapus data lama / tidak relevan - sampai pada titik itu cukup untuk hanya meninggalkan struktur database. Tentu saja, ini bukan untuk kasus-kasus ketika dump penuh diperlukan (katakanlah, untuk tugas pengujian QA).

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: mongodb-scripts-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  review-delete-db.sh: |
    #!/bin/bash -x

    mongo ${MONGODB_NAME} --eval "db.dropDatabase()" --host ${MONGODB_REPLICASET}/${MONGODB_HOST}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: mongodb-scripts
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x

    curl --fail -vsL ${HOST_FORDEV}/latest_${MONGODB_NAME_STAGE}.gz -o /tmp/${MONGODB_NAME}.gz

    mongo ${MONGODB_NAME} --eval "db.dropDatabase()" --host ${MONGODB_REPLICASET}/${MONGODB_HOST}
    mongorestore --gzip --nsFrom "${MONGODB_NAME_STAGE}.*" --nsTo "${MONGODB_NAME}.*" --archive=/tmp/${MONGODB_NAME}.gz --host ${MONGODB_REPLICASET}/${MONGODB_HOST}

the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead

Rabbitmq

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: rabbitmq-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  rabbitmq-setup-vhost.sh: |
    #!/bin/bash -x

    /usr/local/bin/rabbitmqadmin -H ${RABBITMQ_HOST} -u ${RABBITMQ_USER} -p ${RABBITMQ_PASSWORD} declare vhost name=${RABBITMQ_VHOST}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: rabbitmq-configmap-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  rabbitmq-delete-vhost.sh: |
    #!/bin/bash -x

    /usr/local/bin/rabbitmqadmin -H ${RABBITMQ_HOST} -u ${RABBITMQ_USER} -p ${RABBITMQ_PASSWORD} delete vhost name=${RABBITMQ_VHOST}

kerugian

1. Ternyata satu titik kegagalan dalam bentuk lingkungan panggung.
2. Jika aplikasi dalam lingkungan panggung hanya berjalan dalam satu replika, kita menjadi semakin bergantung pada host tempat aplikasi ini berjalan. Dengan demikian, dengan peningkatan jumlah tinjauan lingkungan, beban pada simpul meningkat secara proporsional tanpa kemampuan untuk menyeimbangkan beban ini.

Kesimpulan

PS

• “ Kubernetes tips & trik: mempercepat bootstrap dari database besar ”;
• “ Migrasi RabbitMQ yang tidak terhalang ke Kubernetes ”;
• " Migrasi MongoDB yang tidak terhalang ke Kubernetes ";
• " Menjalankan tim dalam proses pengiriman rilis aplikasi baru ke Kubernetes ."