من الحياة مع Kubernetes: كيف أزلنا DBMS (وليس فقط) من بيئات المراجعة إلى الثابتة

1. يمكن إنشاء بيئات المراجعة من فروع منفصلة في مستودعات Git المحددة من قبل المطورين (ما يسمى بفروع الميزات).
2. يمكن أن يكون لديهم مثيلات DBMS منفصلة ومعالجات الطابور وخدمات التخزين المؤقت وما إلى ذلك. - بشكل عام ، كل شيء للاستنساخ الكامل لبيئة الإنتاج.
3. إنها تسمح بالتطوير الموازي ، مما يسرع بشكل كبير في إصدار الميزات الجديدة في التطبيق. في الوقت نفسه ، قد تكون هناك حاجة لعشرات من هذه البيئات كل يوم ، وهذا هو السبب في أن سرعة إنشائها أمر بالغ الأهمية.

المشكلة وطريقة حلها

1. لتبسيط عمل مهندسي ضمان الجودة وبعض الموظفين الآخرين ، أخرج جميع قواعد البيانات (و vhosts المقابلة) المستخدمة في المراجعة ، في بيئة منفصلة - ثابتة. للأسباب السائدة في المشروع ، كانت هذه الطريقة في التفاعل معها مثالية.
2. تقليل الوقت المستغرق لإنشاء بيئة مراجعة. عملية إنشاءهم بأكملها من الصفر تعني ضمنيًا ، أي بما في ذلك استنساخ قاعدة البيانات ، والترحيل ، وما إلى ذلك.

• عند إنشاء بيئة مراجعة ، يجب أن يحدث ما يلي مرة واحدة: إنشاء قواعد بيانات في قاعدتي DBMS (MongoDB و PostgreSQL) ، واستعادة قواعد البيانات من نسخة احتياطية / قالب ، وإنشاء vhost في RabbitMQ. سيتطلب ذلك طريقة مناسبة لتحميل مقالب التيار. (إذا كانت لديك بيئات مراجعة من قبل ، فمن المرجح أن لديك بالفعل حل جاهز لهذا.)
• بعد الانتهاء من بيئة المراجعة ، يجب حذف قاعدة البيانات والمضيف الظاهري في RabbitMQ.

• لمهمة التهيئة ، سنستخدم ربطًا pre-installلتشغيله قبل إنشاء جميع الموارد في الإصدار ؛
• لمهمة الحذف ، ربط post-delete.

التنفيذ العملي

{{- if .Values.global.review }}
---
apiVersion: batch/v1
kind: Job
metadata:
  name: db-create-postgres-database
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "5"
spec:
  template:
    metadata:
      name: init-db-postgres
    spec:
      volumes:
      - name: postgres-scripts
        configMap:
          defaultMode: 0755
          name: postgresql-configmap
      containers:
      - name: init-postgres-database
        image: private-registry/postgres 
        command: ["/docker-entrypoint-initdb.d/01-review-load-dump.sh"]
        volumeMounts:
        - name: postgres-scripts
          mountPath: /docker-entrypoint-initdb.d/01-review-load-dump.sh
          subPath: review-load-dump.sh
        env:
{{- include "postgres_env" . | indent 8 }}
      restartPolicy: Never
{{- end }}

1. Job review-. review CI/CD Helm- (. if .Values.global.review ).
2. Job — , ConfigMap. , , . , hook-weight.
3. cURL , PostgreSQL, .
4. PostgreSQL : , shell- .

PostgreSQL

1. استرداد "قياسي" من النسخ الاحتياطي ؛
2. الانتعاش باستخدام القوالب .

---
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: update-postgres-template
spec:
  schedule: "50 4 * * *"
  concurrencyPolicy: Forbid
  successfulJobsHistoryLimit: 3
  failedJobsHistoryLimit: 3
  startingDeadlineSeconds: 600
  jobTemplate:
    spec:
      template:
        spec:
          restartPolicy: Never
          imagePullSecrets:
          - name: registrysecret
          volumes:
          - name: postgres-scripts
            configMap:
              defaultMode: 0755
              name: postgresql-configmap-update-cron
          containers:
          - name: cron
            command: ["/docker-entrypoint-initdb.d/update-postgres-template.sh"]
          image: private-registry/postgres 
            volumeMounts:
            - name: postgres-scripts
              mountPath: /docker-entrypoint-initdb.d/update-postgres-template.sh
              subPath: update-postgres-template.sh
            env:
{{- include "postgres_env" . | indent 8 }}

#!/bin/bash -x

CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

psql -d "${CREDENTIALS}" -w -c "REVOKE CONNECT ON DATABASE ${POSTGRES_DB_TEMPLATE} FROM public"
psql -d "${CREDENTIALS}" -w -c "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = '${POSTGRES_DB_TEMPLATE}'"

curl --fail -vsL ${HOST_FORDEV}/latest_${POSTGRES_DB_STAGE}.psql -o /tmp/${POSTGRES_DB}.psql

psql -d "${CREDENTIALS}" -w -c "ALTER DATABASE ${POSTGRES_DB_TEMPLATE} WITH is_template false allow_connections true;"
psql -d "${CREDENTIALS}" -w -c "DROP DATABASE ${POSTGRES_DB_TEMPLATE};" || true
psql -d "${CREDENTIALS}" -w -c "CREATE DATABASE ${POSTGRES_DB_TEMPLATE};" || true
pg_restore -U ${POSTGRES_USER} -h ${POSTGRES_HOST} -w -j 4 -d ${POSTGRES_DB_TEMPLATE} /tmp/${POSTGRES_DB}.psql

psql -d "${CREDENTIALS}" -w -c "ALTER DATABASE ${POSTGRES_DB_TEMPLATE} WITH is_template true allow_connections false;"

rm -v /tmp/${POSTGRES_DB}.psql

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x
    
 
 
    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

    if [ "$( psql -d "${CREDENTIALS}" -tAc "SELECT CASE WHEN EXISTS (SELECT * FROM pg_stat_activity WHERE datname = '${POSTGRES_DB}' LIMIT 1) THEN 1 ELSE 0 END;" )" = '1' ]
      then
          echo "Open connections has been found in ${POSTGRES_DB} database, will drop them"
          psql -d "${CREDENTIALS}" -c "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = '${POSTGRES_DB}' -- AND pid <> pg_backend_pid();"
      else
          echo "No open connections has been found ${POSTGRES_DB} database, skipping this stage"
    fi

    psql -d "${CREDENTIALS}" -c "DROP DATABASE ${POSTGRES_DB}"

    if [ "$( psql -d "${CREDENTIALS}" -tAc "SELECT 1 FROM pg_database WHERE datname='${POSTGRES_DB}'" )" = '1' ]
      then
          echo "Database ${POSTGRES_DB} still exists, delete review job failed"
          exit 1
      else
          echo "Database ${POSTGRES_DB} does not exist, skipping"
    fi


    psql ${CREDENTIALS} -d postgres -c 'CREATE DATABASE ${POSTGRES_DB} TEMPLATE "loot-stage-copy"'

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  review-delete-db.sh: |
    #!/bin/bash -e

    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

    psql -d "${CREDENTIALS}" -w postgres -c "DROP DATABASE ${POSTGRES_DB}"

1. كل ليلة ، يتم عمل نسخة احتياطية من قاعدة البيانات بحيث يمكن تنزيلها من الشبكة المحلية للكتلة.
2. في وقت إنشاء بيئة المراجعة ، يتم تحميل قاعدة البيانات واستعادتها من التفريغ.
3. عند نشر التفريغ ، يتم تنفيذ جميع الإجراءات الأخرى.

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x

    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"
    psql -d "${CREDENTIALS}" -w -c "DROP DATABASE ${POSTGRES_DB}" || true
    psql -d "${CREDENTIALS}" -w -c "CREATE DATABASE ${POSTGRES_DB}"

    curl --fail -vsL ${HOST_FORDEV}/latest_${POSTGRES_DB_STAGE}.psql -o /tmp/${POSTGRES_DB}.psql

    psql psql -d "${CREDENTIALS}" -w -c "CREATE EXTENSION ip4r;"
    pg_restore -U ${POSTGRES_USER} -h ${POSTGRES_HOST} -w -j 4 -d ${POSTGRES_DB} /tmp/${POSTGRES_DB}.psql
    rm -v /tmp/${POSTGRES_DB}.psql

مونغودب

1. هو في حالة موقوفة .
2. وفقًا لنتائج اختباراتنا ، لم نجد فرقًا كبيرًا في وقت استرداد قاعدة البيانات مقارنة بالعادة المعتادة mongo_restore. ومع ذلك ، ألاحظ أنه تم إجراء الاختبار كجزء من مشروع واحد - في حالتك ، يمكن أن تكون النتائج مختلفة تمامًا.

1. يمكن أن يستغرق الاسترداد وقتًا طويلاً ، على سبيل المثال ، إذا كان نظام إدارة قواعد البيانات (DBMS) الخاص بك موجودًا على نظام ملفات الشبكة (للحالات التي لا توجد بها بيئة إنتاج). ثم يمكنك ببساطة نقل DBMS من المرحلة إلى عقدة منفصلة واستخدام التخزين المحلي. نظرًا لأن هذا ليس إنتاجًا ، فإن سرعة إنشاء مراجعة أكثر أهمية بالنسبة لنا.
2. يمكنك نقل كل مهمة استرداد إلى لوحة منفصلة ، مما يسمح لك بتنفيذ عمليات الترحيل والعمليات الأخرى التي تعتمد على تشغيل نظام إدارة قواعد البيانات (DBMS) مسبقًا. لذا فإننا نوفر الوقت من خلال إكمالها مسبقًا.
3. في بعض الأحيان يمكنك تقليل حجم التفريغ عن طريق حذف البيانات القديمة / غير ذات الصلة - إلى الحد الذي يكفي لترك بنية قاعدة البيانات فقط. بالطبع ، هذا ليس للحالات التي تتطلب تفريغ كامل (على سبيل المثال ، لمهام اختبار ضمان الجودة).

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: mongodb-scripts-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  review-delete-db.sh: |
    #!/bin/bash -x

    mongo ${MONGODB_NAME} --eval "db.dropDatabase()" --host ${MONGODB_REPLICASET}/${MONGODB_HOST}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: mongodb-scripts
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x

    curl --fail -vsL ${HOST_FORDEV}/latest_${MONGODB_NAME_STAGE}.gz -o /tmp/${MONGODB_NAME}.gz

    mongo ${MONGODB_NAME} --eval "db.dropDatabase()" --host ${MONGODB_REPLICASET}/${MONGODB_HOST}
    mongorestore --gzip --nsFrom "${MONGODB_NAME_STAGE}.*" --nsTo "${MONGODB_NAME}.*" --archive=/tmp/${MONGODB_NAME}.gz --host ${MONGODB_REPLICASET}/${MONGODB_HOST}

the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead

Rabbitmq

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: rabbitmq-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  rabbitmq-setup-vhost.sh: |
    #!/bin/bash -x

    /usr/local/bin/rabbitmqadmin -H ${RABBITMQ_HOST} -u ${RABBITMQ_USER} -p ${RABBITMQ_PASSWORD} declare vhost name=${RABBITMQ_VHOST}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: rabbitmq-configmap-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  rabbitmq-delete-vhost.sh: |
    #!/bin/bash -x

    /usr/local/bin/rabbitmqadmin -H ${RABBITMQ_HOST} -u ${RABBITMQ_USER} -p ${RABBITMQ_PASSWORD} delete vhost name=${RABBITMQ_VHOST}

سلبيات

1. اتضح نقطة واحدة من الفشل في شكل بيئة المرحلة.
2. إذا تم تشغيل تطبيق في بيئة مرحلة في نسخة متماثلة واحدة فقط ، فإننا نصبح أكثر اعتمادًا على المضيف الذي يعمل عليه هذا التطبيق. وفقًا لذلك ، مع زيادة عدد بيئات المراجعة ، يزداد الحمل على العقدة بشكل متناسب دون القدرة على موازنة هذا الحمل.

استنتاج

ملاحظة

• " نصائح وحيل Kubernetes: تسريع عملية التمهيد لقواعد البيانات الكبيرة " ؛
• " هجرة RabbitMQ دون عوائق إلى Kubernetes " ؛
• " الهجرة دون إعاقة MongoDB إلى Kubernetes " ؛
• " تشغيل الفرق في عملية تسليم إصدار تطبيق جديد إلى Kubernetes ".