कुबेरनेट्स के साथ जीवन से: हमने समीक्षा परिवेशों से स्थैतिक तक DBMS (और न केवल) को हटा दिया

1. डेवलपर्स द्वारा परिभाषित गिट रिपॉजिटरी में अलग-अलग शाखाओं से समीक्षा वातावरण बनाया जा सकता है (तथाकथित सुविधा शाखाएं)।
2. उनके पास अलग-अलग डीबीएमएस इंस्टेंस, कतार प्रोसेसर, कैशिंग सेवाएं आदि हो सकते हैं। - सामान्य तौर पर, उत्पादन पर्यावरण के पूर्ण प्रजनन के लिए सब कुछ।
3. वे समानांतर विकास, आवेदन में नई सुविधाओं की रिहाई में तेजी लाने की अनुमति देते हैं। इसी समय, हर दिन दर्जनों ऐसे वातावरण की आवश्यकता हो सकती है, जिसके कारण उनकी रचना की गति महत्वपूर्ण है।

समस्या और इसे हल करने का तरीका

1. क्यूए-इंजीनियरों और कुछ अन्य कर्मचारियों के काम को सरल बनाने के लिए, समीक्षा में उपयोग किए जाने वाले सभी डेटाबेस (और इसी vhosts) को एक अलग - स्थिर - पर्यावरण में उतार दें। परियोजना में प्रचलित कारणों के लिए, उनके साथ बातचीत का यह तरीका इष्टतम था।
2. समीक्षा का माहौल बनाने में लगने वाले समय को कम करें। खरोंच से उनके निर्माण की पूरी प्रक्रिया निहित है, अर्थात्। डेटाबेस क्लोनिंग, माइग्रेशन आदि सहित।

• एक समीक्षा वातावरण बनाते समय, निम्नलिखित एक बार होना चाहिए: दो DBMSs (MongoDB और PostgreSQL) में डेटाबेस का निर्माण, बैकअप / टेम्पलेट से डेटाबेस की बहाली, और RabbitMQ में vhost का निर्माण। इससे वर्तमान डंप को लोड करने के लिए एक सुविधाजनक तरीके की आवश्यकता होगी। (यदि आपके पास पहले वातावरण की समीक्षा की गई थी, तो सबसे अधिक संभावना है कि आपके पास इसके लिए पहले से तैयार समाधान है।)
• समीक्षा वातावरण के पूरा होने के बाद, आपको डेटाबेस और वर्चुअल होस्ट को RabbitMQ में हटाना होगा।

• आरंभीकरण कार्य के लिए, हम pre-installरिलीज में सभी संसाधनों को बनाने से पहले इसे लॉन्च करने के लिए एक हुक का उपयोग करेंगे ;
• हटाए गए कार्य के लिए, एक हुक post-delete।

व्यावहारिक कार्यान्वयन

{{- if .Values.global.review }}
---
apiVersion: batch/v1
kind: Job
metadata:
  name: db-create-postgres-database
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "5"
spec:
  template:
    metadata:
      name: init-db-postgres
    spec:
      volumes:
      - name: postgres-scripts
        configMap:
          defaultMode: 0755
          name: postgresql-configmap
      containers:
      - name: init-postgres-database
        image: private-registry/postgres 
        command: ["/docker-entrypoint-initdb.d/01-review-load-dump.sh"]
        volumeMounts:
        - name: postgres-scripts
          mountPath: /docker-entrypoint-initdb.d/01-review-load-dump.sh
          subPath: review-load-dump.sh
        env:
{{- include "postgres_env" . | indent 8 }}
      restartPolicy: Never
{{- end }}

1. Job review-. review CI/CD Helm- (. if .Values.global.review ).
2. Job — , ConfigMap. , , . , hook-weight.
3. cURL , PostgreSQL, .
4. PostgreSQL : , shell- .

PostgreSQL

1. बैकअप से "मानक" वसूली;
2. टेम्पलेट्स का उपयोग करके पुनर्प्राप्ति ।

---
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: update-postgres-template
spec:
  schedule: "50 4 * * *"
  concurrencyPolicy: Forbid
  successfulJobsHistoryLimit: 3
  failedJobsHistoryLimit: 3
  startingDeadlineSeconds: 600
  jobTemplate:
    spec:
      template:
        spec:
          restartPolicy: Never
          imagePullSecrets:
          - name: registrysecret
          volumes:
          - name: postgres-scripts
            configMap:
              defaultMode: 0755
              name: postgresql-configmap-update-cron
          containers:
          - name: cron
            command: ["/docker-entrypoint-initdb.d/update-postgres-template.sh"]
          image: private-registry/postgres 
            volumeMounts:
            - name: postgres-scripts
              mountPath: /docker-entrypoint-initdb.d/update-postgres-template.sh
              subPath: update-postgres-template.sh
            env:
{{- include "postgres_env" . | indent 8 }}

#!/bin/bash -x

CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

psql -d "${CREDENTIALS}" -w -c "REVOKE CONNECT ON DATABASE ${POSTGRES_DB_TEMPLATE} FROM public"
psql -d "${CREDENTIALS}" -w -c "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = '${POSTGRES_DB_TEMPLATE}'"

curl --fail -vsL ${HOST_FORDEV}/latest_${POSTGRES_DB_STAGE}.psql -o /tmp/${POSTGRES_DB}.psql

psql -d "${CREDENTIALS}" -w -c "ALTER DATABASE ${POSTGRES_DB_TEMPLATE} WITH is_template false allow_connections true;"
psql -d "${CREDENTIALS}" -w -c "DROP DATABASE ${POSTGRES_DB_TEMPLATE};" || true
psql -d "${CREDENTIALS}" -w -c "CREATE DATABASE ${POSTGRES_DB_TEMPLATE};" || true
pg_restore -U ${POSTGRES_USER} -h ${POSTGRES_HOST} -w -j 4 -d ${POSTGRES_DB_TEMPLATE} /tmp/${POSTGRES_DB}.psql

psql -d "${CREDENTIALS}" -w -c "ALTER DATABASE ${POSTGRES_DB_TEMPLATE} WITH is_template true allow_connections false;"

rm -v /tmp/${POSTGRES_DB}.psql

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x
    
 
 
    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

    if [ "$( psql -d "${CREDENTIALS}" -tAc "SELECT CASE WHEN EXISTS (SELECT * FROM pg_stat_activity WHERE datname = '${POSTGRES_DB}' LIMIT 1) THEN 1 ELSE 0 END;" )" = '1' ]
      then
          echo "Open connections has been found in ${POSTGRES_DB} database, will drop them"
          psql -d "${CREDENTIALS}" -c "SELECT pg_terminate_backend(pg_stat_activity.pid) FROM pg_stat_activity WHERE pg_stat_activity.datname = '${POSTGRES_DB}' -- AND pid <> pg_backend_pid();"
      else
          echo "No open connections has been found ${POSTGRES_DB} database, skipping this stage"
    fi

    psql -d "${CREDENTIALS}" -c "DROP DATABASE ${POSTGRES_DB}"

    if [ "$( psql -d "${CREDENTIALS}" -tAc "SELECT 1 FROM pg_database WHERE datname='${POSTGRES_DB}'" )" = '1' ]
      then
          echo "Database ${POSTGRES_DB} still exists, delete review job failed"
          exit 1
      else
          echo "Database ${POSTGRES_DB} does not exist, skipping"
    fi


    psql ${CREDENTIALS} -d postgres -c 'CREATE DATABASE ${POSTGRES_DB} TEMPLATE "loot-stage-copy"'

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  review-delete-db.sh: |
    #!/bin/bash -e

    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"

    psql -d "${CREDENTIALS}" -w postgres -c "DROP DATABASE ${POSTGRES_DB}"

1. हर रात, एक डेटाबेस बैकअप बनाया जाता है ताकि इसे क्लस्टर के स्थानीय नेटवर्क से डाउनलोड किया जा सके।
2. समीक्षा वातावरण के निर्माण के समय, डेटाबेस को डंप से लोड और बहाल किया जाता है।
3. जब डंप को तैनात किया जाता है, तो अन्य सभी क्रियाएं की जाती हैं।

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: postgresql-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x

    CREDENTIALS="postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@${POSTGRES_HOST}/postgres"
    psql -d "${CREDENTIALS}" -w -c "DROP DATABASE ${POSTGRES_DB}" || true
    psql -d "${CREDENTIALS}" -w -c "CREATE DATABASE ${POSTGRES_DB}"

    curl --fail -vsL ${HOST_FORDEV}/latest_${POSTGRES_DB_STAGE}.psql -o /tmp/${POSTGRES_DB}.psql

    psql psql -d "${CREDENTIALS}" -w -c "CREATE EXTENSION ip4r;"
    pg_restore -U ${POSTGRES_USER} -h ${POSTGRES_HOST} -w -j 4 -d ${POSTGRES_DB} /tmp/${POSTGRES_DB}.psql
    rm -v /tmp/${POSTGRES_DB}.psql

MongoDB

1. वह पदावनत अवस्था में है ।
2. हमारे परीक्षण के परिणामों के अनुसार, हमने सामान्य रिकवरी की तुलना में डेटाबेस रिकवरी के समय में बड़ा अंतर नहीं पाया mongo_restore। हालांकि, मैं ध्यान देता हूं कि परीक्षण एक परियोजना के हिस्से के रूप में किया गया था - आपके मामले में, परिणाम पूरी तरह से अलग हो सकते हैं।

1. पुनर्प्राप्ति में एक लंबा समय लग सकता है, उदाहरण के लिए, यदि आपका DBMS नेटवर्क फ़ाइल सिस्टम पर स्थित है ( उत्पादन के वातावरण के मामलों के लिए नहीं )। फिर आप बस चरण से DBMS को एक अलग नोड में स्थानांतरित कर सकते हैं और स्थानीय भंडारण का उपयोग कर सकते हैं। चूंकि यह उत्पादन नहीं है, इसलिए हमारे लिए समीक्षा बनाने की गति अधिक महत्वपूर्ण है।
2. आप प्रत्येक जॉब रिकवरी को एक अलग पॉड में ले जा सकते हैं, जिससे आप डीबीएमएस के संचालन पर निर्भर होने वाले माइग्रेशन और अन्य प्रक्रियाओं को पूर्व-निष्पादित कर सकते हैं। इसलिए हम उन्हें पहले से पूरा करके समय बचाते हैं।
3. कभी-कभी आप पुराने / अप्रासंगिक डेटा को हटाकर डंप के आकार को कम कर सकते हैं - इस बिंदु तक कि यह केवल डेटाबेस संरचना को छोड़ने के लिए पर्याप्त है। बेशक, यह उन मामलों के लिए नहीं है जब पूर्ण डंप की आवश्यकता होती है (जैसे, क्यूए परीक्षण कार्यों के लिए)।

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: mongodb-scripts-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  review-delete-db.sh: |
    #!/bin/bash -x

    mongo ${MONGODB_NAME} --eval "db.dropDatabase()" --host ${MONGODB_REPLICASET}/${MONGODB_HOST}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: mongodb-scripts
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  review-load-dump.sh: |
    #!/bin/bash -x

    curl --fail -vsL ${HOST_FORDEV}/latest_${MONGODB_NAME_STAGE}.gz -o /tmp/${MONGODB_NAME}.gz

    mongo ${MONGODB_NAME} --eval "db.dropDatabase()" --host ${MONGODB_REPLICASET}/${MONGODB_HOST}
    mongorestore --gzip --nsFrom "${MONGODB_NAME_STAGE}.*" --nsTo "${MONGODB_NAME}.*" --archive=/tmp/${MONGODB_NAME}.gz --host ${MONGODB_REPLICASET}/${MONGODB_HOST}

the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead

RabbitMQ

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: rabbitmq-configmap
  annotations:
    "helm.sh/hook": "pre-install"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation,hook-succeeded
data:
  rabbitmq-setup-vhost.sh: |
    #!/bin/bash -x

    /usr/local/bin/rabbitmqadmin -H ${RABBITMQ_HOST} -u ${RABBITMQ_USER} -p ${RABBITMQ_PASSWORD} declare vhost name=${RABBITMQ_VHOST}
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: rabbitmq-configmap-on-delete
  annotations:
    "helm.sh/hook": "post-delete, pre-delete"
    "helm.sh/hook-weight": "1"
    "helm.sh/hook-delete-policy": before-hook-creation
data:
  rabbitmq-delete-vhost.sh: |
    #!/bin/bash -x

    /usr/local/bin/rabbitmqadmin -H ${RABBITMQ_HOST} -u ${RABBITMQ_USER} -p ${RABBITMQ_PASSWORD} delete vhost name=${RABBITMQ_VHOST}

नुकसान

1. यह एक मंच के माहौल के रूप में विफलता का एक भी बिंदु निकलता है।
2. यदि एक मंच के वातावरण में एक एप्लिकेशन केवल एक प्रतिकृति में चलता है, तो हम उस होस्ट पर और भी अधिक निर्भर हो जाते हैं जिस पर यह एप्लिकेशन चलता है। तदनुसार, समीक्षा वातावरण की संख्या में वृद्धि के साथ, नोड पर लोड इस लोड को संतुलित करने की क्षमता के बिना आनुपातिक रूप से बढ़ जाता है।

निष्कर्ष

पुनश्च

• " कुबेरनेट्स टिप्स एंड ट्रिक्स: बड़े डेटाबेस के बूटस्ट्रैप को तेज करना ";
• " Kubernetes के लिए असंरक्षित RabbitMQ प्रवास ";
• " कुबेरनेट्स के लिए अनबॉन्डेड MongoDB प्रवासन ";
• " कुबेरनेट्स को एक नया आवेदन जारी करने की प्रक्रिया में दौड़ने वाली टीमें ।"