फेसबुक वेबबुक प्रोसेसिंग का विकास: शून्य से 25,000 प्रति सेकंड

ManyChat क्या है

क्यों फेसबुक

• Telegram , №1 Facebook. 1,5 , Telegram 200-300 .
• Facebook , . , Facebook - .
• Facebook F8 - 300 . Facebook Messenger. 20 . ManyChat 40%.

Facebook

टेक्नोलॉजिकल स्टैक

फेसबुक Webhook को संभालना

{
    "object":"page",
    "entry":[
        }
            "id":"<PAGE_ID>",
            "time":1458692752478,
            "messaging":[
                {
                    "sender":{
                        "id":"<PSID>"
                    },
                    "recipient":{
                        "id":"<PAGE_ID>"
                    },

                    ...
                }
            ]  
        }
    ]
}

• अनुरोध nginx को जाता है।
• Nginx PHP-FPM तक पहुँचता है।
• PHP-FPM Yii तक के एप्लिकेशन को लेता है।
• वेबहूक नियंत्रक तर्क को संसाधित करता है और इसके अनुसार फेसबुक को अनुरोध भेजता है।

Nginx और PHP-FPM का एक गुच्छा

PostgreSQL पर कतारें

रेडिस पर कतार

कतारों के लिए रेडिस चुनना एक कल्पनात्मक रूप से अच्छा निर्णय है।

ReactPHP

क्लस्टर

आकाशगंगाएँ स्केलिंग का हमारा तरीका हैं।

Nginx और Lua के एक समूह के साथ ReactPHP की जगह

• वह 10 हजार आरपीएस के लोड का सामना नहीं कर सका - रिएक्टपीएचपी की शुरुआत के बाद से लोड बढ़ गया है।
• तैनाती, इसके अलावा, क्रमिक रूप से भी इसे पुनरारंभ करना आवश्यक था, क्योंकि आप आने वाले वेबहूक के प्रसंस्करण को बाधित नहीं कर सकते। फेसबुक एप्लिकेशन को निष्क्रिय कर देता है जब उसे पता चलता है कि उसे समस्या है। ManyChat के लिए, यह एक आपदा है - 650 हजार सक्रिय रूप से परिचालन व्यवसाय हमें माफ नहीं करेंगे।

location / {
    error_log /var/log/nginx/error.log;

    resolver ###resolver###;

    content_by_lua '

        ngx.req.read_body()
        local mybody = ngx.req.get_body_data()

        if not mybody then
            return ngx.exit(400)
        end

        local hash = ngx.crc32_long(mybody)
        local cluster = hash % ###wh_inbound_shards### + 1

        local redis = require "resty.redis";
        local red = radis.new()
        red:set_timeout(3000)

        local ok, err = red:connect("###redisConnectionWh2.server.host###", 6379)
		
        if not ok then
            ngx.log(ngx.ERR, err, "Redis failed to connect")
            return ngx.exit(403)
        end

        local ok, err = red:rpush("###wh_inbound_queue###" .. queuesuffix .. cluster, mybody)
        
        if not ok then
            ngx.log(ngx.ERR, err, "Failed to write data", mybody)
            return ngx.exit(500)
        end

        local ok, err = red:set_keepalive(10000, 100)

        ngn.say("ok")
    ';
}

लुआ पर समाधान में सुधार

प्रसंस्करण विकास

PHP में करने के लिए हाईलोड को ठंडा किया जा सकता है।

• नियमित Nginx और PHP-FPM के साथ शुरू किया।
• PostgreSQL और फिर Redis में कतार में जोड़े गए।
• क्लस्टरिंग जोड़ा गया।
• कार्यान्वित ReactPHP।
• हमने नॉग्क्स और लुआ के एक गुच्छा के साथ रिएक्टपीएचपी को बदल दिया, और बाद में तर्क को गुच्छा में स्थानांतरित कर दिया।

, , 11 TeamLead Conf. , LeSS, .

PHP Russia Saint HighLoad++, . PHP , — PHP Russia 13 . highload PHP, Saint HighLoad++ .