सेलेनियम का उपयोग करके cian.ru से तस्वीरें खींचना

नमस्कार प्रिय खब्रोविट्स, इस छोटे से उदाहरण में मैं यह बताना चाहता हूं कि आप एक पृष्ठ को पार्स कैसे कर सकते हैं, जिस पर जावास्क्रिप्ट विजेट्स का उपयोग करके डेटा लोड किया गया है। इसके अलावा, भले ही इस उदाहरण में पृष्ठ सहेजना आसान हो, फिर भी आप इन विगेट्स के कारण इसमें से सभी आवश्यक फ़ोटो को पार्स नहीं कर सकते। इस मामले में, मैं एक उदाहरण के रूप में cian.ru का उपयोग करता हूं , जिसकी अपनी एपीआई है , जिसका मैं उपयोग नहीं करूंगा, इसके बजाय मैं सेलियम का उपयोग करूंगा । मैं cian.ru पर काम नहीं करता, मैं सिर्फ उदाहरण के रूप में इस साइट का उपयोग करता हूं। पार्सर में कोड सरल है और शुरुआती के लिए डिज़ाइन किया गया है।

एक संक्षिप्त परिचय - जब मेरे अवकाश पर मैंने cian.ru पर मरम्मत के उदाहरणों को देखा, तो मुझे लगा कि मुझे जो तस्वीरें पसंद हैं उन्हें सहेजना अच्छा होगा, लेकिन मैन्युअल रूप से उन्हें सहेजना एक लंबा समय होगा, इसके अलावा यह हमारा तरीका नहीं है, इसलिए मैंने इसे लिखने का फैसला किया पार्सर।

पार्सर को एनाकोंडा , सेलेनियम और क्रोमेड्रिवर बाइनरी के वितरण से अजगर 3 में लिखा गया है , मैंने इन लिंक से अलग से स्थापित किया है। (और निश्चित रूप से, सिस्टम पर Google Chrome ब्राउज़र स्थापित होना चाहिए )

नीचे पूर्ण पार्सर कोड है, फिर मैं मुख्य बिंदुओं का अलग से विश्लेषण करूंगा।

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import NoSuchElementException
import chromedriver_binary 
import urllib
import time

print('start...')

site = "https://www.cian.ru/sale/flat/222059642/"

chrome_options = Options()
chrome_options.add_argument("--headless")

driver = webdriver.Chrome(options=chrome_options)
#driver = webdriver.Chrome()
driver.get(site)

i = 0

while True:   
    try:
        url = driver.find_element_by_xpath("//div[contains(@class, 'fotorama__active')]/img").get_attribute('src')
    except NoSuchElementException:
        break        

    i += 1
    print(i, url)

    driver.find_element_by_xpath("//div[@class='fotorama__arr fotorama__arr--next']").click()

    name = url.split('/')[-1]
    urllib.request.urlretrieve(url, name)

    time.sleep(2)

print('done.')

https://www.cian.ru/sale/flat/222059642/ . driver get. , Headless Chrome, .. webdriver.Chrome() --headless, , , chrome_options , .

site = "https://www.cian.ru/sale/flat/222059642/"

chrome_options = Options()
chrome_options.add_argument("--headless")

driver = webdriver.Chrome(options=chrome_options)
#driver = webdriver.Chrome()
driver.get(site)

, , , .. "next".

url , try/except NoSuchElementException, , Selenium .

    try:
        url = driver.find_element_by_xpath("//div[contains(@class, 'fotorama__active')]/img").get_attribute('src')
    except NoSuchElementException:
        break       

.

    driver.find_element_by_xpath("//div[@class='fotorama__arr fotorama__arr--next']").click()

urllib.

    name = url.split('/')[-1]
    urllib.request.urlretrieve(url, name)

, . ( Selenium)

    time.sleep(2)

Selenium, , , - .

.