Node.js, Tor, Puppeteer और Cheerio: अनाम वेब स्क्रैपिंग

• कठपुतली - वेब पृष्ठों तक पहुँचने के लिए।
• Cheerio - HTML कोड पार्स करने के लिए।
• टॉर - एक अलग आईपी पते से प्रत्येक अनुरोध को निष्पादित करने के लिए।

तोर स्थापना

sudo apt-get install tor

तोर सेटअप

#  4 SOCKS-,       Tor-.

SocksPort 9050
SocksPort 9052
SocksPort 9053
SocksPort 9054

• SocksPort . — , , SOCKS, .
• SocksPort , , , - .
• 9050 — , Tor- .
• 9051. Tor , , , Tor.
• 9051, , 1.

sudo /etc/init.d/tor restart

एक नया Node.js प्रोजेक्ट बनाना

mkdir superWebScraping

cd superWebScraping && npm init -y

npm i --save puppeteer cheerio

Puppeteer का उपयोग करने वाली वेबसाइटों के साथ काम करें

/**
 *   puppeteer.
 */
const puppeteer = require('puppeteer');

/**
 *   main  , 
 *     -.
 * ,      ,
 *   ,     
 *  puppeteer.
 */
async function main() {
  /**
   *  Chromium.   `headless`   false,
   *     .
   */
  const browser = await puppeteer.launch({
    headless: false
  });

  /**
   *   .
   */
  const page = await browser.newPage();

  /**
   *   ,   https://api.ipify.org.
   */
  await page.goto('https://api.ipify.org');

  /**
   *  3     .
   */
  setTimeout(() => {
    browser.close();
  }, 3000);
}

/**
 *  ,  main().
 */
main();

node index.js

  /**
   *  Chromium.   `headless`  false,
   *     .
   */
  const browser = await puppeteer.launch({
  headless: false,
  
  //   .
  args: ['--proxy-server=socks5://127.0.0.1:9050']
});

node index.js

Cheerio के साथ डेटा संग्रह

• टोर प्रॉक्सी से जुड़े यूजर इंटरफेस के बिना एक नया ब्राउज़र उदाहरण शुरू करना।
• एक नया पेज बनाएँ।
• पते पर जाएं https://news.ycombinator.com/।
• पृष्ठ की HTML सामग्री को पुनः प्राप्त करना।
• पृष्ठ की HTML सामग्री लोड हो रही है cheerio।
• लेख शीर्षक को बचाने के लिए एक सरणी बनाना।
• एक वर्ग के साथ तत्वों तक पहुँचना storylink।
• cheerio स्लाइस () पद्धति का उपयोग करके पहले 5 तत्वों को प्राप्त करना ।
• cheerio प्रत्येक () विधि का उपयोग करते हुए परिणामी तत्वों का पता लगाना ।
• सरणी के लिए प्रत्येक शीर्ष लेख लिखें।

const puppeteer = require('puppeteer');

/**
 *   cheerio.
 */
const cheerio = require('cheerio');

async function main() {
  const browser = await puppeteer.launch({
    /**
     *       (   ).
     */
    headless: true,
    args: ['--proxy-server=socks5://127.0.0.1:9050']
  });

  const page = await browser.newPage();

  await page.goto('https://news.ycombinator.com/');

  /**
   *      HTML-.
   */
  const content = await page.content();

  /**
   *    cheerio.
   */
  const $ = cheerio.load(content);


  /**
   *      .
   */
  const titles = [];

  /**
   *   ,   `storylink`.
   *  slice()      5   .
   *      each().
   */
  $('.storylink').slice(0, 5).each((idx, elem) => {
    /**
     *   HTML-,   .
     */
    const title = $(elem).text();
  
    /**
     *    .
     */
    titles.push(title);
  })

  browser.close();
  
  /**
   *     .
   */
  console.log(titles);
}

main();

अलग-अलग आईपी पते का उपयोग करके लगातार स्क्रैपिंग

const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

async function scrape(port) {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=socks5://127.0.0.1:' + port]
  });

  const page = await browser.newPage();
  await page.goto('https://news.ycombinator.com/');
  const content = await page.content();

  const $ = cheerio.load(content);

  const titles = [];

  $('.storylink').slice(0, 5).each((idx, elem) => {
    const title = $(elem).text();
    titles.push(title);
  });

  browser.close();
  return titles;
}

async function main() {
  /**
   *  SOCKS- Tor,    torrc. 
   */
  const ports = [
    '9050',
    '9052',
    '9053',
    '9054'
  ];
  
  /**
   *  -...
   */
  while (true) {
    for (const port of ports) {
      /**
       * ...  -    .
       */
      console.log(await scrape(port));
    }
  }
}

main();

सारांश