Node.js ، Tor ، Puppeteer و Cheerio: تجريف ويب مجهول

• Puppeteer - للوصول إلى صفحات الويب.
• Cheerio - لتحليل كود HTML.
• Tor - لتنفيذ كل طلب من عنوان IP مختلف.

تركيب Tor

sudo apt-get install tor

إعداد Tor

#  4 SOCKS-,       Tor-.

SocksPort 9050
SocksPort 9052
SocksPort 9053
SocksPort 9054

• SocksPort . — , , SOCKS, .
• SocksPort , , , - .
• 9050 — , Tor- .
• 9051. Tor , , , Tor.
• 9051, , 1.

sudo /etc/init.d/tor restart

إنشاء مشروع Node.js جديد

mkdir superWebScraping

cd superWebScraping && npm init -y

npm i --save puppeteer cheerio

العمل مع مواقع الويب باستخدام Puppeteer

/**
 *   puppeteer.
 */
const puppeteer = require('puppeteer');

/**
 *   main  , 
 *     -.
 * ,      ,
 *   ,     
 *  puppeteer.
 */
async function main() {
  /**
   *  Chromium.   `headless`   false,
   *     .
   */
  const browser = await puppeteer.launch({
    headless: false
  });

  /**
   *   .
   */
  const page = await browser.newPage();

  /**
   *   ,   https://api.ipify.org.
   */
  await page.goto('https://api.ipify.org');

  /**
   *  3     .
   */
  setTimeout(() => {
    browser.close();
  }, 3000);
}

/**
 *  ,  main().
 */
main();

node index.js

  /**
   *  Chromium.   `headless`  false,
   *     .
   */
  const browser = await puppeteer.launch({
  headless: false,
  
  //   .
  args: ['--proxy-server=socks5://127.0.0.1:9050']
});

node index.js

جمع البيانات مع Cheerio

• بدء نسخة متصفح جديدة بدون واجهة مستخدم متصلة بوكيل Tor.
• قم بإنشاء صفحة جديدة.
• انتقل إلى العنوان https://news.ycombinator.com/.
• استرجاع محتوى HTML للصفحة.
• تحميل محتوى HTML للصفحة cheerio.
• إنشاء مصفوفة لحفظ عناوين المقالات.
• الوصول إلى العناصر مع الفصل storylink.
• الحصول على أول 5 عناصر باستخدام طريقة cheerio slice () .
• اجتياز العناصر الناتجة باستخدام طريقة cheerio كل () .
• اكتب كل رأس موجود في مصفوفة.

const puppeteer = require('puppeteer');

/**
 *   cheerio.
 */
const cheerio = require('cheerio');

async function main() {
  const browser = await puppeteer.launch({
    /**
     *       (   ).
     */
    headless: true,
    args: ['--proxy-server=socks5://127.0.0.1:9050']
  });

  const page = await browser.newPage();

  await page.goto('https://news.ycombinator.com/');

  /**
   *      HTML-.
   */
  const content = await page.content();

  /**
   *    cheerio.
   */
  const $ = cheerio.load(content);


  /**
   *      .
   */
  const titles = [];

  /**
   *   ,   `storylink`.
   *  slice()      5   .
   *      each().
   */
  $('.storylink').slice(0, 5).each((idx, elem) => {
    /**
     *   HTML-,   .
     */
    const title = $(elem).text();
  
    /**
     *    .
     */
    titles.push(title);
  })

  browser.close();
  
  /**
   *     .
   */
  console.log(titles);
}

main();

الكشط المستمر باستخدام عناوين IP مختلفة

const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

async function scrape(port) {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=socks5://127.0.0.1:' + port]
  });

  const page = await browser.newPage();
  await page.goto('https://news.ycombinator.com/');
  const content = await page.content();

  const $ = cheerio.load(content);

  const titles = [];

  $('.storylink').slice(0, 5).each((idx, elem) => {
    const title = $(elem).text();
    titles.push(title);
  });

  browser.close();
  return titles;
}

async function main() {
  /**
   *  SOCKS- Tor,    torrc. 
   */
  const ports = [
    '9050',
    '9052',
    '9053',
    '9054'
  ];
  
  /**
   *  -...
   */
  while (true) {
    for (const port of ports) {
      /**
       * ...  -    .
       */
      console.log(await scrape(port));
    }
  }
}

main();

ملخص