Node.js, Tor, Puppenspieler und Cheerio: anonymes Web-Scraping

• Puppenspieler - für den Zugriff auf Webseiten.
• Cheerio - zum Parsen von HTML-Code.
• Tor - um jede Anfrage von einer anderen IP-Adresse auszuführen.

Tor Installation

sudo apt-get install tor

Tor einrichten

#  4 SOCKS-,       Tor-.

SocksPort 9050
SocksPort 9052
SocksPort 9053
SocksPort 9054

• SocksPort . — , , SOCKS, .
• SocksPort , , , - .
• 9050 — , Tor- .
• 9051. Tor , , , Tor.
• 9051, , 1.

sudo /etc/init.d/tor restart

Erstellen eines neuen Node.js-Projekts

mkdir superWebScraping

cd superWebScraping && npm init -y

npm i --save puppeteer cheerio

Arbeiten Sie mit Puppeteer mit Websites

/**
 *   puppeteer.
 */
const puppeteer = require('puppeteer');

/**
 *   main  , 
 *     -.
 * ,      ,
 *   ,     
 *  puppeteer.
 */
async function main() {
  /**
   *  Chromium.   `headless`   false,
   *     .
   */
  const browser = await puppeteer.launch({
    headless: false
  });

  /**
   *   .
   */
  const page = await browser.newPage();

  /**
   *   ,   https://api.ipify.org.
   */
  await page.goto('https://api.ipify.org');

  /**
   *  3     .
   */
  setTimeout(() => {
    browser.close();
  }, 3000);
}

/**
 *  ,  main().
 */
main();

node index.js

  /**
   *  Chromium.   `headless`  false,
   *     .
   */
  const browser = await puppeteer.launch({
  headless: false,
  
  //   .
  args: ['--proxy-server=socks5://127.0.0.1:9050']
});

node index.js

Datenerfassung mit Cheerio

• Starten einer neuen Browserinstanz ohne eine mit dem Tor-Proxy verbundene Benutzeroberfläche.
• Erstellen Sie eine neue Seite.
• Gehen Sie zur Adresse https://news.ycombinator.com/.
• Abrufen des HTML-Inhalts der Seite.
• Laden des HTML-Inhalts der Seite in cheerio.
• Erstellen eines Arrays zum Speichern von Artikeltiteln.
• Zugriff auf Elemente mit einer Klasse storylink.
• Abrufen der ersten 5 Elemente mithilfe der cheerio Slice () -Methode .
• Durchlaufen der resultierenden Elemente mit der cheerio each () -Methode .
• Schreiben Sie jeden gefundenen Header in ein Array.

const puppeteer = require('puppeteer');

/**
 *   cheerio.
 */
const cheerio = require('cheerio');

async function main() {
  const browser = await puppeteer.launch({
    /**
     *       (   ).
     */
    headless: true,
    args: ['--proxy-server=socks5://127.0.0.1:9050']
  });

  const page = await browser.newPage();

  await page.goto('https://news.ycombinator.com/');

  /**
   *      HTML-.
   */
  const content = await page.content();

  /**
   *    cheerio.
   */
  const $ = cheerio.load(content);


  /**
   *      .
   */
  const titles = [];

  /**
   *   ,   `storylink`.
   *  slice()      5   .
   *      each().
   */
  $('.storylink').slice(0, 5).each((idx, elem) => {
    /**
     *   HTML-,   .
     */
    const title = $(elem).text();
  
    /**
     *    .
     */
    titles.push(title);
  })

  browser.close();
  
  /**
   *     .
   */
  console.log(titles);
}

main();

Kontinuierliches Scraping mit unterschiedlichen IP-Adressen

const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

async function scrape(port) {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=socks5://127.0.0.1:' + port]
  });

  const page = await browser.newPage();
  await page.goto('https://news.ycombinator.com/');
  const content = await page.content();

  const $ = cheerio.load(content);

  const titles = [];

  $('.storylink').slice(0, 5).each((idx, elem) => {
    const title = $(elem).text();
    titles.push(title);
  });

  browser.close();
  return titles;
}

async function main() {
  /**
   *  SOCKS- Tor,    torrc. 
   */
  const ports = [
    '9050',
    '9052',
    '9053',
    '9054'
  ];
  
  /**
   *  -...
   */
  while (true) {
    for (const port of ports) {
      /**
       * ...  -    .
       */
      console.log(await scrape(port));
    }
  }
}

main();

Zusammenfassung