Node.js, Tor, Dalang dan Cheerio: pengikisan web anonim

• Dalang - untuk mengakses halaman web.
• Cheerio - untuk parsing kode HTML.
• Tor - untuk mengeksekusi setiap permintaan dari alamat IP yang berbeda.

Instalasi Tor

sudo apt-get install tor

Pengaturan Tor

#  4 SOCKS-,       Tor-.

SocksPort 9050
SocksPort 9052
SocksPort 9053
SocksPort 9054

• SocksPort . — , , SOCKS, .
• SocksPort , , , - .
• 9050 — , Tor- .
• 9051. Tor , , , Tor.
• 9051, , 1.

sudo /etc/init.d/tor restart

Membuat proyek Node.js baru

mkdir superWebScraping

cd superWebScraping && npm init -y

npm i --save puppeteer cheerio

Bekerja dengan situs web menggunakan Puppeteer

/**
 *   puppeteer.
 */
const puppeteer = require('puppeteer');

/**
 *   main  , 
 *     -.
 * ,      ,
 *   ,     
 *  puppeteer.
 */
async function main() {
  /**
   *  Chromium.   `headless`   false,
   *     .
   */
  const browser = await puppeteer.launch({
    headless: false
  });

  /**
   *   .
   */
  const page = await browser.newPage();

  /**
   *   ,   https://api.ipify.org.
   */
  await page.goto('https://api.ipify.org');

  /**
   *  3     .
   */
  setTimeout(() => {
    browser.close();
  }, 3000);
}

/**
 *  ,  main().
 */
main();

node index.js

  /**
   *  Chromium.   `headless`  false,
   *     .
   */
  const browser = await puppeteer.launch({
  headless: false,
  
  //   .
  args: ['--proxy-server=socks5://127.0.0.1:9050']
});

node index.js

Pengumpulan data dengan Cheerio

• Memulai instance browser baru tanpa antarmuka pengguna yang terhubung ke proxy Tor.
• Buat halaman baru.
• Pergi ke alamat https://news.ycombinator.com/.
• Mengambil konten HTML halaman.
• Memuat konten HTML halaman ke dalam cheerio.
• Membuat array untuk menyimpan judul artikel.
• Mengakses elemen dengan kelas storylink.
• Mendapatkan 5 elemen pertama menggunakan metode cheerio slice () .
• Melintasi elemen yang dihasilkan menggunakan metode cheerio Each () .
• Tulis setiap tajuk yang ditemukan pada sebuah larik.

const puppeteer = require('puppeteer');

/**
 *   cheerio.
 */
const cheerio = require('cheerio');

async function main() {
  const browser = await puppeteer.launch({
    /**
     *       (   ).
     */
    headless: true,
    args: ['--proxy-server=socks5://127.0.0.1:9050']
  });

  const page = await browser.newPage();

  await page.goto('https://news.ycombinator.com/');

  /**
   *      HTML-.
   */
  const content = await page.content();

  /**
   *    cheerio.
   */
  const $ = cheerio.load(content);


  /**
   *      .
   */
  const titles = [];

  /**
   *   ,   `storylink`.
   *  slice()      5   .
   *      each().
   */
  $('.storylink').slice(0, 5).each((idx, elem) => {
    /**
     *   HTML-,   .
     */
    const title = $(elem).text();
  
    /**
     *    .
     */
    titles.push(title);
  })

  browser.close();
  
  /**
   *     .
   */
  console.log(titles);
}

main();

Pengikisan berkelanjutan menggunakan berbagai alamat IP

const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

async function scrape(port) {
  const browser = await puppeteer.launch({
    args: ['--proxy-server=socks5://127.0.0.1:' + port]
  });

  const page = await browser.newPage();
  await page.goto('https://news.ycombinator.com/');
  const content = await page.content();

  const $ = cheerio.load(content);

  const titles = [];

  $('.storylink').slice(0, 5).each((idx, elem) => {
    const title = $(elem).text();
    titles.push(title);
  });

  browser.close();
  return titles;
}

async function main() {
  /**
   *  SOCKS- Tor,    torrc. 
   */
  const ports = [
    '9050',
    '9052',
    '9053',
    '9054'
  ];
  
  /**
   *  -...
   */
  while (true) {
    for (const port of ports) {
      /**
       * ...  -    .
       */
      console.log(await scrape(port));
    }
  }
}

main();

Ringkasan