हैश + कैश: स्ट्रीम प्रोसेसिंग ऑप्टिमाइज़ेशन

उपलब्धता कैशिंग

कुंजी शब्दकोश

var dict = {};

function has(key) {
  return dict[key] !== undefined;
}

function add(key) {
  dict[key] = true;
}

हम UUID कुंजी के भंडारण का अनुकूलन करते हैं

let str = Buffer.from(uuidstr, 'hex').toString('base64');

let str = Buffer.from(uuidstr, 'hex').toString('binary');

मास्टर, कार्यकर्ता - शब्दकोशों को कहाँ संग्रहीत करें?

दोहरी सेट बैरियर लिखें

अच्छा बोनस

हैश गणना को गति दें

xxHash

const crypto = require('crypto');
const { XXHash3, XXHash64 } = require('xxhash-addon');
const hasher3 = new XXHash3(0xDEADBEAF);
const hasher64 = new XXHash64(0xDEADBEAF);

const buf = Buffer.allocUnsafe(16);
const getBinFromHash = (hash) => buf.fill(hash, 'hex').toString('binary');

const funcs = {
  xxhash64 : (str) => hasher64.hash(Buffer.from(str)).toString('binary')
, xxhash3  : (str) => hasher3.hash(Buffer.from(str)).toString('binary')
, md5      : (str) => getBinFromHash(crypto.createHash('md5').update(str).digest('hex'))
};

const check = (hash) => {
  let log = [];
  let cnt = 10000;
  while (cnt--) log.push(crypto.randomBytes(cnt).toString('hex'));

  console.time(hash);
  log.forEach(funcs[hash]);
  console.timeEnd(hash);
};

Object.keys(funcs).forEach(check);

xxhash64 : 148.268ms
xxhash3  : 108.337ms
md5      : 317.584ms

हैश रिप्लेसमेंट

const getHashFromBin = (bin) => Buffer.from(bin, 'binary').toString('hex');
const dictmd5 = new Map();
const getmd5 = (data) => {
  const hash = xxhash(data);
  let md5hash = dictmd5.get(hash);
  if (!md5hash) {
    md5hash = md5(data);
    dictmd5.set(hash, getBinFromHash(md5hash));
    return md5hash;
  }
  return getHashFromBin(md5hash);
};