मुख्य पायथन प्रोग्रामर कौशल

आंकड़ा संग्रहण

ses = requests.Session()
ses.headers = {'HH-User-Agent': "Mozilla/5.0 (X11; Linux x86_64; rv:10.0) Gecko/20100101 Firefox/10.0"}

phrase_to_search = 'python'
url = f'https://api.hh.ru/vacancies?text={phrase_to_search}&per_page=100'
res = ses.get(url)

# getting a list of all pesponses
res_all = []
for p in range(res.json()['pages']):
    print(f'scraping page {p}')
    url_p = url + f'&page={p}'
    res = ses.get(url_p)
    res_all.append(res.json())
    time.sleep(0.2)

• खोज परिणामों के प्रत्येक पृष्ठ पर Iterated,
• पेज पर प्रत्येक काम के लिए Iterated और नौकरी आईडी प्राप्त की,
• एपीआई के माध्यम से रिक्ति का अनुरोध किया गया विवरण,
• यदि रिक्ति में कम से कम एक टैग निर्दिष्ट किया गया था, तो टैग की सूची में सूची को जोड़ा गया था।

# parcing vacancies ids, getting vacancy page and scraping tags from each vacancy
tags_list = []
for page_res_json in res_all:
    for item in page_res_json['items']:
        vac_id = item['id']
        vac_res = ses.get(f'https://api.hh.ru/vacancies/{vac_id}')
        if len(vac_res.json()["key_skills"]) > 0:  # at least one skill present
            print(vac_id)
            tags = [v for v_dict in vac_res.json()["key_skills"] for _, v in v_dict.items()]
            print(' '.join(tags))
            tags_list.append(tags)
            print()
        time.sleep(0.1)

res = {'phrase': phrase_to_search, 'items_number': len(tags_list), 'items': tags_list}
with open(f'./data/raw-tags_{phrase_to_search}.json', 'w') as fp:  # Serializing
    json.dump(res, fp)

डेटा स्वरूपण

• सभी टैग को एक ही रजिस्टर में लाएँ, इसलिए "मशीन लर्निंग", "मशीन लर्निंग" और "मशीन लर्निंग" का मतलब एक ही है
• प्रत्येक टैग की घटना की आवृत्ति के रूप में नोड के मूल्य की गणना करें,
• एक दूसरे के साथ टैग की संयुक्त बैठक की आवृत्ति के रूप में कनेक्शन के मूल्य की गणना करें।

tags_list['items'] = [[i.lower() for i in line] for line in tags_list['items']]

# counting words occurrences
flattened_list = [i for line in tags_list for i in line]
nodes_dict_all = {i: flattened_list.count(i) for i in set(flattened_list)}
nodes_dict = {k:v for k, v in nodes_dict_all.items() if v > del_nodes_count}

# tags connection dict initialization
formatted_tags = {(tag1, tag2): 0 for tag1, tag2 in itertools.permutations(set(nodes_dict.keys()), 2)}

# count tags connection
for line in tags_list:
    for tag1, tag2 in itertools.permutations(line, 2):
        if (tag1, tag2) in formatted_tags.keys():
            formatted_tags[(tag1, tag2)] += 1

# filtering pairs with zero count
for k, v in formatted_tags.copy().items():
    if v == 0:
        del formatted_tags[k]

{
'phrase': phrase searched,
'items_number': number of vacancies parced, 
'items': {
 	"nodes": [
			{
			"id": tag name, 
		 	"group": group id, 
		 	"popularity": tag count
			},
		… 
		] 
	"links": [
			{
			"source": pair[0], 
			"target": pair[1], 
			"value": pair count
			},
		…
		]
	}
}

nodes = []
links = []
for pair, count in formatted_tags.items():
    links.append({"source": pair[0], "target": pair[1], "value": count})

max_count = max(list(nodes_dict.values()))
count_step = max_count // 7
for node, count in nodes_dict.items():
    nodes.append({"id": node, "group": count // count_step, "popularity": count})

data_to_dump = in_json.copy()
data_to_dump['items'] = {"nodes": nodes, "links": links}

पायथन दृश्य

जावास्क्रिप्ट दृश्य

परिणाम विश्लेषण

• नीचे बाएँ - डेटा विश्लेषण,
• सबसे नीचे डेटाबेस हैं,
• नीचे दाईं ओर - सामने का अंत विकास,
• दाईं ओर परीक्षण कर रहा है,
• शीर्ष दाईं ओर - वेब विकास,
• शीर्ष बाएँ - मशीन सीखना।

• आपको मास्टर कौशल की आवश्यकता है जो बड़े नोड्स के अनुरूप हैं, वे हमेशा उपयोगी होंगे,
• आपको अपने हितों के अनुरूप क्लस्टर के कौशल में महारत हासिल करने की आवश्यकता है।