"Sim, eles existem!" O que os especialistas em ciência de dados no Cazaquistão fazem e quanto ganham?

Dmitry Kazakov , líder da equipe de análise de dados do Kolesa Group, compartilha idéias da primeira pesquisa de especialistas em dados do Cazaquistão.


Na foto: Dmitry Kazakov

Lembre-se da frase popular de que o Big Data se parece mais com o sexo adolescente - todo mundo fala sobre isso, mas ninguém sabe se realmente é. O mesmo poderia ser dito sobre o mercado de especialistas em dados (no Cazaquistão) - existe exagero, mas quem está por trás disso ( e há alguém ), não ficou completamente claro - nem para eychars nem para gerentes , nem os dados dos próprios cientistas.

Realizamos um estudo no qual entrevistamos mais de 300 especialistas sobre salários, funções, habilidades, ferramentas e muito mais.

Spoiler:Sim, eles definitivamente existem, mas nem tudo é tão simples.

Bom insight. Em primeiro lugar, existem mais especialistas em dados do que esperávamos. Conseguimos entrevistar 300 pessoas, entre as quais não apenas analistas de produtos, marketing e BI, mas também engenheiros de ML, DWH, o que foi especialmente agradável. No maior grupo estavam todos aqueles que se autodenominam cientistas de dados - isso representa 36% dos entrevistados. É difícil dizer se isso cobre a demanda do mercado ou não, porque o próprio mercado está sendo formado.



A distribuição dos níveis de emprego é embaraçosa - existem quase tantos líderes de equipe e líderes quanto dzhuns. Pode haver várias razões para isso. Por exemplo, um grande número de equipes pequenas de 2 a 3 pessoas, nas quais o chefe pode ser especialista no nível médio ou sênior.



Outro motivo pode ser o caos que prevalece no mercado em termos de padrões na distribuição de papéis e funcionalidade. Os timlids são às vezes designados por aqueles que simplesmente trabalham por um ano ou dois a mais que outros, sem referência ao nível de habilidades e conhecimentos. Vemos isso também na distribuição de funções por posição - 38% dos gerentes e líderes de equipe estão envolvidos no pré-processamento e outros 33% estão envolvidos na análise estatística básica.





Aqui pedimos aos entrevistados que avaliassem subjetivamente o nível de análise em suas empresas. Se você prestar atenção, poderá ver que 10% dos entrevistados que trabalham nos departamentos analíticos de 2 a 3 pessoas pensam que têm um "nível avançado".

E o que é um "nível avançado"? O sistema de BI funciona bem. Existem DWH e Big Data. Os testes A / B são realizados regularmente. Existem sistemas de ML e DS em produção. As decisões são tomadas apenas de acordo com os dados. O departamento de trabalho com dados e ciência de dados é uma das chaves da empresa.

É quase impossível conseguir tudo isso com um departamento de 2 a 3 pessoas. Acredito que o resultado de uma pesquisa seja uma pequena doença de crescimento - os caras não têm com quem se comparar para determinar seu nível de maneira mais objetiva.





Espera-se que na maioria das vezes os especialistas em dados não gastem em matemática ou engenharia super complexas, mas em pré-processamento, upload e limpeza de dados. Em cada especialização, vemos o pré-processamento entre os três primeiros. Mas coisas complexas, como o desenvolvimento de modelos de ML ou o trabalho com Big Data, são extremamente raras entre os três primeiros - apenas entre os engenheiros de ML e DWH.



Existem algumas idéias tristes. 40% das tarefas que os especialistas definem. No Cazaquistão, até agora, apenas as principais empresas unicórnio testaram os benefícios de trabalhar com big data e aprenderam como fazê-lo com competência. Eles transmitem ao mercado que o Big Data e o Machine Learning são legais, e a segunda camada está seguindo, mas longe de entender sempre como o trabalho com dados é organizado. Portanto, vemos que os especialistas definem tarefas para si mesmos e os negócios nem sempre sabem o que querem.



Fiquei surpreso que 20% dos especialistas não sabem se a empresa deles possui um Data Warehouse. Sim, e com os sistemas de gerenciamento de banco de dados, nem tudo é tão bom - 41% usam MySQL e outros 34% usam PostgreSQL. Sobre o que isso pode falar? Eles trabalham mais com dados pequenos.



Na pergunta sobre sistemas de armazenamento, vemos novamente o MySQL e até o Excel (!). Mas isso pode indicar, por exemplo, que a maioria das empresas simplesmente ainda não tem uma solicitação para trabalhar com big data.



Tudo aqui é novamente ambíguo. Em geral, os salários eram um pouco mais baixos do que eu esperava.



Pessoalmente, é difícil para mim imaginar um engenheiro de ML pronto para trabalhar por 200 mil tenge - provavelmente este é um estagiário. As competências desses especialistas são muito fracas ou ainda é difícil para as empresas avaliar adequadamente o trabalho da Data Science. Mas talvez isso também sugira que o mercado ainda esteja no início de seu crescimento. E com o tempo, o nível de salários será estabelecido em um nível mais adequado.

Source: https://habr.com/ru/post/undefined/