Get best of the week

Especialista em negócios e programação. Combinar não pode ser compartilhado

Olá! Meu nome é Victoria Krasnova, recentemente escrevi um ótimo post sobre dados orientados a produtos petroquímicos. Mas havia a abordagem em si e o sistema. Vamos falar hoje sobre quem usará este sistema (e quem o aperfeiçoará). Isso é sobre pessoas.

Em geral, é fácil falar sobre dados orientados e divertido implementá-los em empresas onde a maioria dos funcionários são usuários avançados, ou seja, eles podem escrever facilmente uma consulta no banco de dados sem interromper o preparo do chá e, na sua cabeça, têm perguntas e tarefas que podem ser resolvidas. somente com a tecnologia Big Data.



Agora imagine como é implementar o DAAS (dados como serviço) se seus usuários interagirem apenas com o Excel e o Power Point. Há uma lacuna: aqueles que possuem habilidades de programação não possuem o domínio no nível adequado para demonstrar substancialmente todos os erros da tecnologia moderna, e os especialistas em negócios estão em estado de perplexidade porque qualquer problema conhecido pode ser resolvido usando o “Small Data "Em face do Excel.

Para colmatar essa lacuna e, idealmente, eliminá-la completamente, podemos abordar o problema de quais lados. Primeiro, recrute analistas com conhecimento de SQL e Python. Em segundo lugar, para ensinar aos usuários existentes as linguagens de programação. E parece que a primeira maneira parece mais lógica e mais simples, certo? Mas existem armadilhas, a saber:

  • « » ;
  • ( );
  • , — , ;
  • , « » ..

Obviamente, a segunda abordagem também tem desvantagens - não está totalmente claro como as pessoas que estão carregadas com o trabalho atual podem aprender habilidades de programação; por padrão, é longo, difícil e pouco claro por que, se tudo pode ser feito no Excel. Além disso, não tínhamos a função distinta existente de analistas que teriam dominado as habilidades modernas no trabalho com ferramentas.

Por isso, pensamos e lançamos a Escola de Análise.

Sua idéia surgiu como uma tentativa de responder às seguintes perguntas:

  • como um especialista em negócios bem-sucedido que conhece bem o equipamento matemático, para ensinar não apenas como trabalhar com o código, mas também expandir os horizontes de sua imaginação: que tarefas você pode resolver com a ajuda de ferramentas modernas; agora você não sabe algo, mas e se você soubesse?
  • , , , (, , );
  • (, self service , , ).

E em 2019, começamos a testar o formato da School of Analytics na SIBUR para nossos funcionários. Precisávamos aprender a programar em Python e SQL pessoas que, na maioria das vezes, resolvem problemas de negócios. Não é tão fácil para alguém entrar na nossa escola, mesmo que você realmente queira. O máximo que podemos dar a todos os interessados ​​em aprender de uma maneira ou de outra - aconselha os cursos certos sobre o Coursera ou oferece uma pilha de livros úteis. Se você quer estudar, por favor, estude.

O líder da equipe da escola era Andrei Telyatnik, que gosta de resolver problemas de otimização e é o vencedor de uma grande competição americana. Agora, seu otimizador está calculando o mercado de eletricidade na Rússia, na SIBUR. Andrey participou de um projeto para otimizar as cadeias de suprimentos de nosso negócio de polímeros.

Somente um funcionário da empresa que já possui um caso de negócios real e está trabalhando agora pode estudar na Escola de Análise. Então a cabeça tem um motivo para dedicar parte do tempo ao treinamento. Na admissão, fazemos perguntas desconfortáveis, como “Por que você está fazendo isso?”, Mas a seleção principal não é nem na admissão, mas no processo de aprendizado. Aqueles que não podem ou não estão prontos para fazer esforços suficientes caem de si mesmos.

De fato, a Escola de Mentoria foi implementada em nossa Escola - um funcionário que recebeu treinamento está comprometido em ajudar o próximo fluxo a aprender. E, de repente, ele não lida com o problema de um iniciante, você sempre pode ligar para o seu ex-mentor. Dessa forma, um ambiente seguro é formado, no qual você pode sempre tentar coisas novas, mas não pode desviar-se da tarefa com traição.

No processo de aprendizagem, ajudamos os alunos a superar o medo de uma programação terrível e terrível e a formar um pensamento proativo. A principal coisa no início é superar o estupor de uma lousa limpa quando você precisa escrever algo do zero. Os mentores experientes ajudam a identificar as ferramentas e dar os primeiros passos e, em seguida, a ajuda pode nem ser necessária, já que todas as informações estão na Internet, você só precisa formular sua pergunta. Se um aluno se deparar com algum tipo de problema ou simplesmente ficar preso em algum lugar, ele deve primeiro tentar descobrir, resolver várias opções e, se não funcionar, chamar um mentor. Ele segurará sua mão, ouvirá o problema e as maneiras pelas quais o aluno tentou resolvê-lo, assente compreensivamente e diz como fazê-lo funcionar novamente.

Assim, as pessoas se tornam mais confiantes em si mesmas e em suas habilidades, formam um pensamento crítico em si mesmas. Estamos acompanhando nossos alunos, e até agora ninguém parou nos scripts que eles escreveram durante seus estudos, e continuamos a criar novos como parte de mais e mais novas tarefas. Até o momento, lançamos três fluxos de estudantes e coletamos vários casos de nossos graduados - analistas de negócios e estamos prontos para compartilhá-los com você.

Um pouco sobre o formato


Todo o treinamento dura em média três a três meses e meio, uma lição por semana ou duas. Nos primeiros dois meses, houve apenas estudo e, em paralelo, os casos foram decididos diretamente. O aluno concordou com os mentores da Escola de Análise sobre a reunião, falou sobre os problemas, mergulhou-os nos problemas e nas expectativas do resultado, e os mentores compartilharam ferramentas e abordagens para resolver o problema.

Tudo aconteceu no formato mais gratuito - reuniões, correspondência nas salas de correio e bate-papo, discussões por telefone - sem prazos e frequência formais. Ao mesmo tempo, os alunos continuavam cumprindo suas tarefas habituais em paralelo, e a Escola era um fardo adicional para eles, que eles decidiram assumir.

Qual foi a motivação deles? Tudo é simples - com o domínio de novas ferramentas, os analistas de negócios se livram delas com a ajuda de operações rotineiras e frequentemente repetidas, que, para ser honesto, são suficientes em seu trabalho. E se, por um lado, eles liberam tempo para resolver tarefas mais criativas, por outro lado, desenvolvendo ferramentas baseadas em um data lake, você pode tornar os dados de marketing transparentes, acessíveis o tempo todo e uniformes para todos os usuários.

Quais tarefas específicas a School of Analytics ajudou os graduados a resolver? Eles mesmos compartilharam suas histórias. Todos eles são especialistas do departamento de marketing.

Processamento de dados específico


Alyona Vartanskaya, especialista chefe, análise de negócios

Desde o primeiro dia de estudo, concentramos nossa atenção em três blocos. O primeiro é trabalhar com um lago de dados de marketing. Nós dominamos as ferramentas que nos permitiram ir ao lago e visualizar esses dados em um painel. Aprendemos a analisar corretamente a qualidade dos dados, procurar os que estão faltando e, em alguns casos, compensá-los. Preste atenção à hierarquia, como os dados são criados e como são armazenados, como de fontes diferentes para extrair dados corretamente em um produto específico.

Em segundo lugar, na verdade, as próprias ferramentas digitais - SQL e Python, com sua ajuda, aprendemos a escrever algoritmos. E terceiro, conhecimento básico de painéis.

O problema que vim resolver na Escola de Análise estava relacionado aos clientes e ao foco no cliente, porque um cliente para negócios é certamente o participante mais importante do relacionamento. No meu caso, tentamos aprender mais sobre o cliente e usar a análise de fluxo de diferentes fontes, bem como a análise de texto para entender como e em quais regiões ele vende seus produtos, para distribuir produtos por marca.

Assim, seremos capazes de entender em que períodos o cliente pode ter dificuldades em termos de vendas de produtos ou desenvolvimento de segmentos, e se de alguma forma podemos apoiá-lo, por exemplo, com ofertas de pacotes. Ou vice-versa, veremos que está tudo bem com o cliente agora, ele está se desenvolvendo intensamente, abrindo novos segmentos e podemos oferecer a ele que faça alguns projetos juntos.

Além de automatizar todo o processo, eu precisava me aprofundar nas especificidades do cliente. Anteriormente, essas coisas eram feitas ponto a ponto, mediante solicitação, levando em média 1-2 horas de trabalho. Agora o problema está nos trilhos - sempre posso abrir o painel e coletar rapidamente os dados necessários: como o cliente muda sua estratégia, onde, como e quando os produtos são trazidos, etc. Assim, leva de 10 a 15 minutos para concluir uma solicitação.

As solicitações de colegas de marketing costumam ser associadas à análise de dados de um produto específico no qual eles estão envolvidos. Entenda o volume de vendas, canal de distribuição ou segmento de aplicação. Se você criar corretamente um painel no quadro de consultas freqüentemente encontradas, todas as estatísticas poderão ser rapidamente retiradas.

Sim, é gasto bastante tempo nos primeiros painéis, mas com o tempo você realiza algumas operações mais rapidamente. De qualquer forma, todo o sistema é construído uma vez e, em seguida, você só precisa escolher as informações apropriadas, que também são atualizadas automaticamente.

Para concluir uma solicitação, você geralmente precisa coletar um monte de dados de várias fontes, além de vincular uma grande variedade de documentos, dados de diferentes períodos, agregar grandes arquivos Excel.

Agora, esse é um único lago de dados de marketing, combinando fontes internas, como SAP e externas. Você pode ver o histórico por mês, a partir dos anos 2000, obter uma discriminação por produto.

Anteriormente, era necessário preparar um resumo desses dados todos os meses e armazená-los em algum lugar. E localmente, apenas em casa. E agora tudo é transparente, qualquer funcionário pode usar o lago se precisar dessas informações.

Outra vantagem da transferência de dados para o lago é a uniformidade. Os formatos de dados em diferentes bancos de dados são diferentes. Aprendi, na estrutura de certos agrupamentos, a combinar esses dados para que o produto extraia imediatamente dados de diferentes fontes para determinadas chaves, para que eu possa conectá-los e usá-los ainda mais em meu trabalho.

Automação de relatórios operacionais


Vitaliy Malakhai, especialista em análise de negócios

Semanalmente, na função de Marketing e Vendas, é realizada uma sessão operacional para discutir a situação atual do mercado, principais eventos e tendências. Nós nos preparamos para essas reuniões e, semanalmente, coletamos materiais no formato de um relatório analítico com informações detalhadas sobre nossos produtos (parâmetros macro, cotações, preços, comentários, etc.).

Anteriormente, todas as informações eram coletadas a partir de uma variedade de relatórios em PDF e arquivos do Excel, processados ​​manualmente e, a partir daí, eles ajudavam. Naturalmente, passamos muito tempo preparando materiais, além de todas essas informações permanecerem locais. Na Escola de Análise, usando o Python, automatizamos a coleta de dados e possibilitamos que as informações dos relatórios em PDF e arquivos do Excel fossem armazenadas em um banco de dados e visualizadas no Tableau.

Portanto, reduzimos os custos de mão-de-obra para a coleta rotineira de informações, e agora podemos ver toda a imagem. Infelizmente, ainda não aprendemos a escrever comentários automaticamente, mas acho que será uma tarefa interessante.

Otimização e redução de operações de rotina na coleta de dados e processamento primário


Arseny Korshunov, especialista principal, análise avançada

Para que um profissional de marketing possa tirar conclusões sobre o que está acontecendo com o mercado, às vezes não é suficiente ler um relatório ou criar diagramas no Excel. Você precisa fazer uma previsão e entender o que acontecerá se alterar um ou mais parâmetros de entrada. Estou envolvido na construção de modelos matemáticos para a análise do mercado real.

Para fazer isso, você precisa coletar um monte de dados de entrada de diferentes formatos de fontes diferentes e acumulá-los em um só lugar, estudar os padrões entre eles e criar modelos estatísticos. De fato, minha tarefa é criar funções adequadas das variáveis ​​de entrada, que de forma transparente e clara dê ao usuário o resultado na forma de previsões, cenários de comportamento do mercado.

Minha tarefa na escola era automatizar a coleta de certos conjuntos de informações e enviá-los para a Vertica. A solução em si foi dividida em três blocos, dos quais apenas a central está pronta. O primeiro bloco era fazer o sistema efetuar login automaticamente no site, baixar o arquivo com 20 a 30 arquivos do Excel e salvá-lo em disco. O segundo é analisar esses 20 a 30 arquivos e analisá-los por tipo de dados, criando modelos para integração com o banco de dados. Ele está pronto. E o terceiro é fazer o upload de dados para o Vertica.

Se anteriormente, para meus modelos de previsão, inseri blocos de informações e os atualizava regularmente uma vez por mês, agora posso efetuar login e baixar o arquivo morto, executar o Python e continuar a usar modelos prontos para carregar no Vertica.

Impressões gerais


Isso não quer dizer que a School of Analytics seja uma série de cursos. É uma plataforma em que, desde o primeiro dia, você pode usar novas ferramentas para resolver problemas operacionais. Ao mesmo tempo, existem mentores que estão sempre em contato e prontos para ajudar.

Discutimos nossas idéias com os mentores, e eles compartilharam sua visão e sugeriram soluções. Isso ajudou muito, porque geralmente analisávamos o problema do ponto de vista dos negócios e mentores do ponto de vista técnico, e, portanto, podia ser encontrada uma nova solução que não teria ocorrido em circunstâncias normais.

Foi ótimo aprender muitos truques da vida, mesmo ao trabalhar com ferramentas familiares, porque pudemos observar o trabalho dos mentores, observar algumas coisas na prática e usá-las ativamente em nossos projetos. Agora estamos desenvolvendo ativamente nosso data lake e estamos gastando o tempo livre na automação de mais e mais novas tarefas.

More articles:


All Articles