Get best of the week

业务专家和编程。合并不能共享

你好！我叫维多利亚·克拉斯诺娃（Victoria Krasnova），我最近写了一篇很棒的文章，内容涉及石化产品中数据驱动。但是关于方法本身和系统。今天让我们谈谈谁将使用此系统（以及谁将对其进行改进）。那是关于人的。

通常，谈论数据驱动很容易，并且在大多数员工都是高级用户的公司中实施数据驱动很有趣，也就是说，他们可以轻松地向数据库中编写查询，而不会动手冲泡茶，并且在他们的脑海中，他们有可以解决的问题和任务仅使用大数据技术。



现在想象一下，如果您的用户仅使用Excel和Power Point进行交互，则实现DAAS（数据即服务）的感觉是什么。两者之间存在差距：那些具有编程技能的人没有适当水平的领域来实质性地演示现代技术的所有错误，并且业务专家处于困惑的状态，因为可以使用“小数据”解决任何已知问题“面对Excel。

为了弥合这一差距，并在理想情况下将其彻底消除，我们可以从哪个方面着手解决这个问题。首先，招募具备SQL和Python知识的分析师。其次，教现有的用户编程语言。似乎第一种方法看起来更合逻辑且更简单，对吗？但是存在陷阱，即：

  • « » ;
  • ( );
  • , — , ;
  • , « » ..

当然，第二种方法也有缺点-尚不清楚如何将当前工作的人们传授给他们编程技能，默认情况下，冗长，困难且不清楚为什么要在Excel中完成所有操作。另外，我们没有分析师的现有杰出职能，他们应该掌握使用工具的现代技能。

因此，我们考虑并成立了分析学院。

她的想法是试图回答以下问题：

  • 作为一个成功的商业专家，他对数学设备非常了解，不仅可以教他们如何使用代码，而且可以拓展他的想象力范围：借助现代工具，您可以解决哪些任务；现在您什么都不知道，但是如果您知道呢？
  • , , , (, , );
  • (, self service , , ).

在2019年，我们开始为员工测试SIBUR中分析学院的格式。我们需要学习使用Python和SQL编程的人，这些人在大多数情况下可以解决业务问题。即使您真的愿意，任何人都很难进入我们的学校。我们可以给有兴趣以一种或另一种方式学习的每个人的最大价值-在Coursera上建议正确的课程或提供一堆有用的书。如果你想学习，请学习。

该校的团队负责人是Andrei Telyatnik，他热衷于解决优化问题，并且是一场美国大型比赛的获胜者。现在，他的优化器正在计算俄罗斯的电力市场，在SIBUR中，安德烈（Andrey）参与了一个旨在优化我们聚合物业务供应链的项目。

只有已经有实际业务案例的公司员工现在可以在分析学院学习。然后，负责人就有理由将部分时间用于训练。入学时，我们会问一些不舒服的问题，例如“您为什么要这样做？”，但是主要的选择甚至不是在入学时，而是在学习过程中。那些无法或不准备做出充分努力的人会跌倒。

实际上，辅导学校是在我们学校实施的-经过培训的员工致力于帮助下一代学习。而且，如果他突然无法解决初学者的问题，您可以随时致电自己的前导师。这样，就形成了一个安全的环境，您可以在其中始终尝试新事物，但不能背叛任务。

在学习过程中，我们帮助学生克服对可怕的编程的恐惧，并在他们中形成主动的思维。最开始的主要目的是在需要从头开始编写内容时，克服僵硬的局面。经验丰富的导师帮助您确定工具并开始使用，然后甚至根本不需要帮助，因为所有信息都在Internet上，您只需要能够提出您的问题。如果学生面临某种问题或只是被困在某个地方，他必须首先设法弄清楚，找出几种选择，如果这些选择不起作用，请致电导师。他将握住他的手，倾听问题以及学生尝试解决问题的方式，理解地点头并告诉您如何使其再次起作用。

因此，人们对自己和自己的能力变得更加自信，形成批判性思维。我们正在跟踪我们的毕业生，到目前为止，没有人停止过他们在学习期间编写的剧本，并继续创建新的剧本作为越来越多的新任务的一部分。到目前为止，我们已经释放了三类学生，并从我们的毕业生（业务分析师）那里收集了一些案例，并准备与您分享。

关于格式的一点


所有培训平均持续三到三个半月，每周或每两堂课。最初的两个月只进行研究，然后与之并行，直接对案件进行裁决。该学生与分析学院的导师同意了这次会议，讨论了问题，使他们沉浸在问题和对结果的期望中，并且导师分享了解决问题的工具和方法。

一切都以最免费的方式进行-会议，邮件和聊天室中的信函往来，电话讨论-没有任何正式的截止日期和频率。同时，学生继续并行执行自己的日常职责，学校对他们来说是一个额外的负担，他们决定承担这一责任。

他们的动机是什么？一切都很简单-掌握了新工具后，业务分析师将借助例行且频繁重复的操作来摆脱它们，老实说，这在他们的工作中就足够了。一方面，如果他们腾出时间来执行更多创造性的任务，另一方面，通过开发基于数据湖的工具，则可以使营销数据透明，随时可访问，并且对所有用户统一。

分析学院帮助毕业生解决哪些具体任务？他们自己分享了他们的故事。他们都是市场部的专家。

特定数据处理


业务分析首席专家Alyona Vartanskaya

从研究的第一天起，我们就将注意力集中在三个方面。首先是与市场营销数据湖合作。我们掌握了使我们能够去湖边并在仪表板上可视化这些数据的工具。我们学会了正确分析数据的质量，寻找缺失的数据，并在某些情况下弥补它们。注意层次结构，如何构建数据以及如何存储数据，如何从不同来源正确提取某一特定产品上的数据。

其次，实际上，数字工具本身-SQL和Python，借助它们，我们学会了编写算法。第三，仪表板的基础知识。

我来分析学院解决的问题与客户和客户关注有关，因为业务客户当然是关系中最重要的参与者。就我而言，我们试图了解更多有关客户的信息，并使用来自不同来源的数据流分析，以及使用文本分析来了解他的产品销售方式和销售地区，以及按品牌分配产品。

因此，我们将能够了解客户在什么时期可能遇到产品销售或细分市场开发方面的困难，以及我们是否能够以某种方式（例如，提供包裹）为他提供支持。反之亦然，我们将看到客户现在一切都很好，他正在大力开发，开拓新的细分市场，我们可以为他提供一起进行一些项目的机会。

除了使整个过程自动化之外，我还需要更深入地研究客户的细节。以前，此类工作是根据要求逐点完成的，平均需要1-2个小时的工作。现在问题已经解决了–我可以随时打开仪表板并快速收集必要的数据：客户如何更改策略，在何处，如何以及何时推出产品等。因此，完成一个请求需要10到15分钟。

市场营销同事的请求通常与他们所参与的特定产品的数据分析相关。了解销售量，分销渠道或应用领域。如果您在经常遇到的查询框架中正确构建仪表板，则可以快速提取所有统计信息。

是的，在第一个仪表板上花费了大量时间，但是随着时间的流逝，您可以更快地执行某些操作。无论如何，整个系统只构建一次，然后您只需要选择适当的信息即可自动更新。

要完成请求，通常需要从各种来源收集一堆数据，然后还需要将大量文档，不同时期的数据链接到一起，聚合大型excel文件。

现在，这是一个单一的数据营销湖，结合了内部资源（例如SAP）和外部资源。您可以按月查看历史记录（从2000年代开始），并按产品细分。

以前，有必要每个月准备一次这样的数据摘要并将其存储在某个地方。而在本地，仅在家中。现在，一切都是透明的，任何需要此信息的员工都可以使用湖泊。

将数据传输到湖泊的另一个好处是一致性。不同数据库中的数据格式是不同的。我在某些分组的框架中了解到如何合并这些数据，以便产品可以立即从不同来源获取某些密钥的数据，以便我可以在工作中进一步连接和使用它们。

运营报告自动化


Vitaliy Malakhai，业务分析专家，

每周在市场营销和销售职能部门举行一次运营会议，讨论当前市场情况，主要事件和趋势。我们会为此类会议做充分的准备，每周我们都会以分析报告的形式收集材料，并提供有关产品的详细信息（宏参数，报价，价格，评论等）。

以前，所有信息都是从各种PDF报告和excel文件中收集的，这些文件是手动处理的，然后从那里进入帮助。自然，我们花了很多时间来准备材料，而且所有这些信息仍然是本地的。在分析学院，使用Python，我们自动进行了数据收集，并可以将PDF报告和excel文件中的信息存储在数据库中，然后在Tableau中可视化。

因此，我们减少了常规信息收集的人工成本，而且现在我们可以看到整个情况。不幸的是，我们还没有学会自动编写评论，但是我认为这将是一个有趣的任务。

在数据收集和主处理中优化和减少常规操作


高级分析首席专家Arseny Korshunov

对于营销人员来说，要想得出关于市场情况的结论，有时仅靠阅读报告或在Excel中创建图表是不够的。您需要做出预测并了解如果更改一个或多个输入参数会发生什么。我从事用于实际市场分析的数学模型的构建。

为此，您需要从不同来源收集一堆不同格式的输入数据，并将它们汇总到一个地方，研究它们之间的模式并建立统计模型。实际上，我的任务是构建输入变量的适当功能，以预测，市场行为场景的形式透明，清晰地为用户提供结果。

我在学校的任务是自动收集某些信息集，然后将其上传到Vertica。解决方案本身分为三个部分，其中只有中央部分可以使用。第一个步骤是让系统自动登录到站点，下载包含20-30个excel文件的存档并将其保存到磁盘。第二种方法是浏览这20-30个文件，并按数据类型解析它们，创建用于与数据库集成的模板。他准备好了。第三是将数据上传到Vertica。

如果以前使用的是我的预测模型，我会插入信息块并每月定期更新一次，现在，我可以登录并下载档案，运行Python，然后继续使用现成的模板上传到Vertica。

总体印象


这并不是说分析学院是一系列课程。而是从第一天开始，您就可以使用新工具来解决运营问题的平台。同时，有很多指导者随时与您联系并随时提供帮助。

我们与导师讨论了我们的想法，他们分享了他们的愿景和建议的解决方案。这很有帮助，因为我们通常从业务的角度看问题，从技术的角度看指导者，因此可以找到在通常情况下不会发生的新解决方案。

即使使用熟悉的工具，也要学习很多生活技巧，这是很棒的，因为我们可以观察导师的工作，在实践中注意到一些事情，然后在我们的项目中积极使用它们。现在，我们正在积极开发数据湖，我们将空闲时间用于自动化越来越多的新任务。

More articles:


All Articles