Get best of the week

我们如何解决三个整体问题

在大多数公司的战略中，越来越多地提到数字化：一些公司正在尝试引入现代技术（例如大数据，物联网，人工智能，区块链），而其他公司则无处不在使其内部流程自动化。尽管在系统实施方面进行了越来越多的努力和投入，但许多人仍认为结果中等。理想情况下，现代组织应该能够快速创建新的数字产品或与流行的第三方服务集成；在组织之外进行流程；能够与合作伙伴有效互动，同时保持其流程的隔离。您还必须不仅能够收集数据，而且能够快速访问和管理数据。但是，即使是成熟的公司也面临着转换和管理数据的挑战，与业务优先级不断竞争。是什么阻止他们实现完美？ 

DTG团队在创建数字产品和服务方面的经验使我们可以说，解决这些问题的方法受到三个整体的问题的阻碍：应用整体，集成整体和数据整体。它们是传统体系结构，文化的继承范式的结果，它们依赖于现有数据并在“分层”系统中工作，其中IT部门和业务的隔离导致数据和有关知识的丢失。作为此问题的解决方案，我们看到了从传统的开发和管理方法到分布式方法的过渡，这意味着组织中的严重技术和文化变革。

但是首先是第一件事。让我们简要描述一下臭名昭著的整体结构，然后我们将继续提出为克服整体结构所产生的困难而提出的解决方案。


应用整体


创建企业解决方案时，三个体系结构问题之一是应用程序的整体性，随着越来越多的功能被添加到现有应用程序中，应用程序的整体性就会出现。多年以来，该应用程序变成了具有许多交织功能和相关组件的“怪物”，带来了以下负面影响：

  • 存在单个故障点（如果其中一个应用程序模块发生故障，则整个应用程序将失败，并且使用此应用程序的所有员工都将停止工作）；
  • 难以确保所开发产品的质量，需要进行体积回归测试；
  • 一个整体的团队，不切合实际，无法扩展，因为这不会加快和促进开发过程；
  • , ; , ; 
  • ( -). , , « ». ;
  • .

微服务有助于克服上述问题。该方法的含义是，将整体应用程序划分为几个由一组服务组成的小型应用程序。 


与单体应用程序不同，这提供了比单体方法更大的可伸缩性，因为有可能根据需要扩展高负载的服务，而不是整个应用程序。微服务允许组织中的多个团队独立工作并发布他们认为合适的新功能。

尽管模块化的思想已经存在多年，但微服务的架构提供了更大的灵活性，使组织能够对变化的市场条件做出更快的响应。

但是，请不要天真地相信微服务将使您的IT环境完全免于复杂性。随着微服务的出现，由于分散化，在提高开发灵活性同时增加管理，开发和支持的复杂性方面存在折衷方案。此外，并非企业环境中的每个应用程序都适合于微服务体系结构。

集成整体


第二个体系结构问题是集成整体，与集成公司总线（Enterprise Service Bus，ESB）的使用有关。这是具有单个企业范围交互层的体系结构模式，该层提供了集中式和统一的面向事件的消息传递。 


在这种传统方法中，集成被视为数据源及其消费者之间的中间层。ESB提供了在不同项目中许多系统使用的服务。ESB仅由一个集成团队管理，该团队必须非常有资格。而且，很难扩展。由于ESB团队是项目的“瓶颈”，因此很难发布更改和不断完善的改进方案：

  • 作为下一个版本的一部分，只能通过总线进行集成，由于几个月的工作量很大，因此最好提交申请。
  • 任何更改都必须与其他消费者达成共识，因为并非所有内容都可以分解和隔离。技术债务正在累积，只会随着时间的推移而增加。 

在整体架构中，数据是“静止的”。但是整个业务都建立在流事件的基础上，需要快速进行更改。而且，如果一切都在快速变化，那么使用ESB是不合适的。 

为了解决这些问题，敏捷集成方法会有所帮助，这并不意味着整个公司或单个集成团队都可以使用一个集中式集成解决方案。使用它，几个跨职能的开发团队会出现，他们知道他们需要什么数据以及应该是什么质量。是的，使用这种方法可以重复执行所执行的工作，但是它可以减少不同团队之间的依赖性，并有助于主导主要并行开发不同的服务。

数据整体


第三个但同样重要的架构问题是与使用集中式公司数据仓库（企业数据仓库）相关的数据整体问题。，EDW）。 EDW解决方案价格昂贵，它们包含规范格式的数据，由于特定的知识，只有一组专家可以支持和理解这些数据，而专家团队可以为每个人提供服务。 EDW中的数据来自各种来源。 EDW团队对其进行验证，并将其转换为规范格式，这应满足组织内各个消费者群体的需求，并为团队带来负担。此外，转换为某种规范格式的数据不能为每个人和所有人带来方便。底线-处理数据需要太多时间。因此，不可能在市场上快速推出新的数字产品。


这种对中心组件的定位，对周围系统变化的依赖性是开发新数字过程和改进计划的一个实际问题。变更可能会产生冲突，并且他们与其他团队的协调会进一步减慢工作速度。 

为了解决数据整体化的问题，发明了一种非结构化数据存储库Data Lake。。它的主要区别是“原始”数据已加载到Data Lake中，没有一个团队可以使用它们。如果企业需要获取一些数据来解决其问题，则可以组成一个团队来提取特定任务所需的数据。在附近，另一个团队可以为其他任务执行相同的操作。因此，引入了Data Lake，以便几个团队可以同时开发他们的产品。这种方法意味着数据可以在不同的域中重复，因为团队将其转换为适合开发其产品的形式。这里出现了问题-团队需要具备处理各种数据格式的能力。但是，这种方法尽管存在额外成本的风险，为企业带来新的质量，并积极影响创建新数字产品的速度。

而且，只有极少数高级组织在处理数据时使用了更为“成熟”的方法-Data Mesh，它继承了前两个原理，但消除了它们的缺点。数据网格的好处是实时数据分析并降低了管理大数据基础架构的成本。该方法有利于流处理，并暗示外部系统提供了成为源解决方案API一部分的数据流。数据质量是生成此数据的系统的团队所有者的责任。为了最大程度地利用这种方法，需要对数据的处理和应用方式进行更严格的控制，以避免“使人们陷入一堆毫无意义的信息中”。这就需要改变管理层和团队在IT与业务之间的交互方式方面的思维方式。这种方法在面向产品的模型中效果很好，而在面向项目的模型中效果不佳。

这样的数据基础结构打开了一个完全不同的视角，并促进了从“存储数据”状态到“响应数据”状态的转变。流处理使数字业务能够在生成数据时立即对事件做出响应，提供获取分析数据以及产品或服务的实时设置的直观方法，这将帮助组织领先于竞争对手。

分布式方法


总而言之，解决所有列出的整体问题的解决方案是：

  • 将系统分为专注于业务功能的独立模块；
  • 分配独立的团队，每个团队都可以创建和运营业务职能；
  • 这些团队之间的工作并行化，以提高可伸缩性，速度。

建立现代化组织的IT基础架构没有简单的解决方案。从传统架构到分布式架构的过渡不仅是技术转型，而且是文化转型。它需要改变有关业务和信息系统交互的思维方式。而且，如果以前在组织中存在单片应用程序，那么现在就需要对数千项服务进行管理，维护并就接口和数据进行比较。这增加了成本，增加了对人员和项目管理技能的要求。 IT部门和企业必须承担额外的责任，如果他们学会管理这种复杂性，那么这种基础结构将使企业能够以更高的新质量来应对市场挑战。

现在我们到底在做什么在优化客户的数字流程并将其整合到合作伙伴生态系统中时，我们是否将DTG用作“整体问题”的解决方案？我们的答案是“数字业务技术平台”类（请参阅Gartner分析分类）。我们叫她GRANUM并且根据传统，它基于开源技术的结合，这使我们能够在企业环境中快速轻松地创建复杂的分布式系统。我们将在下面更详细地介绍技术。什么变得越来越容易和快捷？使用该平台，我们极大地加速了现有客户IT平台，客户交互系统，数据管理，IoT和分析的集成，能够将客户系统与生态系统合作伙伴快速集成，以处理业务事件并制定共同决策以创造共同价值。另外，使用开源技术帮助我们响应了与避免使用许可软件有关的客户要求。 

从技术角度来看，在通过使用分布式体系结构（微服务和DataMesh方法）对过程进行数字化的过程中，我们能够减少组件的相互依赖性并解决复杂而冗长的开发问题。此外，我们能够实时处理流事件，保持数据质量，还创建了与合作伙伴进行交互的可信赖环境。


该平台可分为三个逻辑层。 

  1. 最底层是基础架构。旨在提供基本服务。这包括安全性，日志的监视和分析，容器管理，网络路由（负载平衡），开发人员。 
  2. 集成层-支持分布式体系结构（DataMesh方法，微服务和流数据处理）。
  3. — . (track&trace), , . . 

让我们更具体地谈谈我们选择的开源技术。 Netflix，LinkedIn，Spotify等领先的互联网公司在最佳实践中使用了哪一种。选择Kubernetes，Jenkins，Keycloak，Spring Boot，Fluentd，Grafana，Prometheus技术来对抗应用程序的整体，并构建和使用微服务架构，以及追求灵活性和变更速度。为了摆脱整体架构，敏捷集成方法通常使用Apache Camel，NiFi，WSO2 API Manager。最后，Kafka，Flink，Salase事件门户对于解决数据整体问题，将其分区以及使用数据网格方法过渡到实时数据分析非常有用。

下图显示了一组技术，作为实验结果，我们在DTG认为是解决三个整体问题的最佳技术。


大约一年前，我们开始了所描述平台的实际应用，如今，我们已经可以得出结论，无论行业如何，这种解决方案都引起了组织的兴趣，这些组织正在考虑降低其业务流程的执行成本，提高与合作伙伴的互动效率，新的价值链。这些公司的目标是进行快速的数字流实验（假设测试，集成，快速的市场启动，如果在当地取得成功，则可以在全球范围内实施），并且还将与客户建立新的沟通渠道，并与他们建立更紧密的数字沟通世界。 

在我们公司集团中，总是有有趣的空缺职位。等着你！

More articles:


All Articles