在IT中，主要是三个字母
任何IT基础架构的任务都是为公司的业务流程提供可靠的平台。传统上认为，信息技术基础结构的质量是根据三个主要参数评估的：可访问性，安全性，可靠性。但是，对这三部分的评估与业务和公司的直接收益/损失没有任何关系。IT的三个主要字母。如果字母“ RUB”不在IT层次结构的首位，则说明您在错误地构建IT基础架构。当然，仅从收入/支出开始就很难直接构建IT，因此存在“三个字母”的层次结构-从最重要的字母到更私人的字母。 SLA，RPO，RTO，GRC-所有这些都为行业专家所熟知，并且早已用于建筑基础设施。不幸的是，并非总是将这些指标链接到端到端的层次结构中。
如今，许多公司都在昨天的架构上使用昨天的技术来构建未来的基础架构。同时，IT的飞速发展表明，现代服务从根本上改变着企业和社会，数字时代的人们已经习惯了几秒钟就足以访问任何信息的事实。难以理解的技术所产生的IT信息已成为汉堡或咖啡厅等大众的普遍现象。这给IT部门增加了极为重要的三个新字母。这些字母-TTM（上市时间）-在市场上推出生产性服务之前的时间。
Sds
另一方面，从技术的深渊突飞猛进，颠覆了传统的IT和生活方式。随着x86处理器的计算能力的增长，软件存储系统成为第一个触手可及的东西。经典的存储系统是非常特殊的铁件，里面装有“定制硅片”，各种专有的硬件加速器和专用软件。它是由受过专门训练的人管理的，该人在公司中被以黑暗邪教的神父的身份崇拜。扩大公司运营的数据存储系统是一个整个项目，需要大量的计算和批准-毕竟，这很昂贵！高昂的成本和复杂性促使人们在具有通用通用操作系统（Windows，Linux，FreeBSD或Solaris）的普通x86硬件之上创建软件存储系统。复杂的自定义硬件中仅保留了软件，即使在内核中也无法在用户级别上运行。最初的软件系统当然非常简单且功能有限，通常它们是专门的细分解决方案，但时间已过去。现在，即使是大型存储系统供应商，也已经开始放弃专用的硬件解决方案-用于此类系统的TTM不能再承受竞争，并且错误的成本变得很高。实际上，除了极少数的例外，到2020年，即使是经典的存储系统也成为了最常见的x86服务器，只是带有漂亮的塑料枪口和一堆磁盘架。即将到来的海妖的第二个触角是闪存技术市场的出现和被其广泛采用，闪存技术已成为打破大象后腿的混凝土支柱。磁盘的性能已经多年没有变化，并且存储控制器的处理器完全可以处理数百个磁盘。但是可惜的是，数量迟早会变成高质量的-而且存储系统已经处于平均水平，更不用说最初的水平了，对闪存驱动器的实际数量有所限制。使用一定数量的磁盘（从十个磁盘开始，从字面上看），系统性能不会停止增长，但是由于需要处理更大的卷，系统性能也可能开始下降。毕竟，控制器的处理能力和吞吐量不会随着容量的增加而改变。从理论上讲，解决方案是横向扩展系统的出现，该系统可以将许多具有磁盘和处理器资源的独立架子组装到一个集群中，从外部看，它就像一个单一的多控制器存储系统。只剩下一步了。超融合
未来最明显的步骤是统一以前分散的数据存储和处理点。换句话说，为什么不在分布式服务器上而不是在单独的服务器上实现分布式存储，而不是在虚拟化主机上实现分布式存储，从而拒绝使用特殊的存储网络和专用硬件，从而合并功能。海妖醒了。但是，您要说的是，因为结合就是融合。这个愚蠢的前缀hyper来自何处？. + + . . , “ ”.
…
, , , . — SDS.
:
- — , , , /. .
- 融合系统-全部来自一种来源，一种支持，一种合作伙伴编号。不要与一个供应商的自组装混淆。
事实证明，我们的融合架构一词已被采用。与主管的情况完全相同。
超融合系统-具有融合架构的融合系统。
这些定义摘自文章“ 虚拟化的一般理论和考古学 ”，我在其中撰写了一篇生动的文章。是什么使应用程序中提到的三个字母超融合？- 从最小的体积（和最小的成本）开始
- 存储容量随计算能力的增长而增长
- 系统的每个节点都是其控制器-并消除了“玻璃天花板”问题（磁盘可以，但控制器不再存在）
- 存储管理大大简化
对于最后一段，习惯于在光纤通道端口上管理队列的旧模式存储管理员非常不喜欢超融合系统。在虚拟基础架构管理控制台中，只需单击几下鼠标即可分配空间。换句话说，在发布产品时，只有云比超融合系统快，但是云并不适合所有人，也可能并不总是适合。如果您是一名技术管理员，并仔细阅读了这里，您会很高兴，一般的用语已经结束，现在我将告诉您有关Cisco Hyperflex系统的个人观点，我用顽强的爪子对它进行了各种测试。思科Hyperflex
为什么选择思科
思科最初被公认为网络设备市场的主导供应商，但与此同时，它在数据中心市场的其他细分市场也得到了广泛的应用，既提供服务器解决方案又提供超融合解决方案以及自动化和控制系统。令人惊讶的是，到2020年，仍然会有人：“思科服务器？她从谁那里带走他们呢？”思科从2009年就开始处理服务器，当时选择了积极发展刀片式解决方案的途径。思科的想法是实施匿名计算器的方法。结果是一个UCS（统一计算系统）系统，该系统由两个专用交换机（它们称为交换矩阵互联）以及1到20个机箱（8个半尺寸刀片）或最多160台服务器组成。同时，机箱通常变得笨拙，只有一块通电的铁板，所有逻辑和开关都在Fabric Interconnect中完成；机箱只是托管服务器并将其连接到系统的一种方式。 Fabric Interconnect完全负责与外界进行的所有服务器交互-以太网，FC和管理。刀片和刀片似乎在那儿，除了外部开关外，并不像机箱中的其他任何设备。实施这些相同的“匿名计算器”的关键时刻。作为Cisco UCS概念的一部分，服务器除了序列号外没有其他个性。 MAC或WWN都没有。 Fabric Interconnect支持的UCS管理系统基于服务器配置文件和模板。连接机箱中的服务器捆绑后，需要为它们分配一个适当的配置文件，在其中配置所有标识地址和标识符。当然，如果您只有十几个服务器，那么这款游戏就不值得了。但是，当至少有两个，甚至三打，这是一个很大的优势。轻松，快速地迁移配置，或者更重要的是，复制适当数量的服务器配置，将更改立即应用于大量服务器，本质上将一组服务器（例如，虚拟化场）管理为一个实体。 UCS系统中提出的方法可以通过正确的方法来严重简化管理员的工作，提高灵活性并显着降低风险，因此，UCS刀片实际上在2-3年内已成为西半球最畅销的刀片平台，如今已成为全球HPE是两个主要平台之一。很快变得很清楚，完全需要基于通用工厂以及基于策略和模板的集成管理的相同方法，该方法不仅适用于刀片服务器，而且适用于机架服务器。从这个意义上讲，连接到结构互连的思科机架式服务器具有使刀片如此受欢迎的所有相同优势。今天，我将讨论HyperFlex，这是一种Cisco超融合解决方案，建立在连接到Fabric Interconnect的机架式服务器上。是什么让HyperFlex有趣并且值得在评论中考虑：- Cisco , , «» – , HyperFlex; , , , HyperFlex ;
- – ; HyperFlex , , ; , .
- « » — « », , ;
- Fabric Interconnect Cisco -, SAN , native FC;
- “” – , , ;
- Cisco , , , ;
- , , Cisco HCI, , HyperFlex , , .
HyperFlex是具有专用控制器VM的真正的超融合系统。让我提醒您，这种架构的主要优点是它对于不同的虚拟机管理程序的潜在可移植性。今天，思科已经实现了对VMware ESXi和Microsoft Hyper-V的支持，但是随着KVM选项在企业领域的普及，它可能会出现其中一种。考虑有关ESXi示例的工作机制。使用VM_DIRECT_PATH技术的设备（缓存磁盘和存储级别磁盘）直接扔到控制器VM（以下称为CVM）。因此，我们排除了虚拟机管理程序磁盘堆栈对性能的影响。虚拟机管理程序本身中还安装了其他VIB数据包：- IO Visor：为虚拟机管理程序提供NFS数据存储的安装点
- VAAI: VMware API « »
虚拟磁盘块以相对较小的粒度均匀地分布在群集中的所有主机上。当主机上的VM执行某些磁盘操作时，该操作将通过管理程序的磁盘堆栈转到数据存储，然后转到IO Visor，然后转到负责这些块的CVM。在这种情况下，CVM可以位于群集中的任何主机上。鉴于IO Visor的资源非常有限，因此当然没有元数据表，并且选择是通过数学方式确定的。接下来，请求进入的CVM对其进行处理。在读取的情况下，它从缓存级别（RAM，写入缓存，读取缓存）之一或从其主机的磁盘发送数据。在记录的情况下，它会写入本地日志，并复制一个（RF2）或两个（RF3）CVM的操作。
也许这足以理解本出版物框架内的工作原理，否则我将以思科培训人员为生，并感到as愧。不完全是，但仍然足够。有关综合测试的问题
-导航器，电器！-36！-什么是36？-电器呢？今天的事情看起来像是大多数存储系统的综合测试。这是为什么？直到最近，大多数存储系统还是平坦的，并且访问统一。这是什么意思？总可用磁盘空间是从具有相同特征的磁盘收集的。例如，300个15k驱动器。而且整个空间的表现都是一样的。随着分层存储技术的出现，存储系统已变得不平坦-性能在单个磁盘空间内变化。而且，这不仅有所不同，而且还是不可预测的，具体取决于特定存储模型的算法和功能。如果没有出现具有数据本地化的超融合系统，那么一切都不会那么有趣。除了磁盘空间本身（轮胎，闪存缓存）的不均匀性之外，对它的访问也很不均匀-取决于数据副本之一位于节点的本地磁盘上还是必须通过网络对其进行访问。所有这些导致了这样一个事实，即合成测试的数量可以是绝对任意的，而实际上没有任何意义。例如，根据您在现实生活中无法获得的广告宣传册，汽车的油耗。关于尺码的问题
合成测试编号的另一面是预售键盘下方的尺寸编号和规格。在这种情况下，预售分为两类-有些只是愚蠢地将您的TK锤击到供应商的配置器中，而第二种则将它们自己拿走，因为他们了解它是如何工作的。但是第二步，您将必须详细考虑您在传统知识中写的内容。如您所知，没有明确的传统知识-HZ的结果。
根据实际经验，在与一个客户竞争时确定一个相当沉重的超融合系统时，我本人在试点之后亲自从系统中读取了负载指标，并将其与TOR中编写的内容进行了比较。原来是在开玩笑：-拉比诺维奇（Rabinovich），您确实赢得了一百万美元的彩票吗？
-谁告诉你的？不是一百万，而是十卢布，不是在彩票中，而是优先，并没有赢，而是输了。
换句话说，经典的GIGO情况-垃圾进垃圾-垃圾进水=输出垃圾。几乎可以保证针对超融合的实际适用规模确定为两种类型：带给我们一定的余地，或者很长一段时间内我们将带动试点并采用指标。规格的确定和评估还有一点。不同的系统以不同的方式构建，并且与磁盘的工作方式也不同；它们的控制器的交互方式也不同。因此，根据规格对磁盘的数量和容量进行“头对头”比较实际上是没有意义的。您拥有某种TK，可以在其中了解负载水平。然后是一定数量的齿轮箱，其中提供了满足性能和可靠性要求的各种系统。基本的区别是什么？如果系统1中的磁盘类型和系统2中的两种类型均能成功完成任务，那么磁盘成本和系统2中的磁盘类型有多少不同。由于性能通常是由与虚拟机位于同一主机上的控制器确定的，因此对于某些类型的负载，它的作用可能非常明显，这仅仅是因为具有不同频率的处理器位于不同的群集中，而其他所有条件都是相同的。换句话说，即使是最有经验的售前建筑师，也不会在没有试点项目的情况下，更准确地告诉您规格，而不是您制定要求，也不会比“在某处SAM-VOSEM”更准确。
关于快照
HyperFlex可以使用写重定向技术来制作虚拟机的本机快照。在这里有必要单独停止考虑不同的快照技术。最初，存在写时复制（CoW）类型的快照，并且VMware vSphere本机快照可以作为经典示例。其操作原理与VMFS或NFS之上的vmdk相同，与vSAN等本地文件系统相同。创建CoW快照后，原始数据（块或vmdk文件）被冻结，并且当您尝试写入冻结的块时，将创建一个副本并将数据写入新的块/文件（用于vmdk的增量文件）。结果，随着快照树的增长，不具有任何生产意义的“虚假”磁盘访问数量将增加，并且性能下降/延迟增加。然后发明了写时重定向（RoW）快照，其中创建了元数据的副本，而不是创建带有数据的块的副本，并且记录继续进行，没有任何延迟，也无需进行其他读取和检查。如果正确实施RoW快照，则对磁盘系统的性能几乎没有影响。使用元数据而不是实时数据本身的第二个效果不仅是即时创建快照，还包括VM克隆，在创建后立即完全不占用空间（我们不考虑VM服务文件的系统开销）。对于生产系统，将RoW与CoW快照区分开来的第三个关键点是即时删除快照。看来是这样吗？但是，您需要记住CoW快照的工作方式，并且删除快照并不是真正的增量删除，而是其提交。在这里，她提交的时间非常取决于累积增量的大小和磁盘系统的性能。 RoW快照立即提交是因为，无论累积多少TB的差异，删除（提交）RoW快照都是元数据表的更新。这里出现了一个有趣的RoW快照应用程序-将RPO降至数十分钟的值。在一般情况下，几乎每30分钟进行一次备份几乎是不可能的，并且在大多数情况下，每天进行一次备份，因此RPO为24小时。但是同时，我们可以按计划执行RoW快照，将RPO缩短至15-30分钟，并将其存储一两天。不影响性能，只消耗容量。但是有一些细微差别。为了正确运行本机快照并与VMware集成，HyperFlex需要一个称为Sentinel的官方快照。当您首次通过HXConnect为给定VM创建快照时，会自动创建Sentinel快照，您不应删除它，也不应“返回”该快照，您只需要忍受以下事实：该服务Sentinel是快照列表中的第一个服务。
HyperFlex快照可以在崩溃一致模式或应用程序一致模式下运行。第二种类型涉及VM内部的“刷新缓冲区”，它需要VMTools，并且如果在HXConnect快照菜单中选中了“ Quiesce”复选框，则它开始。除了HyperFlex快照外，没有人禁止使用“本地” VMware快照。对于特定的虚拟机来说，确定要使用的快照是值得的，并且将来将重点放在此技术上，对于一个虚拟机“不打扰”不同的快照是值得的。作为测试的一部分，我尝试创建快照并检查其FIO。但是，是的，我可以确认快照确实是RoW，它们不会影响性能。快照创建的速度非常快（几秒钟取决于负载配置文件和数据集的大小），我可以根据结果给出以下建议：如果负载有很多随机写操作，则应从HXConnect界面开始创建快照，并带有“ Quiesce”复选标记和初步Sentinel快照的存在。测验
测试平台
以下平台陷入了顽强的爪子：- 4 x C220 M4（2630v4 10c x 2.20 GHz，256，800 + 6 * 960）
- vSphere 6.7
- HX数据平台4.0.2
清除补丁测试
没有CrystalDisk会进行哪种测试？没错，这不可能，普通人总是启动结晶磁盘！好吧，如果有必要，那就有必要。
对于水晶磁盘，创建了带有2个vCPU 4GB和板载Windows 7的专门创建的VM。哦，我讨厌在上面贴上补丁，我告诉你！该测试是按照伦敦和巴黎最好的房屋的最佳传统进行的-即，仅添加了一个虚拟磁盘next-next-finish，然后进行了测试。是的，顺便说一下，CrystalDiskMark本身不参与测试，它只是一个接口，而是直接使用工具包中包含的著名DiskSpd软件包加载磁盘系统。
真正使我震惊的是-由于某种原因，所有人都跳过了右上角的单位选择。和Alle op！
老实说，我没想到在下一个完成模式下，微机会产生75,000 IOPS和每秒超过1 GB的数据！坦率地说，并不是俄罗斯的每家公司的负荷总量都超过了这些指标。使用VMware HCI Bench和Nutanix XRay进行了进一步的测试，这是对HyperFlex的“意识形态上的敌对”，因此，预计我们不会抓捕囚犯。事实证明，数字非常接近，因此仅将XRay软件包的结果作为基础，因为它具有更方便的报告系统和现成的加载模板。对于那些不信任任何人并希望完全控制该过程的人，我想起了我的文章：构建自己的系统以在超融合平台上产生负载。用自己的双手进行性能测试giperkonvergentnyh系统和SDS “啊！宇和 Pozor！
所有进一步的结果及其解释都是本文作者的观点，并由他们自己在系统研究的框架中给出。大多数测试都是纯粹的合成测试，仅适用于了解极端和退化情况下的极限指标，而在现实生活中您将永远无法达到极限指标。FourCorners微基准测试
4面微测试旨在评估“快速”系统的最终理论性能和控制器的峰值性能。此测试的实际应用是启动后立即检查系统是否存在任何配置和环境错误，尤其是网络错误。那些。如果您定期运行这样的系统，那么您只知道“如果一切顺利”，您应该期待多少数字。
最终数字：280k / 174k IOPS，3.77 / 1.72 GBps（读/写），我们的控制器表现如何？
从中可以看出，4个控制器和4个VM负载的总资源消耗为2.2的49个内核。根据VMware统计数据，控制器的CPU利用率高达80％，即实际上，性能受到控制器（特别是处理器）性能的限制。顺序操作的速度特别取决于10G网络的速度。让我们再试一次。在没有最快2.2 GHz处理器的小型4节点群集上，在4U高度下的峰值性能接近30万IOPS。由于数字的顺序，“这里我们有10％，20％甚至40％更多/更少”的对话实际上是毫无意义的。尽管限制为80，但与开始测量“我可以拥有240辆汽车，我有280辆汽车”相同。280k / 4个节点可提供70k /节点的最高性能，例如，它超过了VMware VSAN计算器得出的峰值性能，后者假设AF节点每个磁盘组发出的数据不超过46k。在我们的例子中，在VMware术语中只有一个磁盘组，它实际上以x1.8运行。数据存储块大小的影响
创建HyperFlex数据存储时，可以选择数据块大小-4k或8k。这会影响什么？运行相同的四边形测试。
如果图片与阅读几乎相同，则相反的记录很重要。四边形测试使用8k负载。总数：280k / 280k，172-158k / 200-180k（4k 8k）。当块大小匹配时，将获得+ 15％的写入性能。如果您期望在装载中有一个小块（4k）的情况下进行大量记录，请为此装载4k的块创建一个数据存储，否则请使用8k。OLTP模拟器
另一项测试给出了更接近现实的图画。作为其一部分，将启动两个生成器，其配置文件接近事务型DBMS，负载级别为6000 + 400 IOPS。在此，测量延迟，该延迟应保持在稳定的低电平。
VM加载的延迟为1.07 / 1.08 ms。总而言之，这是一个了不起的结果，但是让我们加些热量吧！数据库托管：高强度
如果突然形成一个嘈杂的连续邻居，则取决于延迟，事务基础的行为方式。好吧，很吵。
因此，基于节点1的OLTP会以0.85 ms的延迟生成4200 IOPS。DSS系统突然开始按顺序操作消耗资源后会发生什么？节点2和3上的两个生成器分别以1.18 / 1.08 GBps的速度加载平台，总计为2.26 GBps。OLTP上的延迟当然会增加并且变得不太平坦，但平均值仍为1.85ms，并且基站接收其4200 IOPS不会出现任何问题。快照影响
系统每小时在OLTP上按顺序拍摄几个快照。日程安排并不奇怪，而且，这通常可以指示VMware经典快照的工作方式，因为Nutanix XRay除了自身快照外，不知道如何处理本地快照。您不需要定期使用vSphere快照，因为并非所有酸奶都同样有用。HyperFlex本机快照效果更好，使用它们，您的头发将变得柔软如丝！大数据摄取
HyperFlex将如何消化顺序上传的大量数据？好吧，假设1TB。
测试耗时27分钟，包括克隆，调整和启动发电机。吞吐量可扩展性
现在，逐渐加载整个群集并查看稳定数。首先从随机阅读开始，然后写作。
我们看到的情况是稳定的，机器负载的性能从IOPS的78k逐渐降低到55-57k，并且货架平稳。同时，整体性能从IOPS的78稳定提高到220k。
录制的顺畅程度略差一些，但仍然稳定，每辆车从64k到19-21k不等。同时，控制器上的负载要低得多。如果在读取期间总处理器负载水平从44增加到109，则在记录时从57 GHz增加到73 GHz。在这里，您可以观察到超融合系统功能的最简单，最明显的示例-唯一的使用者根本无法完全利用系统的所有资源，并且在添加负载后，性能不会显着下降。我们目睹的跌落已经是极端合成载荷的结果，该载荷旨在将所有物体挤压到最后一次跌落，而在正常产品中几乎从来没有这种情况。破坏OLTP
到这个时候，HyperFlex的可预测性甚至变得无聊。迫切需要打破的东西！
红点表示控制器VM在负载之一的主机上关闭的时刻。由于默认情况下，HyperFlex中的重建仅在磁盘丢失时才开始，并且在节点丢失时，超时为2小时，因此强制重建的时刻用绿点标记。login as: admin
HyperFlex StorageController 4.0(2a)
admin@192.168.***.***'s password:
<b>admin@SpringpathController0VY9B6ERXT:~$</b> stcli rebalance status
rebalanceStatus:
percentComplete: 0
rebalanceState: cluster_rebalance_not_running
rebalanceEnabled: True
<b>admin@SpringpathController0VY9B6ERXT:~$</b> stcli rebalance start -f
msgstr: Successfully started rebalance
params:
msgid: Successfully started rebalance
<b>admin@SpringpathController0VY9B6ERXT:~$</b> stcli rebalance status
rebalanceStatus:
percentComplete: 16
rebalanceState: cluster_rebalance_ongoing
rebalanceEnabled: True
<b>admin@SpringpathController0VY9B6ERXT:~$</b>
操作冻结了几秒钟，然后再次继续，几乎注意到了重建过程。远离群集过载时，它处于稳定状态。尽管竞争对手的数量更少，为什么2个小时的Cisco没问题？思科强烈建议您将RF3用作所有设备的基本数据保护级别，除了不是很可惜的机器。您决定安装修补程序或对主机执行某些操作，然后将其关闭。并且有可能在那一刻，另一台主机将发生故障-然后在RF2的情况下，一切都将变成危险，而在RF3的情况下，将有一个有效的数据副本。是的，确实，在RF2上发生事故2个小时后，很可能可以幸存下来，直到恢复到RF3为止。彻底打碎我！
打破-如此打破。满载。在这种情况下，我创建了一个配置文件，该配置文件或多或少类似于真实负载（70％读取，20％随机，8k，6d 128q）。
猜猜CVM在哪里关闭了，重建从哪里开始？
在进行重建的情况下，HyperFlex的性能相当好，即使在非常番茄的负载下，也不会造成灾难性的性能下降或延迟的多次增加。我唯一真正想要的是亲爱的Cisco，默认情况下，将超时时间都设置为少于2小时。发现
总而言之，我回顾了测试的目的：今天研究Cisco HyperFlex系统，而不看历史，使用合成材料研究其性能，并得出有关其在实际产品中的适用性的结论。结论1，关于性能。效果非常好，在这里您将不给出其他任何评论。由于我在测试中使用的是上一代系统，因此我只能说一件事-在HyperFlex All Flash上，您将遇到容量，处理器，内存而不是磁盘的问题。也许只有1％的超负荷应用程序除外，但是您需要亲自与他们进行对话。本机RoW快照起作用。结论2，视情况而定。检测到故障后的系统相当不错（有时不会出现性能下降），可以恢复数据副本的数量。在开始恢复之前（如果主机丢失），在2小时默认超时中会有一点抱怨（但是主机强烈建议使用RF3），这比较挑剔。磁盘故障后的恢复将立即开始。结论3，价格和与竞争对手的比较。该系统的价格可以根据特定项目的配置而变化很多倍。项目成本的很大一部分将是许可的系统和应用程序软件，它们将在基础架构平台上运行。因此，与竞争对手进行比较的唯一方法是比较满足技术要求的特定商业报价，特别是针对贵公司的特定项目。最终结论：如果阅读并应用了供应商的建议，而不是吸烟，该系统将在2020年4月投入使用，已经相当成熟。