从三个案例看数字化转型需求下存储架构的从个储架选择和应用

作者：twt社区 2022-07-08 07:48:59存储 存储架构 在大数据时代的背景下，结构化和非结构化数据激增，案例各个企业数字化转型步伐的看数加速，存储技术架构的字化转型不断更迭，会有更新的需求下存选择存储解决方案或者架构应运而生。新技术并不是从个储架为了代替老的技术，而是案例能够在现有存储架构的优势上，发掘新的看数突破点。在数据存储方面，字化转型混合架构的需求下存选择配合使用是未来存储发展的新趋势。

引言

针对数据存储架构的从个储架需求是当下企业关注的焦点之一，在数字化转型背景下，案例对存储的看数需求量直线上升，无论是字化转型基础的数据存储还是容灾备份的需求。传统集中式的需求下存选择存储架构，已经不适应大数据时代业务的全部需求，存储在此类场景下的“软实力”变得尤为重要。

存储需要“软实力”，也就是我们常说的软件定义能力，如分布式架构的存储，但是并不意味着集中式存储没有用武之地。分布式存储架构在对象存储方面的优势不可否认，但是任何技术架构都要看其两面性，很多企业依然会在某些核心领域沿用集中式存储，尤其是在块存储泛滥的传统制造业。

在制造业传统工厂向智能工厂转换的过程中，诸多分散的生产系统将进行合并，关系型数据库中的核心数据通道将被贯通，对存储的性能和高可用性要求非常的高。本文将分享制造业案例数字化转型背景下集中式存储与分布式存储架构的应用。

分布式存储在制造业的应用案例分享

由于集中式存储价格昂贵，扩展灵活性等原因，无法满足数据海量存储的容量要求和实时存储的性能要求，分布式存储架构得到了飞速的发展，其主要特点包括但不限于：大容量、高性能、高可靠、易扩展、低成本。

某传统制造企业已开始围绕客户为中心的理念进行多年的数字化转型，为了更好的了解用户的画像，获悉用户最真实的意见和想法，将其快速的反馈给后端研发，生产出更适应当代市场的产品。公司在业务系统上进行了软件架构的重构，采用微服务架构建设端到端的应用系统，用于第一时间听到用户的心声。

随着架构的开放及业务形态的变化，终端侧数据呈现出种类多、体量大、碎片化的特点。同时在服务上也对及时性有更加苛刻的要求，现有的集中式数据存储方案无法达到业务的需求。时常出现：

• 数据增长快速，撑爆存储，紧急扩盘，周期长；
• 数据过于碎片化，传统存储分区过大，导致检索速度慢，无法及时响应前端业务需求；
• 前端存储数据不仅局限在传统的结构化数据，目前80%的数据都是非结构化数据，如图片、声音、短视频等等。导致传统存储性能无法满足业务需求。

总之，无论在扩展能力上、存储容量上还是性能上都不能匹配业务需求。为此集团通过大量的市场调研和实践应用，最终决定引入分布式存储解决方案助力业务转型。

集团采购了数套分布式存储设备，利用周末两天替换了C端业务的后端集中式存储，完成系统对接。通过近一周的试运行：

• 性能上大幅度提升，对于碎片化数据的处理能力明显上升，基本满足C端应用的响应要求；
• 由于主要是X86架构的存储节点，所以管理员可以根据需求高效扩展，而且成本极低；
• 更适合C端软件架构的环境，提升非结构化数据存取效率。

集中式存储在制造业的应用案例分享

在大数据时代，集中式存储虽然已经无法完全适应各种新兴业务的数据要求，如大数据分析平台、物联网平台、零散型数据的存储业务等。但是集中式存储架构独特的技术特点仍然是企业核心业务中数据存储不可缺少的部分，尤其是在传统企业中。如ERP、CRM、交易型系统的核心数据库平台。从字面的意思不难看出，集中式存储就是说将数据集中存储在一个地方，架构特点：部署简单、横向扩展、性能稳定、管理简单。

对于集中式存储是否还有使用场景或者说是存在的价值，一直都有争论，虽然传统存储的架构不够灵活，扩展能力也相对较差，应用场景也逐渐在萎缩，但是由于它天生IO路径短，单体性能较好的特点，非常适用于对延时要求非常高的核心数据库场景。

某制造企业作为国内知名的汽车制造公司，在工业互联网的大背景下，着手进行数字化改革。工厂也开始逐渐从传统工厂向智能工厂转变，旨在通过现代化的、自动化的生产能力，提升生产效率，降低运营成本。

工厂由于历史原因，深度采用SAP、微软、Oralce、西门子等大厂的解决方案用于核心应用。各个业务单体相对独立，均通过标准的接口进行服务对接。这就意味着数据存储也相对独立，各自为政。但是随着智能工厂的提出，各大应用系统的数据呈现指数型增长。数据种类也复杂多样，有的用于工厂生产，有的用于质量控制、有的用于工厂可视化，重要程度可想而知。但当前所有的数据均存储在一个使用超过5年的集中式存储上。现有存储采用机械盘与闪盘混搭的形式使用，所以在IOPS上可以有效支撑这些传统应用的使用需求。但是毕竟是单点工作，若控制器或者其他核心部件发生风险，将直接造成不可估量的损失。为此IT部门决定通过寻找一种高可靠的方式实现数据的备份，确保当出现“黑天鹅”事件时，可以第一时间保住生产不断。

为此IT部门通过与友商的学习及与成熟存储解决方案厂商的沟通，最终决定继续使用集中式存储解决方案从物理上实现数据级的核心数据备份。简单来说就是另外采购一套相同配置的集中式存储，通过内置的物理级存储复制功能，定期对制定的数据卷进行复制。从而实现数据的异地备份。此方法既简单又可靠，充分发挥了集中式存储的优势，满足了业务的需求。

为什么不用分布式存储，而继续采购新的集中式存储与现有集中式存储形成互为备份的架构，主要有以下几点考虑：

• 数据结构单一

现有应用系统产生的数据均为结构化形式存储，集中式存储架构非常适合此类业务场景。

• 对接成本高

若使用新的存储架构，如分布式存储架构。有可能需要业务侧的联调与系统对接（重新对接）。由于各个业务系统的供应商不同，对接方案错综复杂，成本直线上升，而且对实际的性能和应用与集中式存储相比增加效果甚小。

• 运维成本高

集团现有存储工程师对集中式存储非常熟悉，需要对分布式存储进行学习，培训成本高。同时若采用X86架构的分布式存储，对网络延时要求高，对运维人员的技能要求也相对提升。

集中式与分布式存储在制造业混合应用案例分享

其实集中式存储和分布式存储就像两个孪生兄弟，在某些场景下可以单打独斗，独领风骚。但是在一些特殊场景上必须相互扶持，强强联合，才能发挥最大的能量，满足业务的最终需求。

某集团的车联网业务的数据存储需求就非常适合混合存储架构，利用集中式存储和分布式存储的合理结合，有效的承担不同类型数据的存储任务，并提供低延时、高可用、海量的存储环境。

车联网业务作为某公司未来5-10重要的发力点，得到高层的支持，并以惊人的速度发展。目前接入车辆达到百万级，每天产生数十亿条数据，每天3-4T左右的存储量。车联网平台存储了接入车辆的位置信息、状态信息、速度信息及其他传感器等信息，主要以非结构化的数据为主,而且琐碎而海量。导致传统的数据存储架构无法满足当前规模的车联网数据存储的需求、响应的需求和弹性扩容的需求。对于车联网的后端报表平台，与大数据分析平台形成数据驾驶舱，为各个业务层面的领导进行决策提供数据支持。

为更好的支持整个车联网平台的数据存储和不同层面的业务需求，IT部门急需一种性价比较高的存储解决方案。经过调研和POC，最终决定采用分布式存储对采集的数据进行存储，利用集中式存储对驾驶舱数据及各种报表进行存储，主要有以下方面的考虑：

• 数据类型

前端主要负责数据的采集和存储，由于采集的数据大多数是非结构化数据，具有海量、琐碎、多样性的特点，所以采用分布式存储架构对非结构化数据进行存储，既可以实现海量存储，也可以实现弹性扩容。后端主要是固定的报表服务，数据大多数是结构化的，所以使用集中式存储即可满足业务需求。

• 弹性扩容

考虑到前端每日的数据增长量，传统的集中式存储无法实现按需的快速增长需求，所以利用分布式存储的弹性扩容特点，满足快速扩容的需求。后端报表服务主要是按照领导的需求进行页面的展示的增加，对存储需求小，传统的集中式存储即可满足。

• 性能至上

前端负责数据的采集和存储，要求对前端应用快速响应，尤其是琐碎的小文件，集中式存储是不可能快速检索和响应。采用分布式存储架构可以从根本上解决性能滞后的问题。

• 性价比高

前后端按需采用不同的存储架构，在提升使用效率的同时，更能降低总体使用成本，符合集团降本增效的指导方针。

总结

在大数据时代的背景下，结构化和非结构化数据激增，各个企业数字化转型步伐的加速，存储技术架构的不断更迭，会有更新的存储解决方案或者架构应运而生。新技术并不是为了代替老的技术，而是能够在现有存储架构的优势上，发掘新的突破点。在数据存储方面，混合架构的配合使用是未来存储发展的新趋势。

责任编辑：武晓燕 来源： twt企业IT社区 存储架构数据

(责任编辑：综合)