从数据到智能，戴尔科技构建下一代数据引擎

admin2

如今,拥抱智能已从过往的技术选项变为产业转型的必选项,更成为了千行万业竞相布局的数智化新赛道。

在这场智能化的浪潮中,企业既需要持续构建更大规模的数据基础设施,也需要竭尽所能获取更多高质量行业数据。

毕竟数据的规模和质量决定了智能的高度,也决定了智能技术在实体经济应用场景中的落地效能。而作为智能技术的“粮仓”,数据基础设施承载着三重价值:

作为持续供给高质量数据养料的战略储备池,一旦缺失充沛优质的数据资源,智能算力的进化能力将大打折扣。

同时,其技术架构的先进性还直接决定智能应用的训练效率与迭代速度,这就犹如“高速公路”与“乡间小道”之间有着本质的区别。

更为重要的是,作为数据要素的核心“保险库”,它还是构筑数据安全风险“铜墙铁壁”的核心防线。

从这个角度来说,打造智能就绪的数据基础设施,既是推动智能技术进步的必然要求,也是千行万业提升整体创新能力、实现数智化转型的关键选择。

在此背景下,戴尔科技集团通过与时俱进的创新与迭代,推出湖仓一体架构的智能数据平台解决方案,帮助企业高效利用数据,实现智能化转型。

该平台以横向扩展能力实现存力的线性增长,以智能数据管理引擎优化数据全生命周期价值挖掘,同时兼具弹性扩展和安全管理能力。

打破数据孤岛

让数据“鲜活”起来

可以看到,当前企业的工作负载正经历着翻天覆地的变化:从传统的虚拟机、数据库模式,到如今的智能应用、机器学习、容器和边缘计算等新技术,企业得以借助这些新技术推动业务发展,增强市场竞争力。

然而,企业在享受新技术红利的同时,其数据基础设施平台却面临着诸多挑战,如建造成本难以预测、架构扩展性差、网络安全威胁等。

这些挑战推动着企业对更高效资源利用、更智能开放的数据基础设施以及更强安全措施的迫切需求。

在此过程中,数据已成为企业的核心战略资源,特别是数据质量更成为企业在数智化时代实现价值创造与可持续发展的核心基石。

然而,长期存在的“数据孤岛”问题已成为企业迈向智能时代的重要阻碍。异构系统间的技术标准差异、部门权责割裂以及隐私合规限制等因素,形成了数据流通的“无形壁垒”。

这种碎片化的数据分布不仅导致智能应用训练面临样本偏差和特征缺失的技术瓶颈,还引发了组织、技术和合规层面的多重矛盾:

从成本上看

重复存储加剧了算力浪费,分散治理推高了合规风险,而全局洞察力的缺失更使企业难以应对快速变化的市场需求。可以说数据孤岛带来的隐性成本“不容小觑”。

除此之外,企业过往的数据架构在长期演进中形成的“集中化、孤岛化、僵化性和专有性”等问题,同样也成为企业数据驱动业务转型的另一重障碍。

对架构来说

典型的如集中式设计引发性能瓶颈和单点故障风险,数据隔离阻碍了企业内的无缝数据共享与业务协作,架构僵化难以适应动态需求,技术绑定则推高构建成本、限制了技术创新等等。

为了打破这一困局,现代数据架构“应运而生”,以开放、安全、灵活为核心打破数据壁垒,促进数据跨部门流通,通过分布式设计提升性能与可靠性,摆脱单点依赖。同时以弹性架构适配业务变化,降低技术成本。

更为关键的是,基于现代数据架构,能够让数据从“资源孤岛”蜕变为“价值活水”,助力企业在数智化浪潮中重构竞争力,开启数据驱动的增长新模式。

以智能数据底座

驱动数据创新

正是洞察到这种需求变化,戴尔科技集团在开放、灵活和安全的架构上,打造智能的数据平台解决方案,该平台秉持五大核心设计宗旨,助力企业在数字化浪潮中脱颖而出。

灵活的数据访问和洞察,赋予企业业务部门和数据团队自助式访问权,推动业务创新。

增强的数据策略,通过丰富元数据、合并数据源,确保更准确的洞察,提高数据可发现性。

更可控的数据存储与管理,利用开放格式和行业标准,增强快速高效搜索非结构化数据的能力。

简化的数据存储平台,通过单个命名空间和多协议支持提供通用访问。

针对智能应用和数据工作负载优化,采用高性能、可扩展、可用性和安全性架构,确保企业无缝运营。

值得一提的是,戴尔科技智能数据平台解决方案在存力底座方面可以采用智能就绪型存储平台PowerScale以及第四代对象存储平台ObjectScale。

PowerScale

智能时代的核心引擎

自2020年正式从Isilon更名焕新以来,PowerScale一直以横向扩展的存储架构,以及高性能、高扩展、高可靠能力为非结构化存储树立了新的标杆,成为了智能时代关键的数据基础设施,其核心的优势主要体现在三个维度:

灵活扩展

无惧数据爆炸增长

PowerScale具备出色的扩展能力,企业可以从小规模起步,随着业务的增长逐步扩展至PB级存储容量。

值得注意的是,PowerScale的扩容过程无需停机,且仅需60秒即可完成新节点的添加,有效确保了业务的连续性,并大大减少扩容所需的时间和人力成本。

整个集群还可通过一个统一的管理界面进行轻松管理,降低了管理的复杂性和难度,让企业能够更加专注于核心业务。

与此同时,PowerScale还是全球率先通过NVIDIA DGX SuperPOD验证的以太网存储解决方案,能够提供GPU Direct Storage 的支持。

该功能可以让GPU直接访问存储数据,减少了数据路径,降低了数据访问延迟,有效提高GPU利用率。对于需要进行智能训练工作负载的企业来说,这一功能可显著提升训练效率,加速智能应用的迭代和优化。

在今年举办的2025戴尔科技全球峰会(DTW)上,戴尔科技也基于OneFS 9.11的全新升级发布了新一代全闪存PowerScale平台的最新成员PowerScale F910。

PowerScale F910配备新的122TB驱动器选项,能够实现单个节点最大2.9PB的裸容量密度,满足了企业对性能和容量的双重需求。

同时,PowerScale F910也针对混合平台也进行了容量、成本、性能的优化,为企业提供了更多选择,以适应不同的业务场景和预算要求。

深度集成

满足多种工作负载

为提高存储利用率,PowerScale 提供了高速线内数据压缩和重复数据消除功能。通过这些技术,企业可以在不增加存储硬件成本的情况下,存储更多的数据,有效节省了存储空间和成本。

此外,其单个数据湖的架构打破了数据孤岛,实现了数据的集中存储和管理,提高了数据的共享和利用效率,为企业决策提供了更全面、准确的数据支持。

在多协议支持方面,PowerScale支持多种访问协议,如NFS、SMB、HDFS、S3 等,能够对同一共享数据池进行统一访问。

这意味着用户可以根据不同的工作负载和应用程序需求,选择合适的协议来访问数据,无需进行复杂的数据迁移和转换,使得PowerScale能够满足不同业务场景下的数据访问需求。

在数据安全方面,PowerScale 提供了企业级可用性、冗余度和安全性。除了本地数据保护措施外,还支持异地复制,将关键数据资产复制到其他地理位置,以防范因自然灾害、访问中断和网络攻击等原因导致的数据丢失。

同时,PowerScale 还提供勒索软件保护和数据避风港解决方案,为企业的数据安全提供了全方位的保障,让企业能够安心应对各种安全威胁。

功能增强

提升数据发现与管理能力

PowerScale的存储和数据管理产品组合能够与业务应用程序无缝配合,为数据工程、数据科学、数据仓库和数据湖项目提供强大的支持。

PowerScale可支持多种现代数据分析应用程序,如Apache Flink、Spark、Hadoop、Dremio、Databricks等。

而凭借与Adobe、NVIDIA、AMD 等行业领先企业的合作,使得企业能够充分利用这些工具和技术,深入挖掘数据价值,推动业务创新和发展。

此外,PowerScale提供的MetadataIQ框架增强了元数据功能,使客户能够根据工作流和分析需求发现所需数据并编制索引,为企业提供了更强大的数据管理和分析能力,增强数据分析和检索的时效性。

同时,MetadataIQ 可以跟踪数据的增量(变更列表),批量解析每个增量中的条目,更新索引数据库,为企业的非结构化数据存储库提供全局目录,方便企业进行全面的数据管理和分析。

针对RAG(检索增强生成)优化,PowerScale也发布了开源文档加载器,支持 LangChain和NVIDIA NIM微服务。

该加载器能够智能识别和处理变更的数据,当源数据存储在PowerScale时,可大幅缩短RAG数据流水线的摄取时间,并降低计算和GPU成本。

这一优化使得企业在处理自然语言处理任务时,能够更加高效地利用数据,提升智能应用的性能和效果。

ObjectScale

智能的对象存储平台

除PowerScale以外,基于第四代对象存储平台ObjectScale打造的戴尔科技智能数据平台解决方案,则具备以下核心优势:

横向扩展

应对数据指数级增长

ObjectScale采用独特的横向扩展、跨地域的分布式架构设计,支持从TB到EB级的无缝扩容,无论数据中心部署在何处,均可轻松应对指数级数据增长需求。

通过在线添加新节点的方式,也能实现容量与性能的同步扩展,确保业务无中断升级,为企业的长期数据规划提供可靠支撑。

智能适配

构建高效对象数据存取

依托ObjectScale的多站点联合与云复制功能,用户可构建全局可访问的内容存储库,同时可支持在应用程序和用户附近部署存储节点,实现就近访问,最大限度降低延迟并缩短访问路径。

与此同时,凭借丰富的多协议支持与互操作性(如S3、S3a、NFS等),可构建大规模扩展的多用途数据湖,为现代应用程序及分析应用提供高效数据支撑。

安全无忧

统一的管理与安全防护

在管理层面,管理员可通过直观的集中式GUI及内置报告工具,轻松管理数十亿对象、数百个租户及PB级数据。同时提供丰富的RESTful管理API,可无缝集成至现有管理解决方案中,实现统一管控。

在安全层面,ObjectScale集成高级安全功能,包括数据加密、增强型日志记录、ObjectLock等技术,全面保护企业核心数据资产。其基于零信任架构设计,可有效抵御未经授权的访问、勒索软件攻击及其他网络风险,全方位保障数据安全。

释放数据价值

实现从数据到智能的跃迁

除提供智能就绪型存储底座之外,戴尔智能数据平台方案无论是在应用场景、数据保护、模块化架构方面也专门进行能力强化,能够帮助企业进一步释放数据价值,助力企业实现从数据到智能的跃迁。

在应用场景方面

戴尔科技智能数据平台配备了数据分析引擎和数据处理引擎两大核心组件。

数据分析引擎采用Starburst技术,具备强大的跨多种数据源联邦查询能力;而数据处理引擎则基于Spark技术,实现了数据的大规模处理。

同时,基于戴尔科技智能数据平台构筑的数据湖仓也采用100%开放格式驱动,并遵循现代行业标准,内置数据治理机制,确保数据湖仓能够随着未来需求的变化而不断发展。

在数据保护方面

戴尔智能数据平台通过全面的保护策略确保组织数据的安全和合规性。

该平台的数据保护策略包括存取控制、威胁检测、数据隐藏、数据隔离、数据加密以及数据复制和移动性等多方面的保护措施,为企业数据提供了全方位的安全保障。

在模块化架构方面

戴尔智能数据平台整合了全流程数据管理,同时借助多协议存储提高访问性能。

该平台通过咨询服务梳理数据智能和商业智能的用例需求,依托数据湖仓实现跨云、跨数据源的统一查询与治理,结合Elastic Search的元数据索引和PowerScale Metadata IQ完成非结构化数据准备工作,并通过元数据增强引擎生成可消费数据产品。

其多协议存储支持高性能访问,消除了数据在不同协议间的数据搬运开销。此外,网络安全套件提供了威胁防护与实时响应,辅以生命周期服务和优化分析引擎,形成了从数据整合、存储、分析到安全防护的完整解决方案。

   结语    

总的来看,采用PowerScale或ObjectScale作为存力底座的戴尔智能数据平台以“开放架构兼容生态、就地查询激活全量数据、自研技术保障性能、立体安全守护资产”为核心,构建了适应智能时代的数据基础设施。

其关键价值不仅在于解决数据孤岛与迁移难题,更通过技术开放性与安全可靠性,帮助企业构建敏捷、可持续的数据生态,从容应对数据智能驱动的业务创新挑战,加速企业抢占智能创新的制高点。