数据网格在物联网、人工智能和机器学习中的用例和应用

　　网格以分散的方式跨物理和虚拟网络分布数据。与需要高度集中的基础架构的传统数据集成工具不同，数据网格可以跨本地、多云和单云边缘环境工作。

　　在这篇文章中，我们讨论了网格在不同设置中的实际应用。

　　数据网格：解决几个常见问题

　　根据麻省理工学院的调查结果，只有 13% 的受访组织能够按照他们的数据战略成功交付。数据网格正在解决许多负责任的根本原因。

　　使用数据网格可以解决在较小规模的数据管道中出现的几个问题。如果不加以解决，随着时间的推移，这些问题很快就会变得有问题和脆弱，因为杂乱的点对点系统会随着时间的推移创建自己的网络。

　　同时，数据网格还解决了组织中更大的问题，例如公司不同部门可能存在分歧的核心业务事实。

　　通过实施数据网格，系统不太可能拥有事实副本。

　　使用数据网格不仅可以为系统带来秩序，还可以为您提供更好的可管理性、成熟和演进的数据架构。

　　随着我们看到基于云的应用程序的兴起，应用程序架构正在从传统的集中式 IT 转移并过渡到分布式服务网格或微服务。一个名为 K2view 的实时数据平台领先一步，成功地在其结构和网格架构中实现了 micro-DB 的使用。每个微型数据库仅存储特定业务合作伙伴(客户)的数据，而其网格平台存储数百万个此类微型数据库。

　　数据网格：用例

　　数据网格可以支持跨多个域的多个分析和操作用例。一些例子包括：-

　　1. 了解客户生命周期

　　它为客户关怀提供 360 度支持，并显着减少平均客户处理时间。它还可以提高客户满意度并提高首次联系解决率。

　　营销部门还可以部署一个单一的客户视图，以进行下一个最佳报价决策或预测客户流失建模。

　　2. 物联网 (IoT) 中的实用程序

　　通过物联网设备监控，产品团队可以深入了解边缘设备的使用模式。他们可以使用此模式信息来迭代和提高他们的盈利能力和产品采用率。

　　通过为物联网设备采用网状网络，公司可以获得一些好处，使其在选择网络时成为一种流行的技术。

　　公司可以以非常低的成本将所有物联网、企业、流媒体和第 3 方数据一起存储到 S3 数据湖中。

　　3. 自愈算法

　　正如在最短路径桥接之前提到的，即使在某些节点失去连接的情况下，自愈算法也会自动选择发送数据的最佳路径。

　　该算法允许系统仅使用可用的和工作的连接。因此，即使某些设备停止运行，网络仍然能够发送和接收维持或完成给定任务所需的信息。

　　4.分布式和更有效的安全性

　　现在，当谈到安全性时，企业已经做好了充分的准备并不断更新他们的协议。然而，中小企业缺乏必要的指导。根据埃森哲的网络犯罪研究，43% 的攻击针对的是较小的组织，而只有 14% 的攻击能够自我预防。

　　借助像 Mesh 这样的现代数据管理解决方案，中小企业有机会跟上潮流。

　　在数据高度分散和分布式的情况下，安全性至关重要。

　　此类系统应将授权和身份验证活动委托给不同的用户，根据需要为他们提供不同级别的访问权限。

　　2022 年市场首要报告中确定了以下数据网格的关键安全能力：各种形式的数据隐私管理 数据加密，无论是静止还是动态 数据屏蔽，有效管理 PII 混淆 CCPA 和 GDPR 合规性以及其他法规 涵盖所有 IAM/LDAP 类型服务的身份管理

　　5. 自配置

　　由于网状网络的自动发现，物联网设备现在可以自我配置。它会自动校准新节点并将它们连接到所需的网络，而无需任何先前的设置。

　　借助此功能，可以轻松扩展和管理网络。

　　6. 营销和销售

　　营销和销售团队可以通过使用分布式数据轻松地从不同平台和系统中策划 360 度全方位消费者档案和行为视图。

　　这使他们能够创建更有针对性的活动、CLV(客户生命周期价值)、更好的潜在客户评分准确性，并执行其他几个重要的绩效指标。

　　营销团队使用超细分在正确的时间通过正确的渠道向正确的客户提供营销活动。

　　7.人工智能和机器学习

　　智能和开发团队可以轻松地从多个来源创建数据目录和虚拟仓库，以提供 AI 和机器学习模型。

　　这为他们提供了更多洞察力，而无需在给定的中心位置收集所有数据。

　　团队还可以使用联合数据准备，使域能够为数据分析工作负载提供可信数据和质量。

　　8. 防损

　　通过在金融部门实施数据网格，公司可以更快地获得洞察力，同时降低运营风险和成本。

　　此功能使国际金融机构和组织能够在本地分析其数据。这可以在任何地区或国家完成，它有助于识别任何欺诈威胁，而无需创建任何可以传输到中央数据库的数据集副本。

　　数据隐私管理允许公司保护他们的客户数据，因为他们必须遵守不断发展的区域数据和隐私法，如 VCDPA。

　　数据网格的几个实际实现

　　金融服务机构

　　在他们的一篇博客中，Thoughtworks 讨论了数据网格对金融机构数据流程的影响。

　　由于此类应用程序实时处理大量事务数据，因此将准确及时的数据流传输到分析系统非常重要。

　　在这种情况下，高管可以灵活地快速操作数据，并且能够访问面向领域的数据产品。

　　这使他们能够提出更多相关问题，并最终获得更可靠的答案和有价值的见解，以便在更短的时间内采取行动。

　　不仅如此，领域团队还能够使用分析数据并将其直接构建到用户的数字体验中。

　　AWS S3

　　大约 15 年前，当 AWS 将其存储层商品化并用 AWS S3 对象存储取而代之时，发生了巨大的变化。

　　由于 S3 和其他云存储的可负担性和普遍性，公司现在正在将其数据转移到云对象存储。这使他们能够构建数据湖，最终可以以不同的方式分析数据。

　　时尚零售商品牌

　　欧洲最大的在线时尚零售商 Zalando 了解到，有一种简单的方法可以保证大规模的访问和可用性。这可以通过将更多职责转移给最初收集这些数据并拥有所需领域知识的团队来完成。并且还通过将所有元数据信息和数据治理保持在中心位置。

　　相信我，空间不足以涵盖所有用例。这是一个推动市场，企业希望从中获得最大收益。

　　下一步是什么?拥抱数据产品思维

　　数据产品有几种创新实践，它们将不同的概念融合在一起，例如设计思维、待完成的工作理论，以及打破阻碍跨职能创新的组织孤岛。到 2022 年，企业应抓住机会并改进其数据管理战略，牢记 Web 3.0。

　　作者简介： Yash Mehta 是国际公认的物联网、M2M 和大数据技术专家。