火山引擎DataLeap：从抖音电商来看，“数据质量治理”怎么做？

首页 > 新闻 > > 详情

火山引擎DataLeap：从抖音电商来看，“数据质量治理”怎么做？

2023-03-23 12:14:12来源：中关村在线

经过近年发展，抖音电商的体量和规模已经相当可观。

基于数据驱动思路，抖音电商在数仓建设、数据管理等层面实现准确分析和测量数据，做出以数据为依据的决策，从而推动业务快速发展。本文对话抖音电商团队，为你揭秘庞大数据体量下的数据质量管理最佳实践。

数据有效性、及时性、准确性关系到C端用户体验和B端商家决策，在数据体量庞大的情况下，难以避免数据缺失、纬度错误、产出延时等问题，这与数据质量管理息息相关。据抖音电商数据团队介绍，之前数据质量问题集中体现在：历史数据繁多，导致无法准确定位异常数据；缺乏合理的监控规则；补齐表监控规则时间、人力成本高等。

【资料图】

为了高效、便捷实现数据质量监控，抖音电商数据团队引入火山引擎DataLeap数据质量平台，通过数据波动监控、异常报警、数据内容探查及差异对比工具等功能，保证数据在生产及使用流程中的可靠性和合理性，避免因为数据质量导致的数据失信、决策失误等事故。

抖音电商数据团队主要介绍了数据质量监控、数据异常治理两个场景。

在数据质量监控上，抖音电商通过火山引擎DataLeap对抖音APP存量数据质量配置监控，并沉淀合理的监控规则，方便监控任务的配置情况及把关数据质量。

火山引擎DataLeap数据质量平台

首先，在监控范围上，通过数据质量平台实现ToB、ToC 任务覆盖全量监控，及时规避数据质量风险；其次，在推进机制上，由于 ToC链路上游多且监控任务带来过多计算资源消耗，抖音电商团队优先从核心数据链路开展数据质量监控；最后，在落地执行上，通过确立目标、Owner和进度，完成表行数、重复值、空值、表字段、异常值的梳理。

最终实现抖音电商数据质量管理全链路标准化，即由牵头人发起配置事项，通过火山引擎DataLeap数据质量平台完成监控配置，并跟踪完成情况，最后相关数据被推送至看板，方便相关数据研发人员查看和复盘。

对于数据异常情况，抖音电商团队主要通过火山引擎DataLeap表探查的能力来解决。

数仓中较多数据表字段存在异常值、空值，在使用前无法感知，导致在数据使用时才发现质量问题，再由业务方反馈，处理效率较低。火山引擎DataLeap具备制定统一的监控规范与开发规范能力，支持检测历史数据异常以及空值等情况，并默认处理、标注数据属性，确保无数据质量问题，才推进表上线流程。

除数据质量治理外，火山引擎DataLeap还具备数据集成、开发、运维、资产、安全等全套数据中台建设能力，有效提升数据研发效率、降低管理成本，目前已经应用于泛互联网、制造、新零售、汽车等领域。（作者：康峰）

标签：