区块链清洗数据方式到底怎么做：链下三步走加链上校验

区块链上的数据, 一旦被写入之后, 就没法改变了。但是, 这数据本身, 它可能是脏的、重复的, 或者是格式非常混乱的那种样子。所谓的数据清洗, 就是在不破坏链上那个共识的前提下, 把原始的这些数据给过滤一下、标准化一下, 弄成可以直接用的那种状态。这事情, 跟传统的ETL相比, 是有本质区别的。

区块链怎么清洗数据

链上的数据清洗这件事, 和传统数据库完全是不一样的。你不能直接DELETE或者UPDATE某一条记录的。实际的操作方法, 是在链下的节点上面做预处理的。需要把区块交易按照哈希值进行排序, 并完成去重的工作。要把各个字段映射到一个统一的schema上去。然后再跟Merkle树做完整性的校验工作。

一旦涉及跨链这个情况, 事情就变得相当麻烦了。因为不同的公有区块链在时间戳的精确度、gas费用所使用的单位以及地址的格式方面都存在差异。所以必须先执行归一化处理步骤, 数据才能够进入清洗的程序管道中进行操作。如果不这样做的话, 最终输出的结果将会是一团乱码, 无法正常使用。

清洗数据要几步

其实, 这个系统的核心环节主要包括数据的抽取、数据的转换以及最终的验证。在抽取阶段, 系统会使用事件监听器来实时拉取原始的交易日志信息。

紧接着进入转换阶段, 该阶段主要的工作内容是进行字段的映射操作以及填充那些缺失值。而在验证阶段, 则会拿着处理好的数据和链上的状态哈希进行逐项比对, 如果发现有什么地方对不上, 就会直接把这些交易标记成异常交易。

验证这个步骤, 任何一条数据没通过链上校验就不能入库, 如果不这样的话, 下游做分析就全是不对的。

项目里清洗管道跑通, 这仅仅是一个开始。真正困难的部分, 在于把清洗规则本身, 编写成可以进行审计的, 部署在区块链上的智能合约。

只有这样, 才能让每一次的逻辑变更, 都拥有可以被追溯的痕迹。至于具体是谁修改了什么内容,以及为什么要这样修改, 这些所有的信息, 都会完全记录并存储, 在区块链网络之中。