工程数据血缘追踪

3小时前更新 1 00
工程数据血缘追踪工程数据血缘追踪
工程数据血缘追踪

技能简介

data-lineage-tracker 是面向建筑工程领域的数据血缘追踪工具,用于记录数据从产生到使用的完整生命周期,包括来源系统、转换操作和流向路径。

业务背景

建筑工程项目涉及海量异构数据,从BIM模型到ERP台账再到现场Excel,数据来源复杂、流转路径模糊。该工具帮助企业建立完整的数据家谱,清晰掌握每一份数据的来龙去脉,满足工程审计、保险理赔及质量追溯的合规要求,降低因数据断链导致的决策风险。

落地案例:某地铁建设项目中,结算争议涉及一份混凝土用量报表。项目经理通过血缘追踪工具快速定位:该报表原始数据来自BIM系统的构件清单,经成本部门手工调整系数后导入ERP,最终由财务系统汇总生成。全程转换记录清晰可见,责任界定一目了然,避免了数周的扯皮排查。

能做什么

  • 注册并管理数据源(BIM系统、ERP、Excel文件等)
  • 记录数据实体(表、字段、文件)的创建与版本
  • 追踪转换操作(抽取、计算、聚合、人工修改等)
  • 生成审计日志,满足合规与保险要求
  • 定位数据问题源头,分析下游影响范围

使用说明

安装准备

需预先安装 Python 3 环境。将代码保存为本地模块或直接集成至项目。

基础用法

  1. 初始化追踪器:tracker = ConstructionDataLineageTracker(project_id="PROJ-001")
  2. 注册数据源:source = tracker.register_source(name="成本估算表", system="Excel", location="/data/cost.xlsx", owner="造价部")
  3. 登记数据实体:entity = tracker.register_entity(name="材料总价", source_id=source.id, entity_type="field")
  4. 记录转换步骤:transformation = tracker.record_transformation(transformation_type=TransformationType.CALCULATE, description="汇总钢材费用", input_entities=[entity.id], output_entities=[new_entity.id], logic="SUM(钢材单价*数量)", performed_by="system")
  5. 查询血缘关系:通过 upstream_entitiesdownstream_entities 追溯上下游依赖

输入与输出

见下方输入与输出表格。

项目内容
输入数据源元数据(名称、系统、路径、负责人)、数据实体定义、转换操作描述、输入/输出实体ID列表、执行人员标识、业务逻辑(SQL/Python/文字描述)
输出带唯一ID的数据源记录、数据实体对象、转换步骤记录、上下游血缘关联、时间戳审计日志、数据校验哈希值
适用人群工程造价团队、BIM数据管理员、合规审计人员、项目数据工程师、需要数据溯源的建设单位
不包含自动采集外部系统数据的功能、可视化血缘图谱界面、实时数据质量监控、与其他商业数据平台的原生集成

 

风险提示

  • 需持续维护转换记录,遗漏步骤将导致血缘链断裂
  • 大规模项目可能产生大量元数据,需规划存储方案
  • 人工修改操作必须显式记录,否则无法追溯
  • 跨系统数据交换时,需统一实体标识规范

来源信息

原始链接:https://github.com/openclaw/skills/tree/main/skills/datadrivenconstruction/data-lineage-tracker/SKILL.md
来源类型:GitHub 开源技能

数据统计

相关导航

暂无评论

none
暂无评论...