‌
‌
‌
‌
‌
‌
QIYA · 系统交付实践
首页交付闭环
生态店铺 GMV 清洗迁移供应链订单与履约中台激励结算与业财一体化异构数据同步平台复盘AI 研发工作台参考方法论如何放大
总规程(可复制给 AI)认知:价值上移需求:体检与规格设计:上下文与边界执行:工作单与编排AI 工程操作系统验证:闭环与缺陷库运行:排查与业务解答交付物标准
总规程(可复制)需求体检清单需求到规格模板Agent 工作单模板验收与验证清单AI 代码缺陷检查表
关于
首页交付闭环
证据生态店铺 GMV 清洗迁移供应链订单与履约中台激励结算与业财一体化异构数据同步平台复盘AI 研发工作台参考方法论如何放大
方法论总规程(可复制给 AI)认知:价值上移需求:体检与规格设计:上下文与边界执行:工作单与编排AI 工程操作系统验证:闭环与缺陷库运行:排查与业务解答交付物标准
资产包总规程(可复制)需求体检清单需求到规格模板Agent 工作单模板验收与验证清单AI 代码缺陷检查表
关于本站
01企业项目

CASE STUDY / 项目复盘

生态店铺 GMV 清洗迁移

从历史 Kettle 任务、数仓文档、源表与字段血缘中还原旧口径,再迁移为九个平台服务、统一规则治理与可预览、可补跑的 Java 总控链路。

JavaSpring BootMyBatis-PlusMySQL任务编排批量处理

RESPONSIBILITY

负责旧链路还原、迁移边界、平台模块划分、规则复核、总控编排与验收路径设计。

00 / 迁移证据链01 / 历史链路02 / 迁移策略03 / 链路验收04 / 系统不变量05 / 架构决策06 / 故障验证07 / 复盘改进08 / 证据边界
00

EVIDENCE TRAIL

先把历史线索串成证据链,再开始迁移。

01 / DISCOVER

从历史任务和数仓文档建立规则地图

以 KJB/KTR 链路报告、GMV 清洗总纲、字段映射图和唯一键对照表定位源表、目标表、字段口径、日期逻辑及下游同步。

02 / RECONSTRUCT

逐平台还原取数、退款和品类规则

按平台记录销售来源、退款算法、品类匹配顺序、事业部归属和特殊日期逻辑,并对得物、唯品、快手等特殊分支单独核验。

03 / MIGRATE

迁移为九个平台服务与统一总控

平台 Service/Mapper 保留差异,总控负责平台选择、日期范围、预览/写入、失败策略、平台结果和汇总刷新。

04 / GOVERN

把规则排查继续收敛为治理能力

围绕统一规则表、未匹配池、单条命中解释、规则影响预览和回刷任务继续建设可解释、可复核的规则治理闭环。

01

RULE RECONSTRUCTION

难点不是重写 SQL,而是把历史链路还原成可验证的业务口径。

旧逻辑分散在 Kettle 作业、历史文档、多个数据源和数据库调用中;天猫、得物、京东、抖音、快手、拼多多、微信视频号、社交与唯品在销售、退款、日期、品类和事业部口径上各不相同。迁移难点不是重写 SQL,而是证明新链路没有丢掉旧口径。

02

MIGRATION DESIGN

先建立规则地图,再决定哪些统一、哪些隔离。

  1. 先把 Kettle 链路、源表、目标表、唯一键和字段映射整理成可追踪的规则地图,再决定 Java 迁移边界。
  2. 采用“平台差异隔离、公共流程统一”:九个平台分别保留取数与退款规则,总控统一日期解析、选择执行、失败策略、结果汇总和通知。
  3. 把预览与写入明确分开:save=false 只计算,save=true 才删除指定范围旧数据并写入;目标表受配置白名单约束。
  4. 只有平台生成全部成功才刷新 GMV 汇总;平台失败时保留平台结果并跳过汇总,避免把部分结果包装成完整结果。
  5. 将品类与事业部规则从平台实现中抽离,补充未匹配池、规则追踪和影响预览,逐步把临时排查变成治理能力。
03

CHAIN ACCEPTANCE

迁移是否完成,要看结果能否校验、定位和补跑。

  • 当前代码已形成抖音、京东、快手、拼多多、唯品、微信视频号、天猫、得物和社交九个平台执行器及独立 Service/Mapper 边界。
  • 统一入口支持全量或指定平台、手工日期或平台日期字典、预览或写入、失败继续或立即停止,并返回未知平台与失败平台清单。
  • 运行结果记录生成/落库行数、平台日期范围、GMV/GSV、耗时、错误与警告;全平台成功后刷新汇总,并可发送执行通知。
  • 已补充目标表白名单、天猫生成测试、规则管理测试和配置测试;新旧同范围金额对账与长期生产成功率仍需持续采集。
04

SYSTEM INVARIANTS

先定义系统必须始终成立的性质。

口径优先

任何迁移实现都必须能回指历史来源、字段、公式和生效范围,不能以代码跑通代替业务正确。

差异隔离

平台特殊取数、退款与品类逻辑留在平台边界内,总控不复制平台规则。

预览先行

写入前可以只计算并检查平台范围、日期、行数与金额,预览不删除也不插入数据。

范围可控

平台和日期范围可以明确选择,失败平台能够定位,不要求每次全量重做。

汇总完整

只有平台生成全部成功才刷新汇总,部分失败不能覆盖成完整统计结果。

05

ARCHITECTURE DECISIONS

三个决定系统能否恢复的结构选择。

01

历史证据层

保留 Kettle 链路报告、数仓清洗总纲、字段映射与唯一键说明,作为迁移规则的事实来源,而不是只读最终 Java 代码反推业务。

02

平台策略层

九个平台分别拥有 Controller、Service、Mapper 与模型,封装各自取数、退款、品类和日期差异,并共享统一品类事业部规则能力。

03

编排与治理层

总控统一平台筛选、日期解析、预览/保存、失败策略、运行结果、汇总刷新和通知;规则治理负责未匹配、解释、补规则与回刷。

06

FAILURE INJECTION

主动制造失败,验证系统语义。

save=false 预览只计算并返回结果,不删除、不插入,也不刷新 GMV 汇总
指定平台与日期范围只执行选中平台,并保留每个平台实际使用的开始、结束日期
未知平台或单平台失败返回失败平台和原因;continueOnError 决定继续还是停止
任一平台生成失败跳过汇总刷新,避免部分数据进入完整汇总
测试与正式环境切换目标表由 profile 配置并受白名单约束,降低误写正式表风险
执行结果核对能够按平台检查生成/落库行数、GMV/GSV、日期范围、耗时、警告和错误
07

RETROSPECTIVE

如果重新开始,会提前做什么?

  1. 迁移第一步应该是建立可查询的数据血缘和规则目录,而不是先把旧 SQL 翻译成 Java。
  2. 规则需要能解释为什么命中或未命中;否则规则表只是把硬编码从代码搬到了数据库。
  3. 旧 Kettle 与新 Java 链路在切换前需要同范围双跑和金额对账,代码结构完成不等于迁移验收完成。
08

EVIDENCE BOUNDARY

迁移结构已经落地,同范围对账和生产运行仍需继续验证。

历史链路文档、九个平台实现、总控代码和现有测试能够证明迁移结构与运行控制已形成;新旧链路同范围对账、性能变化、生产成功率和下游完整同步仍需运行记录补齐。

下一个案例供应链订单与履约中台→
QIYA Engineering Notes企业系统、数据链路与 AI 应用实践记录
关于方法论项目复盘