野生码农
zdq 项目:导入脚本性能劣化与 git 仓库治理
背景
2026-04-24 在 d:\code\python\zdq(量化平台项目)工作区中,发现数据导入脚本运行速度逐步下降(渐进式劣化,非突发故障),安排两条线并行处理:
- 重启导入脚本,重新分析性能下降原因并改进代码;
- 同步处理 git 仓库体积过大的问题(当时以"量化架构总监"子任务角色分派)。
核心内容
原始对话仅保留了任务指令本身,AI 的分析过程与改进方案未存档。从指令可提取两条可复用的信号:
- 渐进式性能下降的排查方向:导入脚本"速度逐步下降"通常指向数据量增长带来的线性/超线性开销,常见根因包括——全量重导而无增量机制、数据库索引膨胀或未建索引、内存中累积数据结构未释放、逐行写入而非批量提交。重启只是临时缓解,根治要靠定位根因。
- git 仓库过大的诱因:量化/数据项目容易把行情数据、回测产物、日志等大文件提交进版本库,导致仓库膨胀;治理手段为
.gitignore排除数据目录、历史清理(git filter-repo)、大文件改用 LFS 或外置存储。
行动项
- 该问题后续是否定位到根因、仓库治理是否完成,原始记录未体现;复盘时可结合 zdq 项目后续会话核实。
- 若类似"渐进变慢"再次出现,优先怀疑数据规模相关的根因,而非反复重启。
原文链接
提炼自 inbox/trae/20260424_重启导入脚本并优化.md(原文仅含任务指令,无 AI 答复内容)。