如何清理误提交到git的历史大文件?

笔记哥 / 05-12 / 26点赞 / 0评论 / 776阅读
## 前言 最近一不小心把一堆静态资源给提交进去了,我要把这些文件闪出去怎么办呢? 如下 ```csharp Clipify.Maui/wwwroot/lib/ Clipify.Maui/wwwroot/css/*.min.css Clipify.Maui/wwwroot/temp/ ``` 这下 `git push` 超级慢,而且会占用大量空间 还好最终在大模型爷爷的帮助下解决了这个问题 不过我想总不能老是去打扰大模型爷爷啊,问题解决了还是得记录一下,以后遇到类似的情况也好处理。 ## 使用git原生命令 这个问题其实老生常谈了 网上能查到的很多文章都会告诉你可以用以下命令解决 ```bash git rm -r --cached Clipify.Maui/wwwroot/lib git rm --cached Clipify.Maui/wwwroot/css/*.min.css git rm -r --cached Clipify.Maui/wwwroot/temp ``` 这些命令会移除已提交的文件,但**不会删除本地文件** 但我这样做了之后还是不行,git push 的时候还是很慢 ## 分析原因 那么问题来了,为什么 `git rm --cached` 没用呢? 原因是 `git rm --cached` 只会从当前 commit(工作区)中移除指定文件的 Git 跟踪,它不会修改过去的提交记录 **它解决的是「现在开始不要再跟踪」的问题,** 但历史上它已经跟踪过的文件,Git 还会一直保留在对象数据库(`.git/objects`)里 我在前面几个 commit 已经把 Clipify.Maui/wwwroot/lib 这类文件夹提交进去了 所以这个命令对于这个场景来说是没用的😂 简单来说,Git 是个版本管理工具,它**不会忘记**你历史上做过的提交,哪怕现在 `git rm --cached` 移除了 `lib/` 文件夹 Git 仍然记得之前在第 N 次 commit 时曾经加入过它,所以 `.git` 目录依然保存了那些 **大 blob 文件**,`push` 时照样要传。 ## 解决方法 那么如何解决呢? 以前看到的方法是编写脚本,循环从每个 commit 里删除已提交的文件 现在不用这么麻烦了,有了 git-filter-repo 工具,这是一个 python 写的可以用来重写 git 历史记录的工具 https://github.com/newren/git-filter-repo 感谢 scoop ,让我在 Windows 上也能获得类似 Linux/MacOS 类似的软件安装体验 ```bash # 安装 Git Filter Repo brew install git-filter-repo # macOS scoop install git-filter-repo # Windows # 或者用 Python 安装 pip install git-filter-repo ``` 使用方法 ```bash git filter-repo --path Clipify.Maui/wwwroot/lib/ --invert-paths --force ``` 这个命令会**彻底删除历史中所有与该路径相关的文件和提交记录** **重写整个 Git 提交历史**之后,**仓库大小会明显减小**,`git push` 更快,**历史提交中指定文件将完全移除**。可能需要使用 `--force` 强制推送代码。 经过这一通操作之后,我再使用 git push 提交明显快了很多。 ## 拓展:如何分析git提交历史里的大文件 用 [`git rev-list` + `git verify-pack`] 可以找出 Git 提交历史中的**大对象(大文件)** 不过 git 原生的命令比较复杂 我还是选择借助工具的力量,这次是 git-sizer 工具 [git-sizer](https://github.com/github/git-sizer)是 GitHub 官方出的工具,用于分析 Git 仓库大小、提交体积等问题。 ```bash brew install git-sizer # or scoop install git-sizer # or cargo install git-sizer ``` 直接在项目根目录下执行 `git-sizer` 即可 这个工具会输出以下信息: - 最大的提交 - 最大的 blob(文件内容) - 最大的目录 - 含大文件的分支 - 是否存在历史中隐藏的肥胖对象(hidden bloats) 我使用这个工具生成的结果是这样 ```csharp Processing blobs: 2448 Processing trees: 218 Processing commits: 42 Matching commits to trees: 42 Processing annotated tags: 0 Processing references: 3 | Name | Value | Level of concern | | ---------------------------- | --------- | ------------------------------ | | Biggest objects | | | | * Trees | | | | * Maximum entries [1] | 1.40 k | * | [1] 77b7ff2aa0456193bee83eebe9dfb76ebd4f35ac (2d9cc135f1aff0863ce2ef8ceff3cbf6984ee499:Clipify.Maui/wwwroot/lib/font-awesome/svgs/solid) ``` 这样就能很方便定位到最大的文件,给 git 仓库瘦身~