Macの ~/.cache/huggingface とは。削除しても安全か

場所

これは何か

transformers、diffusers、datasetsなどのライブラリは、はじめて使うときにHugging Face Hubからモデルやデータセットをダウンロードします。それらは ~/.cache/huggingface 以下に保存され、次回以降の実行ではディスクから読み込めます。

中のhubフォルダにはリポジトリごとに1つのフォルダがあり、名前は models-- または datasets-- で始まり、所有者と名前が続きます。そのため、それぞれが何なのかは簡単にわかります。

大きくなるのは、モデルを一度試すだけで、その重み全体がいつまでもディスクに残るからです。同じモデルの異なるリビジョンが、並んで保存されることもあります。

どのくらい大きくなるか

試したモデルやデータセットによって、数GBから100 GBを大きく超えるところまで幅があります。

手動で消去する方法

1. 下記のコマンドを実行して、キャッシュされた各リポジトリをサイズとともに一覧表示します。読み取るだけで、何も削除しません。
2. Finderで「移動」>「フォルダへ移動」と選択し、~/.cache/huggingface/hub と入力します。
3. 使わなくなったモデルやデータセットのフォルダをゴミ箱に入れ、ゴミ箱を空にします。
4. Hubにログインしている場合は、~/.cache/huggingface 内のトークンファイルには手を付けないでください。削除すると、もう一度ログインする必要があります。

du -sh ~/.cache/huggingface/hub/*

削除したあとはどうなるか

削除したモデルを読み込むコードは、次回の実行時にそれをもう一度ダウンロードします。接続が必要で、長い時間がかかることがあります。ファインチューニングして別の場所に保存したモデルには影響しません。

Diskzyでの扱い

Diskzyは「Clean up」（クリーンアップ）タブにHugging Faceのキャッシュを表示しますが、モデルをもう一度ダウンロードすることになるため、チェックは外したままにします。

関連ガイド

• Ollama models~/.ollama/models
• pip cache~/Library/Caches/pip
• Docker.raw~/Library/Containers/com.docker.docker/Data/vms/0/data/Docker.raw