Huggingface download model
棘手了好久的问题终于解决了, 手里目前有几台服务器, 经常用好用的几台没有设置代理,导致很多大模型的参数下载很麻烦, hf访问不到, modelscope又经常没有bin或者safetensor格式的模型文件, 本地下载下来再rsync到服务器又太费时间了, 尤其像7B以上的模型。
然后就发现了有gitee, 然后在程序一开始改一下hf的环境变量就可以了, 境内的网络也可以丝滑访问。
1 | import os |
棘手了好久的问题终于解决了, 手里目前有几台服务器, 经常用好用的几台没有设置代理,导致很多大模型的参数下载很麻烦, hf访问不到, modelscope又经常没有bin或者safetensor格式的模型文件, 本地下载下来再rsync到服务器又太费时间了, 尤其像7B以上的模型。
然后就发现了有gitee, 然后在程序一开始改一下hf的环境变量就可以了, 境内的网络也可以丝滑访问。
1 | import os |