ArtGPT-4 的安装、启动和训练方法

本文介绍了 ArtGPT-4 的安装、启动和训练方法,包括准备代码和环境、预训练 Vicuna 权重、准备预训练 ArtGPT-4 检查点、本地启动演示和使用 Laion-aesthetic 数据集进行训练等。同时,还感谢 MiniGPT-4 模型的改进和 Lavis 的代码。

1.准备代码和环境

Git 克隆我们的存储库,创建一个 python 环境并通过以下命令激活它

git clone https://github.com/DLYuanGod/ArtGPT-4.gitcd ArtGPT-4conda env create -f environment.ymlconda activate artgpt4

2.准备预训练的Vicuna权重

当前版本的 MiniGPT-4 建立在 Vicuna-13B 的 v0 版本之上。请参考我们的说明来准备 Vicuna 砝码。最终权重将位于类似于以下结构的单个文件夹中:

vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...

然后,在第 16 行的模型配置文件中设置 vicuna 权重的路径。

3.准备预训练好的ArtGPT-4检查点Downlad

然后,在第 11 行的 eval_configs/minigpt4_eval.yaml 中的评估配置文件中设置预训练检查点的路径。

在本地启动演示

通过运行在本地计算机上试用我们的演示 demo.py

python demo.py --cfg-path eval_configs/artgpt4_eval.yaml  --gpu-id 0
Training

ArtGPT-4 的训练包含两个对齐阶段。该步骤的训练过程与MiniGPT-4一致。

Datasets 
数据集我们使用来自 LAION-5B 数据集的 Laion-aesthetic,前 302 个 tar 文件的大小约为 200GB。

Acknowledgement

  • MiniGPT-4 我们的工作基于对模型的改进。

License

这个存储库在 BSD 3-Clause 许可下。许多代码都基于 Lavis 和 BSD 3-Clause License here。

项目链接

https://huggingface.co/Tyrannosaurus/ArtGPT-4

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267441.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月23日
下一篇 2023年11月23日

相关推荐