Text_generation_webui
- renamed from 2024-02-08-text_generation_webui.md
- ooba is not for me, deleted it for cdrive space
第一日目
https://github.com/oobabooga/text-generation-webui
からzipをダウンロード、解凍して、start_windows.batを起動。その後、GPUを選択し、Cudaはスキップして、サーバーに接続するまでを済ませた。- モデルが無いと言われたので、
TheBloke/llava-v1.5-13B-GPTQ:gptq-4bit-32g-actorder_True
と試してみたら(参考はhttps://github.com/oobabooga/text-generation-webui/issues/4398
)Doneとなったので、start_windows.bat
を再起動。 - 一応動くようになったが、とても反応が遅い。あと、信頼性が低い。
- 全く賢くないことを確認した。モデルが悪いのだろうか。