• renamed from 2024-02-08-text_generation_webui.md
  • ooba is not for me, deleted it for cdrive space

第一日目

  • https://github.com/oobabooga/text-generation-webui からzipをダウンロード、解凍して、start_windows.batを起動。その後、GPUを選択し、Cudaはスキップして、サーバーに接続するまでを済ませた。
  • image
  • モデルが無いと言われたので、TheBloke/llava-v1.5-13B-GPTQ:gptq-4bit-32g-actorder_True と試してみたら(参考はhttps://github.com/oobabooga/text-generation-webui/issues/4398)Doneとなったので、start_windows.batを再起動。
  • image
  • 一応動くようになったが、とても反応が遅い。あと、信頼性が低い。
  • image
  • 全く賢くないことを確認した。モデルが悪いのだろうか。
  • image