llama.cppでGemma 3 1Bを動かしてみた。Chromebookのコンテナ内で動かしても、そこそこの速度でまともな回答が返ってくる。
調子に乗ってGBNFも軽く試してみたけれど、どう使えばいいのかわからないことも多い。もう少し深堀りしてみよう。
https://github.com/ggml-org/llama.cpp
調子に乗ってGBNFも軽く試してみたけれど、どう使えばいいのかわからないことも多い。もう少し深堀りしてみよう。
https://github.com/ggml-org/llama.cpp
Comments