llama.cpp上是否能添加index-1.9b的convert代码？

[saber258]

看到huggingface上有index-1.9B的GGUF格式模型权重，能否把相应的convert代码公开或者llama.cpp里做个提交？

[bobwen-dev]

确实, 期待官方的支持.

我曲线转换, index-1.9b 的原版torch转换成safetensors格式, 但ollama不认.

也没有办法使用 llama.cpp/convert_hf_to_gguf.py 转成 gguf, 会提示:

INFO:hf-to-gguf:Loading model: IndexTeam-Index-1.9B-32K
ERROR:hf-to-gguf:Model IndexForCausalLM is not supported

然后我手工加了LM类型., 修改如下:

--- a/convert_hf_to_gguf.py
+++ b/convert_hf_to_gguf.py
@@ -1560,7 +1560,7 @@ class StableLMModel(Model):
                 raise ValueError(f"Unprocessed norms: {norms}")
 
 
-@Model.register("LLaMAForCausalLM", "LlamaForCausalLM", "MistralForCausalLM", "MixtralForCausalLM")
+@Model.register("LLaMAForCausalLM", "LlamaForCausalLM", "MistralForCausalLM", "MixtralForCausalLM", "IndexForCausalLM")
 class LlamaModel(Model):
     model_arch = gguf.MODEL_ARCH.LLAMA

这样可以转换了, 但使用转换后的 gguf 推理时, 没有正确输出, 只得到一组空的回车, 应该还缺少了什么, 还是得请B站官方来解决吧