B站日前开源了轻量级 Index-1.9B 系列模型，包含基座模型、对照组、对话模型、角色扮演模型等多个版本。该模型的发布，意味着 B站开始进军大模型领域，并希望通过开源的方式，吸引更多开发者参与到模型的开发和应用中。
以下是官方对不同模型版本的介绍：
-
Index-1.9B base ： 基座模型，拥有 19 亿非词嵌入参数，在 2.8T 中英文为主的语料上进行预训练。该模型在多个评测基准上与同级别模型相比表现突出，展现出较强的语言理解能力和生成能力。
-
Index-1.9B pure ： 基座模型的对照组，与 base 模型具有相同的参数和训练策略，区别在于该版本严格过滤了所有与指令相关的数据，旨在验证指令对模型性能的影响。通过比较 base 和 pure 模型的性能，可以评估指令学习在提升模型性能方面的重要作用。
-
Index-1.9B chat ： 基于 Index-1.9B base 模型，通过 SFT 和 DPO 训练得到的对话模型。由于预训练数据中引入了大量的互联网社区语料，该模型在聊天对话方面表现出更高的趣味性和流畅性，能够更自然地与用户进行交流。
-
Index-1.9B character ： 在 SFT 和 DPO 训练的基础上，引入了 RAG 技术，实现了 fewshots 角色扮演定制。用户可以通过少量样本数据，快速定制不同角色的对话风格，例如设定角色的性格、背景等信息，使模型能够以该角色的身份进行更加个性化的对话。
据介绍，该模型在预训练阶段使用了 2.8T 规模的数据，其中中文数据占比约 40%，英文数据占比约 50%，代码数据占比约 6%。目前，角色扮演模型内置了角色“三三”，用户也可以根据自己的需求创建新的角色，进一步提升模型的应用场景和个性化体验。
