中国电信人工智能研究院近日宣布取得重大突破：成功完成国内首个完全基于国产化万卡集群训练的万亿参数大模型，并同时开源千亿参数的星辰语义大模型TeleChat2-115B。
此举标志着中国在大模型训练领域实现了关键性突破，国产化替代进程取得显著进展，标志着中国在人工智能自主创新和安全可控方面迈入新阶段。TeleChat2-115B的成功训练，得益于天翼云提供的“息壤一体化智算服务平台”和“星海AI平台”，这两个平台不仅保证了模型训练的精度，还通过多项优化技术显著提升了训练效率和稳定性，有效降低了训练成本和时间。
在模型训练阶段，TeleAI团队创新地采用了小模型Scaling策略，这种方法通过对不同模型结构的性能测试，为最终万亿参数大模型的构建提供了重要参考，体现了该团队在模型架构设计上的先进性和经验积累。 此外，团队还通过精细的数据配比和回归预测模型，对训练数据进行了优化配置，最大限度地提高了数据利用效率，降低了训练中噪声数据的影响。
为进一步提升模型性能，TeleAI团队在后训练阶段开展了大量工作。他们合成了海量针对数学、代码和逻辑推理的问答数据，并将其用于模型的监督式微调，显著提升了模型在这些特定领域的推理能力。此外，迭代式更新和拒绝采样技术的应用，也进一步改善了模型生成的答案质量和数据代表性，确保模型输出的准确性和可靠性。
为了促进学术界和产业界的共同进步，TeleChat2-115B已在GitHub、Gitee、ModelScope和Modelers等多个平台开源，方便全球开发者和研究者免费访问和使用，这将有助于推动中国大模型技术的发展和应用。
总体而言，中国电信此次成果的意义在于：它不仅展示了中国在人工智能领域的技术实力，而且为其他机构和企业提供了宝贵的经验和借鉴，有利于推动整个国产大模型生态的健康发展。 开源策略的实施，也体现了中国电信积极推动技术共享和合作的理念，这将进一步加速大模型技术的演进和普及。
