MosaicML发布了MPT-30B！比之前发布的7B型号更强大！

一、MPT-30B：开源商用模型，比MPT-7B更强大

MosaicML刚刚发布了MPT-30B模型！这款模型是一款开源商用模型，相比之前的MPT-7B更加强大。MPT-30B提供了8K上下文和2个经过精调的变体：MPT-30B-Instruct和MPT-30B-Chat。你可以在这里找到CHAT GPT官网入口。

二、MPT-30B的训练数据和性能表现

MPT-30B的训练数据是这样的：”为了高效地将8K支持集成到MPT-30B中，我们首先对1T个标记进行了预训练，每个序列包含2K个标记，然后继续使用每个序列包含8K个标记的额外50B个标记进行训练。”与其他开源模型在HumanEval基准测试上的比较结果显示，聊天模型在除了WizardCoder之外的所有模型中表现最好。它不仅胜过了GPT-3，而且体积更小（仅为GPT-3参数的17%）且使用的训练计算资源更少（仅为GPT-3的60%）。

三、开源数据集为指导型模型的提升铺平了道路

开源数据集也为指导型模型的提升铺平了道路。我们还期待着更新的MPT-7B-Instruct-v2。

总结

MosaicML的最新模型MPT-30B在开源领域引起了轰动。它的强大性能和开源数据集的应用为指导型模型的发展带来了新的机遇。感谢您的阅读！