科技新闻：Databricks发布强大的开源大型语言模型DBRX

摘要: Databricks宣布了DBRX的推出，DBRX是一种强大的新开源大型语言模型，它声称，通过在行业基准上胜过诸如GPT-3.5（例如GPT-3.5），为开放模型设定了新的标准。

科技新闻：Databricks发布强大的开源大型语言模型DBRX

Databricks公司宣布推出了DBRX，这是一个强大的新型开源大型语言模型，据称在行业基准测试中超越了GPT-3.5等已建立的选项，树立了新的开源模型标准。

DBRX模型拥有1320亿参数，在语言理解、编程和数学任务上超越了流行的开源LLM模型，甚至在某些基准测试中也超过了Anthropic的闭源模型Claude。

DBRX在编码任务中表现出色，击败了专门的模型，如CodeLLaMA，尽管它是一个通用型LLM。它在几乎所有评估基准测试中与GPT-3.5相匹敌甚至超越。

DBRX拥有更高效的专家混合架构，使得它的推理速度比LLaMA 2 70B快2倍，尽管活跃参数更少。Databricks称，训练该模型的计算效率也比密集替代方案高出大约2倍。

“DBRX正在为开源LLM设定新标准—它为企业提供了一个平台，可以基于自己的数据构建定制的推理能力，”Databricks联合创始人兼首席执行官Ali Ghodsi表示。

DBRX在大量“精心策划”的文本和代码数据上进行了预训练，利用了旋转位置编码和课程学习等技术。客户可以通过API与DBRX互动，或使用公司的工具在其专有数据上对模型进行微调。它已经被整合到Databricks的AI产品中。

合作伙伴包括Accenture、Block、Nasdaq、Prosus、Replit和Zoom赞扬了DBRX加速企业采用开源、定制大型语言模型的潜力。分析师表示，细调的开源模型与专有性能匹敌可能会推动从闭源到开源的转变。

你可以在Hugging Face上找到DBRX基础和微调模型。该项目的GitHub上有更多资源和代码示例。

（照片由Ryan Quintal提供）