Meta与高通合作,2024年前实现设备上的Llama 2 LLM AI应用

Meta与高通合作,2024年前实现设备上的Llama 2 LLM AI应用

一、Meta与高通合作,推动设备上的Llama 2 LLM AI应用

最近关于Meta的Llama 2 LLM发布的热闹已经过去了,但有一个重要的消息并没有得到太多关注。Meta正在积极与高通合作,高通是Snapdragon系列移动CPU的制造商,旨在将设备上的Llama 2 AI能力引入到高通的芯片平台上。目标日期是在2024年之前实现设备上的Llama。点击这里阅读他们的完整公告。这为什么重要呢?目前大多数强大的LLM都在云端运行,比如Bard、GPT等,它们都依赖于昂贵的云计算资源。云资源是有限的,这会影响生成式AI的规模。早期的科学实验已经在本地设备上运行了LLM,但这些只是概念验证,尚未进行任何突破性的优化。这将是首个将LLM引入移动设备的重大企业合作伙伴关系。这将使我们摆脱科学实验阶段,为未来的移动设备带来重大的范式转变。

二、设备上的LLM能够带来什么?

让我们来看看这个令人兴奋的点。隐私和安全:你的请求不再发送到云端进行处理,一切都只存在于你的设备上。速度和便利:想象一下更快速的响应,对手机所有数据的后台处理等等。无需互联网连接,它也可以在飞行模式下运行。精细调整的个性化:考虑到Llama 2的开源基础和其易于调整的特点,想象一下本地LLM随着时间的推移以更个性化、更亲密的方式了解用户。受益于设备上LLM的应用程序包括:智能虚拟助手、生产力应用、内容创作、娱乐等等。新闻稿中提到了Meta与高通合作的核心观点:“为了有效地将生成式AI推向主流,AI需要在云端和边缘设备上运行,如智能手机、笔记本电脑、车辆和物联网设备。”主要观点是:在云端运行的LLM只是个开始。设备上的计算代表了一个新的领域,未来几年中,随着越来越强大的AI模型可以在越来越小的设备上本地运行,这个领域将会崛起。开源模型可能会从中受益最多,因为它们可以被缩小规模、为特定用例进行优化,并快速个性化,从而为可扩展的个人AI提供了一个快速而动态的路径。考虑到隐私和安全的影响,我预计苹果也会认真考虑设备上的生成式AI。但鉴于苹果的“做到尽善尽美”的理念,这可能需要更长的时间。P.S.如果你喜欢这种分析,我写了一份免费的通讯,追踪生成式AI技术的最重要问题和影响。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容