AI研究员Chris Olah的探索

摘要: 人造神经网络中发生的事情在很大程度上是一个谜,即使是他们的创作者。但是,来自人类的研究人员瞥见了。

AI研究员Chris Olah的探索

Chris Olah的AI研究

AI研究员Chris Olah在过去十年一直专注于人工神经网络。他关注的一个问题是:“这些系统内部到底发生了什么?”他认为我们使用这些系统却不了解其内部运作方式是很荒谬的。

随着生成式AI的普及,这个问题变得尤为重要。像CHAT GPT、Gemini和Anthropic自己的Claude这样的大型语言模型展现了其语言能力,但也因其编造信息的倾向而引起了争议。这些模型潜力巨大,但我们对它们仍知之甚少。即使是构建这些模型的人也不完全了解其工作原理,需要大量工作来确保它们不会产生偏见、错误信息甚至致命化学武器的设计图。如果构建模型的人了解这些“黑匣子”内部发生的事情,将更容易使其更安全。

Olah认为我们正在朝着这个方向前进。他领导着Anthropic团队,已经深入研究了这个黑匣子。他们试图逆向工程大型语言模型,以了解其为何产生特定输出,并根据今天发布的一篇论文,他们取得了重大进展。

类似于神经科学研究利用MRI扫描来识别人类大脑是否在思考飞机、泰迪熊或钟楼,Anthropic深入研究了其LLM模型Claude的神经网络,并确定了哪些人工神经元的组合引发了特定概念或“特征”。这项工作对AI安全具有巨大的意义:如果能够找出LLM内部潜在的危险,那么就更有能力阻止它。

Anthropic的研究人员将人工神经元视为西方字母,单独没有意义,但可以串联在一起产生含义。他们的方法涉及一种称为字典学习的技术,允许您将一组神经元关联起来,当它们同时激活时,引发一个特定概念,称为特征。

Anthropic的研究科学家Josh Batson表示:“我们大约有1700万个不同的概念[在LLM中],它们并没有被标记出来以供我们理解。所以我们只能去查看,这种模式何时出现?”

© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容