AI开始自我构建时会发生什么？

Richard Socher作为AI领域的重要人物，曾创立早期聊天机器人初创公司You.com并参与Imagenet相关工作，如今他携新成立的旧金山初创公司Recursive Superintelligence走出 stealth 模式，该公司获得6500万美元融资，团队包括Peter Norvig、Cresta联合创始人Tim Shi等知名AI研究人员，致力于打造可自主识别自身弱点并进行重新设计以修复问题的递归自改进AI模型，此为当代AI研究长期追求的目标。Socher在接受采访时指出，他们独特的方法是利用开放性来实现递归自改进，这是许多人尚未达成的难以实现的目标，很多人认为通过让AI进行自动研究来改进其他事物就是递归自改进，但这只是改进，他们的主要焦点是大规模构建真正的递归自改进超级智能，意味着研究想法的构思、实施和验证整个过程都将实现自动化，首先是AI研究想法，最终可能扩展到任何类型的研究想法，甚至物理领域，而当AI作用于自身并对自身缺点形成新的自我认知时，其效果尤为显著。关于“开放性”的技术含义，联合创始人Tim Rocktäschel曾领导谷歌DeepMind的开放性和自我改进团队，尤其致力于世界模型Genie 3，该模型能根据任何概念、世界或代理进行创建并具有交互性，这就如同生物进化中动物适应环境后其他生物又对这些适应进行反适应，是一个可演化数十亿年且不断产生有趣事物的过程，Tim Rocktäschel的另一篇论文中提到的“彩虹团队”也是例子，在网络安全中红队测试是尝试让LLM告知如何制造炸弹并确保其不这样做，而“彩虹团队”则是让两个AI共同进化，一个不断攻击另一个并找出多种角度，然后对第一个AI进行防护以提升安全性，此方法现已被各大实验室采用。对于递归自改进何时完成的问题，Socher表示有些方面永远无法完成，智能可以不断提升，在编程和数学等方面也能持续进步，虽然存在智能界限且他正在尝试将其形式化，但这些界限非常遥远，目前人类远未达到。当被问及作为“neolab”是否认为大公司实验室无法通过现有方式实现RSI（递归自改进）时，Socher表示无法评论其他公司的做法，但强调他们的方法不同，团队完全专注于开放性概念，且在该领域研究已达十年并发表相关论文，同时团队有推动领域发展和推出实际产品的 track record，如Tim Shi将Cresta打造成独角兽，Josh Tobin曾是OpenAI早期成员并领导Codex团队和深度研究团队，Socher不认为自己的公司只是实验室，希望成为有可行产品且对人类有积极影响的公司。关于首款产品的发布时间，Socher称团队进展超出预期，可能会提前原计划，将在几个季度而非几年内推出产品。对于“一旦拥有递归自改进系统，计算将成为唯一重要资源，竞赛将围绕投入多少处理能力展开”的观点，Socher认为计算不可低估，未来人类将面临如何分配计算资源解决不同问题的重要问题，这将成为世界上最大的问题之一。