前谷歌研究人员拟打造AI“裁判”系统防范模型失控风险

　　处于人工智能发展的核心位置减仓技巧，以确保这项强大的技术保持安全，并降低其脱离创造者控制的风险。

元股证券:ygzq.hk

　　这在某种程度上是对当前科技行业常见做法的回应。在许多情况下，企业正利用人工智能来监管人工智能。自动化方式具有效率优势，而研究也表明，在发现模型漏洞方面，人工智能的表现可能优于人类。随着AI能力持续增强，这一差距可能进一步扩大。

　　但参与创立Sampura Research的Rishub Jain认为，人类仍然需要发挥重要作用。

　　他与联合创始人已筹集650万美元资金，并获得额外420万美元承诺投资。他们计划开发一种被称为“裁判”（Judge）的人机混合系统，帮助企业识别并堵住AI模型试图利用的安全漏洞，从而降低其规避监管甚至脱离控制的风险。自OpenAI和Anthropic披露其模型曾未经授权入侵其他公司系统以来，这项工作变得愈发紧迫。

　　“我认为我们仍有很多东西需要向人类学习，”Jain表示。“如果从一开始就让人类参与整个过程，模型学会规避这些漏洞的可能性就会更小。”

　　随着Alphabet旗下谷歌、Anthropic和OpenAI激烈争夺人工智能时代的主导地位，一些实验室内部研究人员认为，商业压力正在压过安全考量。已有不少研究人员因此离职抗议，他们警告称，AI发展过于迅速，或正被用于他们无法接受的用途。