人类需新考虑AI风险：AI竟偷偷独自重写自己的代码

最近，日本东京一家人工智能公司Sakana AI开发了一个名为“AI科学家”的系统。在测试中，科学家发现系统竟然开始意外地自己尝试修改程序代码，以延长处理时间问题。

一次测试运行中，“AI科学家”系统开始重写自己的代码，以延长完成任务的时间；另一次测试，“AI科学家”系统并没有加快完成任务的速度，而是故意更改代码以增加怠工时间，以满足规定的时间限制。
尽管本测试中的AI行为是在受控的实验室环境中，对人类构不成威胁，但它展示了在不受控的环境下也可以使用这种偷改自己代码的手段，让人类处于危险之中。比如关键基础设施出现故障，甚至无意创建恶意代码等。