关于 AI 智能体的讨论,很多是关于行为的:智能体会不会越出范围、是否遵守指令、叫停时会不会停下?
模型开发者在这方面进展很大。近期面向网络安全场景的模型,其系统卡详细报告了测试:模型会不会主动越出被授权的范围。
但另一类问题,与行为完全无关。付款请求发出去,连接断了。任务在崩溃后重新开始。两个智能体接手了同一个客户投诉。被替换的任务迟迟才交回结果。
这些都不需要智能体做错什么。它们是分布式系统里再平常不过的事,发生在动作于业务系统中生效的那一刻——在模型作出决定之后。
值得注意的是,我们读到的公开行为测试,没有覆盖重试、超时、崩溃或重复动作。这不是批评:这些本来就不是模型的问题。它们需要在执行的那一点上加以控制,而这个控制应当由承担风险的组织自己掌握。
