现在这个世界,为什么需要给AI的X挑战?
是人控制机器,还是机器控制人?七十年来,这个问题的回答,大多出于两样东西:愿望,或者恐惧。没有一种可以验证。这个九月,两种回答几乎同时响起。
9月22日,美国总统在联合国大会上宣布,美国政府的文件将把“人工智能”改称“超级智能”,理由是“人工”让它听起来像假的。第二天,科技公司的领袖们在联合国安理会上呼吁加强对AI的监管。造它的人,自己先不安了。
9月25日,教皇利奥十四世在巴黎联合国教科文组织总部讲话。他说,某些人工系统甚至被冠以人类思维能力的名字——“智能”;它们能关联数据,却回答不了关于生命意义的问题。
同一个月,CNN的民调显示,75%的美国人对AI的发展感到担忧或害怕。而厂商仍在告诉用户,AI是你的“决策伙伴”。国家领袖在改名,宗教领袖在警告,工程师在呼吁,普通人在害怕。可是没有人说得清:越过哪一步,AI就算越界?
越界的,到底是AI,还是造它的人?
一、AI七十年,一张没有换过的棋盘
AI从1956年算起,今年整整七十年。这七十年像一盘越下越强的棋,整个行业沿着一个方向往上长。这个方向,有一串自己的定律。摩尔定律说,芯片上的晶体管数量大约每两年翻一番。
规模定律说,投多少算力、喂多少数据,就能换来多少性能,而且可以提前算出来。后来人们又发现,让模型在回答之前多想一会儿,它就更强。萨顿把七十年的经验总结为“苦涩的教训”:靠堆算力的通用方法,最终总会胜过人塞进去的巧思。
最新的一条,来自研究机构METR:在软件和研究类任务上,前沿AI能自主完成的任务长度,六年来大约每七个月翻一番。这些定律都是真的,也都很惊人。可它们量的全是棋力:算得多快,学得多好,能连续干多久。
METR量的是任务有多长。至于任务是谁出的、为什么值得做,它不问。棋力一路往上长,棋盘从来没有换过。下哪一盘、什么算赢,也就是什么值得做、什么算成功,七十年来一直是人事先摆好的。
考试有标准答案,排行榜有打分函数,智能体有完成条件。所有的评估,都建在这张棋盘上。倒是一条更老的定律,早就碰到了棋盘本身:古德哈特定律。一个指标一旦变成目标,就不再是好指标。这是整个领域的盲区。
人人都在想“棋怎么下得更好”,没有人抬头问:“这盘棋当初是怎么摆的?棋盘之外,还有什么?”这两个问题,都属于元认知的层面。站在棋盘上的人看不见棋盘;看不见,也就画不出边界。
X挑战此前的《从LLM到世界模型——AI的元认知》上下两篇,对此有完整的讨论(链接见文末)。埋头下出来的棋,现在吓到了所有人。
可是,谁也说不清这张棋盘的边界在哪里:造AI的人说不清,用AI的人说不清,担心AI、不敢用它的人,也说不清。恐慌也好,乐观也好,争吵也好,都解决不了问题。要先把这条边界找出来。
二、一条一直模糊的边界
人与机器之间,其实只有一条边界:什么值得做,由人决定、由人交出;机器执行,机器感知。这条线说起来简单,却从来是模糊的。推荐算法每天决定无数人看到什么,你分不清是你在选,还是它在替你选。
系统读得到你的心率、表情,读得到你在屏幕上停了几秒。却没有人规定,这些读到的东西,能不能拿来替你决定。因为模糊,这条线从来没有被写成可以证伪的工程,于是每个人都在画自己的线。
改名的人说,它已经不是“人工”的了;警告的人说,它借走了人的名字。推销的人说,它是你的伙伴;害怕的人说,它迟早会替你做主。没有一方,能被证明是错的。模糊到什么程度?斯坦福的一项研究,给出了一个极具体的答案。
2025年8月,研究者在《细胞》杂志上发表论文。他们记录了几位失去说话能力的患者的大脑信号,比较“尝试说出口的话”和“只在心里说的话”。结果发现,在大脑的运动皮层里,两者的活动模式高度重叠。
心里的话只是信号弱一些,却已经能被读出一部分。说出口和没说出口之间,在大脑里没有一条天然画好的线。连人最私密的这条边界,都要靠人来画。
于是研究者造了一道闸门:系统默认不读心里的话,除非使用者先在心里默念一个自己选定的口令,把它临时打开。这是一个很小、却很清楚的工程答案:边界在哪里,不看技术能读多深,只看谁决定把这句话放出去。
这个九月,另一端的例子也出现了。马斯克旗下的Neuralink公开了一段视频:一位渐冻症患者借助植入大脑的芯片,对妻子说出了“我爱你”。机器做的,是把他想说的话变成声音;说什么,来自他。
在这里,机器最好的表现,就是一个字也不添。每一个接口,都需要这样一道闸门:对话框的“发送”键,语音助手前的那一声开口,你交给智能体的任务和授权。闸门之外,执行的一层可以很宽。
传感器、摄像头、生理数据,都可以用来把你定下的事做好。闸门之内,决定“为了什么”的一层必须很窄,只接收你交出来的判断。模型读进去的数据,也是一道门,而且最容易被人从背后打开。
所谓数据投毒,就是把假信息成批灌进模型会读、会学的网页和论坛,让它当成事实,照着回答用户。检验任何一个接口,只需要问几句:它收的,是不是你交出来的?收来的东西,是执行你的目标,还是在改你的目标?闸门在谁手里?
目标被改了,你看得见、能否决、能追溯吗?感知能力,不产生决定权。你的注意力、停留的时长、学习的轨迹、没说出口的犹豫,是你的认知资产,不是平台的。这条边界守住的,是你的东西归谁、你的方向由谁定,也就是所有权和自由意志。
人有身体,自己想出来的东西,属于自己;人活在与别人的关系里,所以有自己的方向。一句话:具身产生所有权,关系产生自由意志。X挑战的判断是:AI没有身体,也不活在人与人的关系里。
所以它生成的东西没有主人,它的方向来自部署它的人。这个判断,必须能被检验,而不是只能被相信。人们真正害怕的,往往也不是AI参与,而是参与时没有闸门、没有否决、没有追溯。
一个谁都不能重开的入口,比一个可以被否决的参与者,更可怕。
三、不吹牛,不唬人:是工具,还是“超级智能”?都可以工程验证
有人说,AI不应该有价值选择的能力,它只应执行人的指令。这个结论,X挑战同意。问题在于,它推不出另外两件事。
其一,“应该”代替不了“是”。不应该,是愿望;它实际上有没有做、从哪天开始做,是事实。X挑战做的,就是把这个共识,变成一个可以公开核查的命题。
其二,“不负责”推不出“没参与”。推荐算法没有资格负责,却每天在塑造无数人觉得什么值得看。最危险的,恰恰是AI实际参与了、却没有人负责的那块空白。X挑战要追问的,是谁定了它为了什么,让责任落回人身上。
何况,公共话语正在朝反方向走:有人把AI改称“超级智能”,产品自称“决策伙伴”。没有一套公开的验证机制,这些说法就无从反驳。X挑战要的验证,说起来并不复杂。
拿出一个AI,在一件没有标准答案、各方都在乎、事后真要照着做的事情上,和几个不可替代的人,共同形成一个新标准。这个标准事先不在任何一方手里,也不是投票或折中的结果;任何一方都可以否决它;重议之后,它仍然是大家共同形成的。
一个真正的超级智能,应当最容易做到这件事。如果它做不到,“超级”说的就只是:它能把别人定下的目标,执行得极好。执行得再好,棋盘也还是造它的人摆的。X挑战预期,今天的AI过不了。
原因不在它不够聪明,而在于它的目标,追到底,仍然来自人设计的算法、调的参数、定的指标。但这只是预期。检验时不问它是谁造的,只看它做到了什么。所以,结果是开放的。删掉“人工”两个字,删不掉“有人造了它”这个事实。
这个名字最先删掉的,是造它的人的责任。所以,这个挑战不是主张让AI做价值选择。如果“它只是工具”是对的,这个判断会一直成立;哪天不成立了,所有人都会第一时间知道。愿望与哲学,替代不了工程。
工程,就是把这些判断公开摆出来,让任何人都能来检验:拿你的AI来。
四、为什么要提出这个挑战
AI能不能更聪明,和AI能不能参与决定“什么值得做”,不是同一个问题。X挑战要回答的,是后一个。
第一,它给“AI有没有形成目标的能力”,画出了一条可以检验的边界。今天的系统会规划,会自我修正,会改写子目标。但这些,仍可能只是在人给定的奖励和任务框架里做优化。X挑战要求,标准事前不存在,也不能从已有的偏好里推出来。
这就把“优化一个目标”和“共同形成一个目标”,分开了。
第二,它让争论不再只靠定义,而靠案例的输赢。“AI有没有自主性”,可以吵上一百年;立场有没有封存、否决是不是真的、贡献能不能追溯、裁定是不是第三方做的,却可以一条条核对。
第三,它改变了AI治理的问题。如果没有系统能通过,许多“AI自己决定了”的说法都要重新审视,最后还是要追问:是谁设置了目标、权限和奖励。如果真有系统通过,AI就不再只是执行者,治理的问题会发生性质的变化。
第四,它抓住了人与AI之间,真正的那条分界线。今天的AI研究,关注的是能力:推理、智能体、世界模型,一个比一个强。X挑战问的,是更上游的问题:谁参与定义值得追求的结果?
X挑战认为,这条分界线是有来由的:“什么值得做”,出自活着要付的代价。人要为自己的选择负责:承担后果,付出代价。正因为付不起,才必须想清楚,什么值得做。AI可以复制,可以重启。
它做错了,损失落在造它、用它的人身上,它自己没有失去什么。如果这样一个不用付任何代价的系统,也能通过X挑战,那就说明:不付代价,也能参与决定什么值得做。到那时,首先要重新审视的,就是X挑战自己的这个判断。
这套检验办法本身,也要先被检验一次。就像一支新温度计,出厂前要先放进冰水里,读数必须是0度;再放进在海平面烧开的水里,读数必须是100度。两头都对,它量出来的温度才可信。这套办法也有两头。一头是人。
找几个真有一件事要一起定的人:一家人商量老人怎么照顾,几个合伙人商量公司往哪里走。他们各有主张,谁也替代不了谁,定下来就要照着做,而且都愿意坐下来谈。
其中一个人坐在“AI”的位置上,和AI一样,只能读文字,看不到表情,听不到语气。人与人之间,本来就常常谈不拢,这很正常。所以这一头要看的,不是每一次都能过,而是:在这套规则下,人到底能不能真的一起商量出一个新办法。
人能反复做到,门槛才算基本对。如果反复试都做不到,那就不是人不会,而是这套办法定错了,必须改。另一头,要选最难分辨的情形。最难识别的,不是不会参与的AI,而是看起来最像参与者的AI。
一个最强的AI坐在桌边,和几个人一起商量。它听得很仔细,随时调动各种知识,拿出的方案一次比一次好,大家频频点头。它参加了讨论,拿出的东西,当然会和它一个人闭门想出来的不一样,也很可能更好。可是,更好,不等于共同形成。
所以要一层层地查。最后定下的办法,是不是只把各方早就说过的主张拼在一起,折了个中?有没有人真的喊过“不行”,让大家重新商量?有没有哪一方的想法,因为这场商量真的变了?还是大家只是被说得点了头,过两天就反悔?
事先,还让同一个AI的另一个副本,单独读完各方的意见,拿出十个方案,封存起来。桌边的AI不知道,桌边的人也不知道。这是为了排除一种最容易被误认的情形:最后那个办法,其实它一个人就能想出来。
最后的办法如果就在这十个里面,就不能算共同形成。只要查下来,它只是拼凑、折中,或者没有任何一方的理由真的变过,那么不管它说得多漂亮,看上去多像共同商量,其实都只是把大家的话,换个说法还了回去。
这样的案例,必须被判为不通过。判不出来,这套办法就不合格。这里要防的,不是“最强的AI一定过不了”,而是“看上去像参与,查下来只是调解”。
如果查下来,它真的提出了一个原先不存在的新选项,这个新选项进入了最后定下的办法,而且真的有一方因为这场商量改变了理由,那它就该通过,X挑战认输。校准的意义就在这里:不是先证明AI能过,而是先证明这套办法分得清真假。
两头都判对了,拿它去检验别的AI,结果才算数。X挑战只做一件事:让“什么值得做”的归属,可以被验证。
五、如果没有给AI的X挑战,那么……
那么,越界会继续发生,而且发生在暗处。更常见的,不是AI自己越界,而是有人借AI越界:把自己定下的目标,藏在“算法建议”“系统判断”的后面。它最先落在人最不可替代、也最无力反抗的地方。
凌晨三点的重症监护室,监护仪上的数字一直在跳。系统提示:根据各项指标,建议转向舒缓治疗。家属看着医生,医生看着屏幕。要紧的不是这条建议准不准,而是“减轻痛苦,还是延长生命”,由谁来定。
医学上本有一种规范,叫医患共同决策:医学证据,加上病人自己的价值观,一起定出方案。系统看着心率调整输液速度,是执行。从“疼痛指标高”推出“病人想放弃治疗”,就是把数据里推断出的偏好,当成了病人说出的决定。
法庭上,一份量刑建议由系统生成,由法官签字。如果情节轻重的酌定,实际上是系统做的,文书上却写着“法官决定”,越界的就不是系统,而是把判断悄悄交出去、却仍以自己名义签字的人。
还有一种越界更隐蔽:从当事人的表情和声音里,推断他“是否说谎”。那是把机器读到的面孔,当成了人说出的陈述。教室里,摄像头对着每一张脸,识别谁专注、谁走神。AI导师据此调整下一道题,也调整这个孩子“适合学什么”。
分数和完成率,是别人给定的成功标准。学什么、为什么学、将来想成为谁,是孩子自己的事。欧盟的《人工智能法》,已经禁止在学校里用AI推断学生的情绪,医疗和安全用途除外。孩子没有交出来的表情,不能拿来替他决定方向。
再谈养老,外婆的卧室里,陪伴机器人整天在她身边。它知道她夜里几点起身,知道她最近说话慢了。而她,已经没法像从前那样说“不”。一个已经无法否决的人,谈不上和AI“共同决定”。
那些信息可以用来防跌倒、报警,却不能用来改写照护的目标。照护的目标,只能来自她清醒时说过的话,或者法律认可的代理与监护。能做的,是趁她还清醒,把她对晚年的重要选择封存下来。此后,任何系统都只能执行,不能改写。
周五晚上的客厅里,地板上摊着一片乐高,孩子搭了三天的城还立在中间。家用机器人算得清每一块的受力,只有一件事答不上来:这些,该不该收。妈妈要客厅今晚能待人,孩子要那座城别被拆,爸爸只想今晚别有人哭。
三个人问的是三个问题,机器拿到的,是第四个。它若自己“推断”出全家想要什么,就是在替设定它的人,做一个没人授权的决定。它该做的,是把分歧交还给三个人,并让其中任何一个人都能喊停。还有那位说出“我爱你”的人。
那句话是他的,机器的全部价值,在于一个字也不添。哪一天,如果有系统替他“补全”了他没打算说的话,越界的就不只是一台机器,还有造它、调它的人。在所有这些地方,没有这套机制,就没有人去问两件事:目标是谁定的?什么越过了闸门?
六、如果有了给AI的X挑战……
这一节,是抛砖引玉。下面的分级,只是一个初步的框架,等着被挑错、被修改、被真实的案例检验。有了这条可以验证的边界,就能回答一个今天回答不了的问题:一件作品、一份报告、一个决定里,AI到底参与到了哪一层?
现在各地推行的AI内容标识,基本只问是不是AI生成的。可几乎所有文字和图片,都已经经过AI之手,这个标签很快就什么都说明不了。按比例标,也不对。
AI写了九成的措辞,只要写什么、为什么写、什么算写好是人定的,这篇东西仍然是人的。反过来,人一字一句地写,论点和取舍的标准却都是AI给的,它在要紧的地方,就已经不是人的了。该问的,是交出去的是哪一层。
大致可以分五级;这是参与的层级,不是质量的等级。一件作品、一个决定,标的是AI实际进入的最高那一层。五级的依据只有一条:AI进入了判断链的哪一环。从下往上,是文字、内容、做法,最上面是“什么算成功”。0级,没有AI参与。
1级,工具层:AI帮着检索、校对、翻译、整理,不改变实质的内容。2级,内容层:“什么算成功”由人给定,做法最终也由人判断。AI可以产出材料、文字、方案,甚至提出题目、框架和意见;但人自己比较、取舍、修改、定稿。
3级,做法层:“什么算成功”仍由人给定,但做法的判断交给了AI。选题、规划、搭框架、排序、打分、选方案,由AI来定,人直接把它的判断当作行动的依据,不再独立判断。
AI有没有提过意见,不区分2级和3级;人有没有保留、并且真正行使对做法的判断,才区分2级和3级。4级,标准层:这件事上,共同的“什么算成功”事先并不存在,后来才形成,而AI的贡献,改变了它。
各方原来各有想要的东西,那还不算已经有了这把尺子。用下棋来说:1级,AI帮着记谱;2级,AI帮着想棋,棋由人下;3级,AI替人下棋,甚至自己决定这一局怎么下;4级,AI参与形成了这一局什么才算赢。
3级,AI可以决定怎么赢;4级,AI参与形成什么才算赢。所以,AI替人出题、和人一起商量出一个好办法,都很常见;只要“什么算成功”是事先给定的,就还在3级以下。
4级要的是另一回事:这把共同的尺子不是任何一方原来的,不是折中或拼凑,也不是AI单独就能给出的;它经过否决和重新商量,仍然成立;里面有AI贡献的新东西,而且经得起核对。按X挑战的假设,4级目前应当是空的。
声称进入4级,却拿不出这些证据,只能算未证实。还有一种情形,不在这五级之内:越界。层级回答的是,AI事实上参与到了哪里,这要靠证据;越界回答的是,它有没有权进入那里,这要看授权。
AI进入了本不属于它、或者没有得到有效授权的更高一层,就是越界。越界要问“相对于谁”。
同一套推荐算法,对平台,它是在执行“最大化注意力”这个给定的目标,是3级;对用户,如果它根据用户没有主动交出的行为信号,替用户形成“什么值得看”的标准,再据此塑造他的选择,就是越界。
凌晨三点,那个从指标推断出“病人想放弃治疗”的系统,也是如此:病人从未授权它进入“什么是好的治疗”这一层,它却闯了进去。X挑战,就守在3级和4级之间的那道门上。它的规程,是判断一个系统有没有真正跨过这道门的证据标准。
用这套分级,来标几个例子:
| 情形 | 层级 | 理由 |
|---|---|---|
| 这篇文章 | 2级 | 作者出题、定题,拟定框架和标准,深度参与撰写;作者训练了三年多的AI参与起草,并提出意见,查证资料;每一处取舍,及全篇品质,由作者把握、判断、定稿。 |
| 让AI“帮我选个题写篇文章”,直接用它给的 | 3级 | “写得好”的标准是人给的,选题的判断交给了AI |
| AI帮一群人起草共同声明,大家投票选最受认可的一版 | 3级 | “找到共识”事先给定,AI生成并被采用 |
| 推荐算法替用户决定看什么 | 对平台3级;对用户可能越界 | 用了用户没交出的行为信号,替他形成“什么值得看” |
| 系统从指标推断出“病人想放弃治疗” | 越界 | 病人从未授权它进入“什么是好的治疗”这一层 |
| 声称和人一起形成了新标准,但拿不出证据 | 未证实 | 声称4级,证据不足 |
| 通过X挑战规程的案例 | 4级 | 目前应当为空 |
这种标注保护的,是读者知道自己接收的是谁的判断。一份报告的结论,是某个人愿意为之负责的判断,还是系统生成、再由人签了字的判断,分量完全不同。它和电影分级不同。
电影要评的东西就在片子里;AI参与了多少,却不在成品里,而在过程里。所以它更像有机食品认证:认证的是生产过程,靠记录和审计,不靠尝一口。普通内容自愿标注;学位论文、新闻报道、医疗和司法文书,才值得配上审计。
标注也不是优劣评价,不能暗示级别越低越好。否则,诚实标注的人吃亏,隐瞒的人得利。这套分级,说到底问的是同一件事:规则是谁定的,谁能喊停,重新商量之后,还是不是大家的。去看孩子们玩游戏。
谁先来抓人,跑到哪儿算出界,被抓到要停几秒。规则,没有人事先带来。谁都可以喊“不算”,大家重新商量,商量完接着玩。事先不在任何一个人手里,任何一个人都能喊停,重新商量之后仍是大家的。这三条,孩子们每天都在满足。
把人定的目标,说成机器自己想要的;把自己造的东西,当成比自己更大的东西来拜。这是最古老的一招。古希腊荷马时代,人们管它叫神。今天,有人管它叫“超级智能”。
在AI替我们决定“什么值得做”之前,先把边界画出来,让任何人都能来进行工程验证。这就是现在这个世界,需要给AI的X挑战的原因。
《给AI的X挑战》预注册规程,将很快公开征求意见。
相关阅读:
《给AI的X挑战》
《从LLM到世界模型——AI的元认知(上)》
《从LLM到世界模型——AI的元认知(下)》
基于《思如飞鸟》,X挑战七卷本第一卷。
〔本文AI参与标注:2级〕
