我的网站

您当前的位置:主页 > 我的网站国内 >

作者:邓纯 来源:原创 发布日期:08-21

使命召唤

当算法参与决策,安全如何保障_我的网站

火柴人

A |     来源:人民日报海外版          本版图片均由AI辅助生成          确保人工智能始终服务于人,而不是替代人的最终判断          记者:当前算法参与社会决策的广度和深度,已经发展到了一个什么样的阶段?它带来的安全风险,是不是已经到了必须系统性应对的临界点?          肖茜(清华大学人工智能国际治理研究院副院长):随着大模型能力的快速提升,人工智能确实正在逐步从传统意义上的“辅助工具”走向“参与决策”。今天,无论是在医疗诊断、金融风控、交通调度,还是公共治理、司法辅助等领域,算法都越来越多地参与到决策过程中。但总体来看,人工智能成为完全意义上的“决策者”仍然只是少数特定场景,并非社会普遍现象。更准确的表述应该是人工智能正在成为越来越重要的“决策参与者”和“决策影响者”。         从人工智能安全治理的角度来看,确保“人在环上”(Human-in-the-Loop)仍然是一项不可突破的基本原则。人工智能虽然在数据处理和模式识别方面具有明显优势,但当前技术仍然存在诸多局限,例如“黑箱效应”导致决策过程缺乏透明性和可解释性,训练数据可能存在偏差,模型可能产生“幻觉”,在复杂环境下也缺乏人类所具备的价值判断、伦理考量和情境理解能力。因此,如果将涉及生命安全、公共利益或重大社会影响的决策完全交由人工智能作出,不仅可能导致错误决策,也可能出现责任主体不清、问责机制缺失等治理难题。         更重要的是,我们需要关注算法决策不断扩张所带来的系统性风险。    

美国当地时间5月12日,加州州长加文·纽森(Gavin Newson)在一场直播的政府报告中,被记者提问后尴尬无比,加州政府花费了240亿美元来解决无家可归者的问题,但是这些钱至今去向不明。

 

根据加州最新公布的预算,目前州预算赤字来到了450亿美元,而这也让纽森不得不面带痛苦的提议削减开支:这将影响到移民群体,幼儿园儿童福利以及寻求儿童保育的低收入父母家庭。

B | 与之相对应的是加州的整体经济发展非常好,有着“世界第五大经济体”之称。当越来越多的社会运行依赖算法时,一旦算法出现系统性偏差或遭受攻击,其影响可能迅速扩散至金融、医疗、交通、能源等多个关键领域,甚至影响社会公平和公共信任。

 
240亿美元打水漂
 
根据加州的州审计报告,五年内加州政府总共花费了惊人的240亿美元,试图解决无家可归问题,但没有追踪这笔钱,是否真的帮助到该州不断增加的无家可归者。
 
根据审计结果,加州政府在2018年至2023年期间,总共在30个项目上花费了数十亿美元,但没有收集任何数据来说明为什么这些现金没有解决无家可归人群的问题。因此,我认为,我们已经到了必须系统性应对人工智能决策风险的重要阶段。
 
如今“无家可归”的危机已经在加州失控,各大城市的帐篷营地和令人烦恼的流浪现象很糟糕,而且越来越严重。联邦数据显示,去年加州无家可归者人数猛增 6%,达到 18 万多人。自 2013 年以来,这一数字猛增了 53%。而整个加州居住着美国无家可归人口的近三分之一。

C | 未来的治理重点,不应是简单限制人工智能的应用,而是在推动技术创新的同时,建立更加完善的风险评估、算法审计和责任追溯机制,确保人工智能始终服务于人,而不是替代人的最终判断。         魏凯(中国信息通信研究院人工智能研究所所长):算法伴随着计算机软件的普及,早已经深度嵌入社会运行的各个环节,一切计算机程序都建立在算法之上。

 
州审计员格兰特·帕克斯在给州长加文·纽瑟姆和立法者的一封信中写道,“州必须采取更多措施来评估其无家可归者计划的成本效益。早期程序依托的算法,完全由人工预设的明确规则驱动。

D | 随着神经网络等人工智能技术成熟,算法的形成逻辑发生重要转变:它不再单纯依靠人工设定规则,模型训练数据同样深刻影响最终输出。

E | ”

 
审计人员调查了五个计划,这些计划总共获得了 137 亿美元的资金。他们发现,其中只有两种方案“可能具有成本效益”,其中一种将酒店和汽车旅馆的房间改造成住房,另一种有助于防止家庭无家可归。
 
其余三个项目自 2020 年以来已获得总计 94 亿美元的资金,由于缺乏数据,无法进行评估。

F |          十余年间,消费互联网率先完成迭代,信息搜索、商品推荐、广告分发等场景全面运用 AI 算法。

 
旧金山顾问托马斯·沃尔夫(Thomas Wolf)曾是无家可归的吸毒者,他称这一发现是“丑闻”。沃尔夫在 X上发帖称,“政府已经在无家可归问题上花费了数十亿美元,而且情况更糟。         当下新趋势显现:大众信息查询行为逐步转向智能体,依靠大模型整合素材、直接生成应答。

G | 对于无家可归者服务而言,结果实际上意味着一切,毫不奇怪,他们没有数据。”

 
对于一些人来说,审计证实了对“无家可归的工业综合体”的担忧——一个由资助者、官员、庇护所所有者和慈善机构组成的“利益输送链”,他们更热衷于吞噬公共资金,而不是解决问题。

H |

 
长滩花费6千万美元 无家可归者减少71人
 
长滩市公布了其年度无家可归者人数,这是在经历了一年的无家可归紧急情况,并投入了联邦政府、州政府和地方纳税人超过6000万美元的情况下,长滩市的无家可归者人数出现了7年来的首次下降。
 
长滩市长雷克斯·理查森(Rex Richardson)表示,该市的无家可归者人数下降了2.1%。

I | 这标志长滩正朝着正确的方向迈进。需要警惕的是,大模型“幻觉”问题难以彻底消除,使用者应当对智能体输出内容做好真伪辨别。当然,家里的扫地机器人,自动驾驶汽车,也都是AI算法驱动的。2024年1月,长滩市的无家可归者总数为3376人,相比之下,2023年为3447人,减少了71人。

 
无家可归者权益倡导者克里斯汀·贝里(Christine Berry)表示:“我可以告诉你,这并不起作用,我们花费了数百万美元,但大多数人的生活并没有改善。总体而言,算法参与社会决策呈现不均衡发展态势:面向普通公众的消费场景渗透更广,面向经营主体的产业场景仍处在深化探索阶段。         确保AI进入决策过程之后,不会削弱决策的可靠性、公正性、可控性和可问责性          记者:在“算法参与决策”这个特定语境下,您认为“安全”的核心要义是什么?它和我们传统说的网络安全、数据安全、信息安全,最本质的区别在哪里?是不是可以理解为,这是一种更深层的“决策安全”或者“规则安全”?          魏凯:安全本身具有相对性,AI算法安全同样不存在绝对安全。”贝里认为,长滩市的努力失败了。

J | 在贝里看来,这一减少幅度微乎其微,只有71人。放到“算法参与决策”这一特定语境下,我认为安全的核心要义,就是保障AI算法具备充足的透明性与运行可靠性,规避由算法自主推演、模型决策带来的重大风险。         讨论AI算法安全不能一概而论,需要结合应用场景、面向的不同主体分类考量。实际安置的无家可归者人数低得令人难以置信。

K | 面向普通消费者提供服务的AI算法,应当匹配大众认知水平,搭建相适配的安全防护机制,守住用户合法权益底线。具体涵盖内容合规、防范算法歧视、强化个人隐私保护、警惕AI算法不当引导公众认知等多个维度;针对未成年人等特殊群体,还要实施更加严格、差异化的算法约束。         维护AI算法安全,不能只要求一方出力,技术服务商与使用者双方都负有责任。

L | 对于技术服务商而言,应当严格遵循法律法规与相关技术标准,落实算法安全各项合规要求,从技术源头筑牢风险防线。与此同时,也需要持续呼吁广大使用者不断提升风险辨别与自我保护意识。         肖茜:在算法参与决策的特定语境下,我认为“安全”的核心要义,是确保AI进入决策过程之后,不会削弱决策的可靠性、公正性、可控性和可问责性。它所保护的不只是一个技术系统能否正常运行,更是社会中的决策权能否被正当、审慎地行使。

M |

 
根据长滩市的数据显示,在无家可归者紧急状态期间,该市仅让227人摆脱了无家可归的困境,实现了自给自足。

N | 目前,共有733人参加了永久性住房计划。         传统意义上的网络安全、数据安全和信息安全主要解决的是决策所依赖的技术基础和信息基础是否安全。算法决策安全则进一步追问:即使网络没有遭到攻击、数据没有泄露、信息也是真实的,算法作出的判断是否一定合理?如果出现错误,最终由谁承担责任?          因此,我认为可以把它理解为一种更深层次的“决策安全”,同时也涉及“规则安全”。

 
长滩市的“住房优先”战略已经变成了一个旋转门,让太多有毒瘾和精神不稳定的人在没有接受治疗的情况下获得临时住房。所谓决策安全,是要防止算法误判、自动化偏见和人类过度依赖机器,确保重大决策仍然处于有效的人类监督和控制之下。

o | 所谓规则安全,是要审视被写入算法的目标、指标和价值排序是否合理。贝里说:“如果在城市实施法律,给人们选择去戒毒所还是进监狱。

p | 根据我的经验,他们会选择康复中心。”

 
选民投票自发解决问题
 
随着无家可归人数的不断激增。

q | 因为算法并不是完全中立的,它会把开发者设定的规则转化为大规模、持续性的社会决策。过去几年中,随着盗窃、抢劫等犯罪率不断飙升,加州的州法《47号法案》受到不同族裔、不同党派民众的谴责,甚至成为全美各地人们眼中的治安“笑话”。         记者:生成式 AI 爆发之后,大模型参与决策的场景变多了。

 
根据2014年通过的《47号法案》,持有毒品、偷窃、商店盗窃、伪造支票等重罪都变成了轻罪;950美元以下的盗窃,即使罪犯屡次犯罪也无需入狱,也不会采集DNA标本。
 
在今年的大选年,民间发起一项名为“减少无家可归、吸毒成瘾和盗窃法案”(Homelessness, Drug Addiction, and Retail Theft Reduction Act)的全州倡议,旨在修复《47号法案》制造出的混乱。只要在4月底征签到大约55万个有效选民签名,该倡议就可登上11月选票,进行全民公投。

r |

 
在的一个视频会议上,平等公义协会(OJE)主席李少敏说:“这是一项期待已久的倡议。和传统的、针对特定任务设计的算法相比,大模型的“通用决策能力”更强,但不确定性也更大,这是不是给算法安全保障带来了全新的、更大的挑战?          肖茜:大模型时代的算法安全已经进入了一个新的阶段,它面临的挑战与传统算法有着本质区别。在最近的一项调查中,超过70%的受访者支持这一倡议。”
 
李少敏表示,只要签名数过关并将倡议成功送上选票,大多数选民都会投下“同意”票,更改现在极端恶化的的治安现状。他也因此呼吁加州选民在为数不多的时间内响应此次倡议,尽快签名。传统算法通常针对某一特定任务设计,功能相对单一,应用边界比较明确,因此风险也相对可预测。而大模型则具有通用能力,可以理解、推理、规划、生成内容,并在逐步向智能体演进,开始参与越来越复杂的决策过程。
 
倡议将修复《47号法案》
 
目前的加州,“零元购”、快闪抢劫、毒品过量死亡等案件层出不穷;毒贩、吸毒者、无家可归者随处可见,这也导致了零售公司纷纷离开加州,而造成这一原因的主要原因就是《47号法案》造成的,每个人都成了受害者。与此同时,大模型还具有持续学习、不断迭代、多场景应用等特点,能力边界始终处于变化之中。
 
数据显示,2022年有近80万人离开加州,离开加州的原因除了生活成本高涨之外,治安恶化是另一个主要因素。

s | 这意味着,技术的发展速度远快于治理规则的更新速度,也使算法安全治理面临前所未有的挑战。

 
在过去三年中,加州数十位议员至少推出了七个修复《47号法案》的相关解决提案,却都被州议会否决了,因此只能通过全民公投的方式改变现状。         大模型时代与传统算法时代最大的不同,至少体现在三个方面。
 
“减少无家可归、吸毒成瘾和盗窃法案”包含三个重点:1)任何持有鸦片和可卡因等硬性毒品的人都将被要求接受戒毒,否则将面临重罪指控;2)加强对毒贩特别是芬太尼毒贩的惩罚,旨在阻止进一步犯罪;3)任何因盗窃而被捕的人,无论盗窃金额大小,都将被视为重罪。

t | 一是风险更加难以预测。大模型具有一定的涌现能力,一些能力并非开发者预先设计,我们很难像传统软件那样准确预测系统在所有场景下的行为。


约洛县(Yolo)检察官杰夫·赖西格(Jeff Reisig)在会议上说,这项倡议将修复《47号法案》制造出的一系列混乱,“这是两党共同努力的结果;2014 年通过的《47号法案》根本没有遵循预期所说的走向,我们州存在危机”。

u | 二是算法开始影响决策,而不仅仅是执行任务。

v | 三是风险的外溢性更强。

 
根据《47号法案》,无论出于何种目的吸毒都属于轻罪,这意味着没有人会被逮捕,只会收到一张罚单,没有人会被要求强迫接受戒毒治疗,这已经演变成一场人道危机。
 
倡议要求吸毒者必须接受戒毒治疗,并不是以惩罚和监禁为目的,而是非常人性化地要求这些人接受良好的治疗,既能避免更多因毒品过量死亡的悲剧,也能减少吸毒成瘾者为毒犯罪或沦落为游民。

w |

 
全州已征集到逾30万签名
 
李少敏提醒选民,州总检察长办公室将“减少无家可归、吸毒成瘾和盗窃法案”倡议更名为“允许对某些毒品和盗窃犯罪提出重罪指控并加重刑罚”(Allows Felony Charges and Enhanced Sentences for Certain Drug and Theft Crimes),并且撰写误导选民的选票概述,试图混淆选民的正确判断。一个通用大模型往往服务数亿用户,可以同时应用于多个领域,一旦出现系统性缺陷、偏见或被恶意利用,其影响可能迅速跨行业、跨地区甚至跨国界传播,很可能造成系统性风险。         敏捷治理更强调边发展、边治理、边完善规则,提高治理的适应性和前瞻性          记者:全球范围内,算法治理有不同的思路,中国的算法安全治理路径,有哪些自己的特点和制度优势?我们在平衡“发展”和“安全”这对关系上,有没有走出一条自己的路?          肖茜:我认为,中国人工智能治理的一大特点,就是始终坚持发展与安全并重,努力在促进创新和防范风险之间寻找平衡,而不是把二者对立起来。
 
这种手法与当年《47号法案》通过时的手法如出一辙。人工智能是推动经济社会发展的重要引擎。被视为“臭名昭著”的《47号法案》,当年在投票时被时任加州总检察长的贺锦丽写成了“安全社区和学校法”。许多选民后悔地表示,当初就是被这个名字误导才投下了赞成票。如果因为担心风险而过度监管,可能会抑制创新;但如果只强调发展而忽视安全,又可能带来新的社会风险。
 
截至目前,要求修订加州《47号法案》的请愿书已征得逾30万个选民签名。因此,中国提出统筹发展和安全,把安全作为发展的保障,把发展作为安全的基础,在鼓励技术创新的同时,加强风险治理,努力实现二者的动态平衡。         在治理方式上,中国近年来提出了风险导向、敏捷治理的理念。同时该倡议还获得了加州民选官员、执法机构、企业等各方支持背书,包括加州32个县的地区检察官、14个县警署警长及众多执法机构、州警长协会(California State Sheriffs’ Association)、州地方检察官协会(California District Attorneys Association)、旧金山和圣荷西等多个城市市长,以及沃尔玛等企业。今年发布的《2026世界人工智能大会暨人工智能全球治理高级别会议主席声明》再次强调,坚持“风险导向、敏捷治理”。
 
特朗普竞选口号打击“无家可归”
 
受够了游民遍地、打砸抢肆虐、毒品充斥社区的加州选民,可以在即将来临的11月份大选中作出改变。这意味着,面对快速演进的人工智能技术,治理模式不能一成不变,而应根据技术发展和风险变化不断调整,实现监管与创新同步演进。

x | 相比于“先发展、后治理”或“先立法、后创新”的传统路径,敏捷治理更强调边发展、边治理、边完善规则,提高治理的适应性和前瞻性。

y |

 
根据TIPP最近的一项民意调查显示,超过三分之二的美国成年人表示无家可归现象已经失控,官员们需要将那些露宿街头的人转移到城镇外的帐篷营地。

z |          此外,中国还高度重视人工智能治理的国际合作。人工智能的发展和应用具有跨境性,其风险也具有全球外溢性,任何国家都无法单独应对。因此,中国不仅积极完善国内治理体系,也积极参与联合国框架下的全球人工智能治理,倡导开放合作、能力建设和风险共治,推动人工智能真正成为促进人类共同发展的公共产品。调查显示,67% 的美国人厌倦了该国无家可归者数量的快速增加,并希望市长们采取严厉措施解决这一祸害。

|

 
前总统特朗普将其作为连任竞选活动的一部分。         技术治理必须与制度治理相结合          记者:这些年学界和产业界都在探索技术解决方案,从实际进展看,这些技术能在多大程度上解决算法决策的安全问题?技术路径有没有它的局限性?会不会出现“道高一尺、魔高一丈”的情况?          肖茜:用技术来解决技术带来的问题,确实是一条非常重要的路径。特朗普竞选团队发布的一段有关无家可归者的视频中表示,“勤劳、守法的公民”被边缘化,被迫“为极少数身体不适的人的突发奇想而受苦”。近年来,无论是算法可解释性、红队测试(模拟真实攻击者对系统进行对抗性测试的方法,旨在发现漏洞并提升安全性)、还是安全评估、模型对齐,都在不断提升人工智能系统的安全性和可靠性。
 
他发誓要“禁止城市露营”,并在“廉价土地”上为无家可归者建造“帐篷城市”,并配备医生和社会工作者,帮助人们解决系统性问题。

| 但是,技术路径始终存在其局限性。

|

 
如今,无家可归者已经成为民主党内部的一道命门,如果解决不了加州的“帐篷”,那么纽森之后的白宫梦只会越来越远。我认为,这种局限主要体现在两个方面。一方面,人工智能的发展速度远快于治理规则的演进。
。今天解决的问题,可能很快就会被下一代模型所突破。随着模型能力不断增强,特别是智能体、自主决策、多智能体协同等技术快速发展,未来人工智能甚至可能具备一定程度的自主学习、自主优化和自我迭代能力。在这种背景下,安全治理确实可能面临“道高一尺、魔高一丈”的挑战,单纯依靠技术手段很难做到一劳永逸。

| 另一方面,许多算法决策安全问题本身就不是技术能够独立解决的。

| 例如,算法是否公平、是否符合伦理、是否侵犯个人权利,这些都属于价值判断和制度选择,而不是工程问题。         因此,技术治理必须与制度治理相结合。未来算法决策治理至少应坚持几项基本原则:第一,对于涉及生命安全、基本权利和重大公共利益的决策,必须保留实质性的人类判断,并留出充足的判断时间;第二,建立算法影响评估、模型测试审计和持续监测机制,确保人工智能在部署前、部署中和部署后都处于可测试、可监督的状态;第三,保障必要的透明度、解释权和救济权,使受到算法影响的个人拥有知情和申诉的机会;第四,明确开发者、部署者、使用者和监管者之间的责任边界,形成完整的责任链条。         除此之外,随着人工智能越来越广泛地应用于跨境场景,很多风险已经超越了一国的治理能力。例如,前沿模型可能被全球用户使用,算法漏洞可能迅速扩散,军事、网络、生物等领域的风险更具有全球外溢性。

| 因此,还需要加强国际合作,推动风险评估、安全测试、技术标准和治理规则方面的协调,共同应对人工智能带来的全球性挑战。         只有形成完整的责任链条,才能避免出现“人人参与、人人免责”的治理困境          记者:算法参与决策最棘手的问题之一,是“出了事谁担责”,真出了安全问题,责任该怎么界定?          肖茜:这是目前全球人工智能治理面临的一个核心难题。

| 过去,责任往往比较容易界定,谁作出决定,谁承担责任。但在人工智能时代,一项算法决策往往涉及多个主体,包括模型开发者、数据提供者、系统部署者、平台运营者以及最终使用算法作出决策的机构。任何一个环节出现问题,都可能影响最终结果。因此,很难简单地把责任归咎于某一个主体。         国际社会目前越来越倾向于建立“责任链条”的理念,也就是说,根据各主体在人工智能全生命周期中的职责划分责任,而不是由某一个主体承担全部责任。只有形成完整的责任链条,才能避免出现“人人参与、人人免责”的治理困境。

|          我国近年来出台《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》等法规,对平台责任、算法备案、安全评估等方面已经进行了积极探索,为人工智能治理提供了重要制度基础。但总体来看,目前我国乃至国际社会,都还没有形成一套十分成熟、可操作的算法决策问责机制。特别是在大模型和智能体快速发展的背景下,责任如何划分、举证责任如何分配、算法“黑箱”如何解释、跨境应用如何监管等问题,仍然需要进一步探索。         记者:对于政府、企业和公众这三方来说,各自应该扮演什么样的角色,才能共同织密算法安全这张网?          肖茜:算法安全不是哪一方能够独立完成的,而是一项系统工程,需要多方共同参与,形成协同治理的格局。对于政府而言,需要不断完善算法治理体系。面对快速发展的人工智能技术,监管不能停留在事后处置,而要坚持风险导向、敏捷治理,建立覆盖人工智能研发、部署和应用全过程的治理机制,完善法律法规、技术标准、风险评估和责任追究制度,为人工智能健康发展提供制度保障。

|          对于企业来说,应当切实履行安全治理的主体责任。安全不应该只是产品上线后的“补丁”,而应贯穿产品生命周期全过程,加强安全评估、红队测试、风险监测和持续优化,真正把“安全设计”融入技术创新之中。         对于公众来说,要不断提升人工智能素养。我们既要善于利用人工智能提升工作和生活效率,也要保持独立判断,不能盲目迷信算法,更不能把所有决策都交给机器。公众还应积极行使知情权、解释权和申诉权,共同推动人工智能更加透明、可信和负责任地发展。         算法安全不是限制人工智能的发展,而是为了让人工智能更好地服务于人。只有政府加强治理,企业守住责任,公众积极参与,形成共建共治共享的治理格局,才能共同织密算法安全这张网,让人工智能真正做到安全、可信、可控、向善。

Current article:http://9fah3x8.gaxuexiazengpian.pics/news/20260826_4012621.html

Published on:02:18:54


Copyright @ 2016-2018 我的网站 版权所有