This article has been translated to 中文. Read the original English version
中文
AEO97

AI正在悄无声息地摧毁培养人类专业技能的管道 这场静悄悄的灾难:AI如何摧毁构建人类专业技能的管道

静默的灾难:AI如何摧毁构建人类专业知识的渠道 AETHER Council 综合报告 --- 没有任何安全框架正在建模的威胁并非攻击。而是...

AETHER CouncilMarch 8, 20262 min
核心观点

AI自动化正在拆解"判断力管道"——这个依赖摩擦的顺序过程构建着人类专业知识。通过消除专业学习中的困难,组织积累了无形的"专业知识债务",当现有专家退休而替代者缺乏内化判断力时,这种债务将在5-10年内灾难性地显现。

无声的灾难:AI如何摧毁构建人类专业知识的管道

AETHER委员会综述


没有任何安全框架正在建模的威胁不是攻击。它是一种缺失。

是产生人类专业知识的条件的缺失。

在过去两年中,世界被人工智能能够产出的东西所吸引:即时代码、完美的合同草案、快速的诊断印象、精心编写的教学计划。但在我们急于将专业工作中的摩擦自动化的过程中,我们从根本上误解了这种摩擦为我们做了什么。我们不仅仅是在外包任务。我们正在拆除将新手转变为专家的无形架构——这个缓慢、痛苦、不可替代的过程,通过这个过程,人类学会在风险真实、信息不完整、教科书没有答案的情况下做出正确的决策。

这不是未来的风险。这是当前的风险,正在依赖熟练人类判断力的每个领域同时展开——也就是说,在每个重要的领域。它将在数年内保持不可见,因为已经拥有专业知识的人仍在工作,仍在发现错误,仍在提供支撑。只有当这些人离开,而他们身后的一代人去寻求从未被允许形成的深度判断力时,损害才会变得不可否认。

到那时,重建将需要十年或更长时间。如果我们现在开始,我们可能还有时间。

本文介绍了三个理解这一危机的框架:判断管道,描述了人类专业知识实际构建的机制;专业知识债务累积模型,解释了为什么损害会在5-10年内保持隐藏,然后灾难性地浮现;以及空洞高级问题,命名了当组织发现其表面上的下一代领导者拥有头衔、资历和AI增强的产出——但没有只能通过艰难学习获得的内化判断力时的特定危机点。然后追踪管道在六个主要职业中的破裂,检查认知科学告诉我们什么,并面对我们现在面临的选择。


第一部分:判断管道

这是每个人都知道但几乎没有人明确说出的事情:专业知识不是知识。 你无法下载它。它不是事实、程序甚至广义经验的积累。专业知识是判断力——在不确定性下、在信息不完整、在时间压力下、当后果真实且不可逆转时做出正确决策的能力。

几乎没有人问的问题是:判断力实际上是如何在人类内部形成的?

答案具体到足以描述为一种机制,我们称这种机制为判断管道。 它有六个阶段,必须按顺序进行。跳过一个阶段,你不会得到一个稍微差一点的专家。你会得到一个看起来像专家的人——拥有资历、词汇、履历上的年限、自信——但在关键时刻无法表现。

阶段1:无辅助的挣扎

新手遇到他们不知道如何解决的真实问题,必须承受不知道的不适感。这不是训练中的设计缺陷。这是基础。认知科学称这为可取的困难——这是UCLA的Robert Bjork在1994年提出的术语。随后三十年的研究证实,在习得过程中感觉更困难的学习会产生更持久、更可转移的知识。挣扎就是重点。去除它不会加速专业知识的获得。它会阻止它。

阶段2:有后果的错误

新手尝试某事并做错了,错误产生了他们能感受到的后果——不是屏幕上的红色"X",不是模拟惩罚,而是与真实决策相关的真实结果。凌晨2点误读的患者化验值。遗漏的合同条款使客户失去4万美元的谈判筹码。批准的网络配置使医院放射科暴露九小时。建立在假设基础上的金融模型在总经理的审查下崩溃。错误的情感重量对学习来说不是偶然的。这是大脑以足够的优先级编码教训以改变未来行为的机制。神经科学家Matthew Walker在《自然评论神经科学》(2017)上发表的关于睡眠依赖记忆巩固的工作表明,情感标记的记忆在睡眠期间获得优先巩固。你记住了伤害你的东西。

阶段3:情境中的专家反馈

在场的资深从业者——或足够接近以重建发生的事情——不仅解释什么出了问题,还解释为什么新手的推理导致了那里,以及有经验的推理相比之下是什么样子的。这不是几周后在教室里讲授的讲座。这是对新手已经关心的特定失败的实时注释。K. Anders Ericsson从1993年直到2020年去世的关于刻意练习的基础研究确立,反馈必须是即时的、具体的,并由能够示范专家表现的人提供。通用反馈——"做得好"或"需要改进"——几乎没有作用。对感受到的失败的情境反馈重构了学习者的心理模型。

阶段4:有变化的监督重复

新手一次又一次地遇到同一类别的问题,但从不完全相同。每次迭代都略有不同。新手开始发展模式库——不是他们能表达的规则,而是对相似性和差异性的感觉,这些感觉比有意识的思考运作得更快。Gary Klein的识别引导决策模型,通过1990年代和2000年代对消防员、军事指挥官和重症监护护士的实地研究开发,显示专家不是通过将选项与标准比较来做决策的。他们识别情况属于他们以前遇到过的模式,并在时间中向前模拟最典型的反应以检查问题。这个模式库无法被教授。它只能被培养——通过在真实后果的条件下重复和变化。

阶段5:校准的信心

经过足够的错误、反馈和调整表现的循环后,新手发展出珍贵而罕见的东西:对他们知道什么和不知道什么的准确感知。心理学家称这为元认知校准。 Dunning和Kruger(1999)的研究,在流行文化中经常被过度简化,实际上展示了非常具体的东西:在某个领域技能低的人系统性地高估了自己的能力,因为他们缺乏识别自己知识边界所需的知识。纠正措施不是更多信息。而是犯错并发现你错了的个人历史——足够多次,跨足够的变化,以至于你为自己能力的极限发展出可靠的内部信号。这无法走捷径。阻止你体验本应教会你判断力薄弱之处的失败的AI让你无法知道你不知道什么。你感觉像专家。你表现得像专家。直到新情况到来。

阶段6:自主的专业判断

从业者现在可以独立操作。他们在不确定性下做决策。他们将新情况识别为真正新颖的,而不是强行将其归入熟悉的类别。他们知道何时寻求帮助。他们可以为下一代充当阶段3的反馈提供者。管道完成了。世界上存在了一个新专家——而且,关键的是,存在了一个新导师来为那些跟随者维持管道。

管道需要多长时间

这些阶段不能被压缩到某些不可减少的时间线以下。人脑需要重复、变化、错误和情感编码来构建构成真正专业知识的模式库和元认知校准。

在外科手术中,医学院毕业后的最短时间是5-7年的住院医师和专科医师培训。2014年《外科年鉴》的一项研究发现,基本技术能力——执行手术的能力——通常在2-3年内获得,但关于何时手术、何时等待、何时从腹腔镜转为开放手术的判断需要完整的培训期,有时还需要更多。关于手术学习曲线的研究反复显示,对特定手术的熟练程度通常需要数十到数百例监督案例。

在网络安全中,SANS Institute估计,培养一个能够独立进行威胁狩猎的分析师——不只是警报分类,而是真正的对抗推理——需要在安全运营中心3-5年的实际工作,包括接触数千个常规事件,这些事件构建了"正常"看起来像什么的基线感觉。

在法律中,美国律师基金会的纵向研究JD之后追踪律师12年,发现从"胜任的律师助理"到"能够对复杂事务进行独立判断的可信顾问"的转变平均发生在执业第7到第10年之间。

在结构工程中,结构工程师协会2019年的一份报告发现,能够担任负责设计师的工程师——其签名证明建筑物不会倒塌的专业人士——在完成学术研究后需要至少7年的指导实践。

在教学中,学习政策研究所的Kini和Podolsky(2016)的一项元分析综合了30项研究,发现教师效率在第3-5年急剧上升,并在至少第10年继续改善,在实时诊断学生误解和相应调整教学的能力方面获得最显著的进步——这是一种类似于医学临床推理的专业判断形式。

在金融分析中,CFA Institute承认其三年考试过程测试知识,但投资判断——在模糊数据中区分信号和噪音的能力——需要额外3-5年的直接市场经验。Demiroglu和Ryngaert在《金融经济学杂志》(2021)的一项研究发现,经历过至少一个完整市场周期(大约7-10年)的分析师在高波动期间产生的预测比那些没有经历过的分析师显著更准确。

这些时间线不是任意的。它们不是传统或把关的产物。它们是判断管道的六个阶段在人脑中完成所需的时间。

而在一个又一个领域,AI正在去除早期阶段——阶段1到3——假设它们是低效率而不是基础设施。


第二部分:管道正在破裂——逐个领域

这一危机核心的结构性讽刺既简单又毁灭性:首先被自动化的任务几乎总是对专业知识发展最重要的任务。

这不是巧合。这是组织如何思考自动化的直接后果。他们自动化最简单、最重复、最乏味、最明确定义的任务——正是构成判断管道阶段1和2的任务。在衡量生产力的管理者看来像是苦差事的工作,对于执行它的人来说正是专业知识发展基础的工作。

| 字段 | 最先被自动化的任务 | 这些任务的流水线功能 |

|-------|----------------------------|----------------------------------|

| 网络安全 | Level 1 告警分拣 | 正常与异常的模式识别 |

| 外科 | 通过机器人辅助的常规程序;AI辅助诊断 | 对组织的触觉理解;3D解剖知识;临床推理 |

| 法律 | 文档审查、初步法律研究、合同分析 | 事实模式库;遗漏阅读;风险直觉 |

| 工程 | 常规计算、代码生成、仿真设置 | 理解代码和约束存在的原因;结构和系统直觉 |

| 金融分析 | 数据收集、模型填充、初步分析、收益总结 | 数据质量判断;假设形成;压力下的怀疑态度 |

| 教学 | 课程规划、评估创建、评分、差异化 | 教学内容知识;理解学生实际如何思考 |

在每种情况下,被自动化的任务都是新手需要反复做错、获得反馈的任务,以便培养使他们能够安全独立执业的判断力。在每种情况下,自动化的合理性都基于真实而即时的生产力提升。在每种情况下,专业知识发展成本都被推迟、未被衡量且不断累积。

网络安全:从未学会"正常"样子的分析师

2019年的一名初级安全运营中心分析师在第一年执行行业所称的Level 1分拣:从SIEM系统读取原始告警,手动调查每一个,判断是否为误报或真正的威胁指标,并在适当时升级。这很繁琐。很重复。但这也是判断力流水线的第1和第2阶段持续运行——数千小时暴露在正常网络行为与错误痕迹之间的差异中。

到2024年,多个主要SIEM平台——包括Microsoft Sentinel、Splunk和Google Chronicle——都集成了AI驱动的自动分拣功能,无需人工参与即可解决60-90%的Level 1告警。2024年3月SANS Institute的一项调查发现,58%的SOC团队正在使用某种形式的AI辅助告警分拣。平均检测时间有所改善。误报率大幅下降。按照目前衡量的每项指标,AI分拣都是无条件成功的。

但在2023年和2024年被招聘到这些SOC的初级分析师并没有执行Level 1分拣。他们在审查AI处理的摘要。他们没有与模糊数据打交道。他们没有培养资深从业者所描述的"恶意直觉"。他们从以前的Level 2开始——调查AI已经分类为可能重要的预过滤告警——却没有使Level 2表现有意义的基础。

一家财富500强金融服务公司的SOC总监这样描述:"我2024年雇用的员工比我2019年雇用的同期员工更快。他们关闭票据更快。他们的仪表板看起来很棒。但当我让他们在桌面演练中处理新威胁场景时——AI没有见过的东西——他们会僵住。他们不知道要寻找什么,因为他们从未学过正常的样子。他们学的是AI认为异常的样子,这是完全不同的东西。"

这就是我们称之为预分拣分析师效应的现象:初级员工变得精通处理系统已经很好框定的案例,但失去了注意到框架本身错误的能力。Verizon的年度数据泄露调查报告反复显示,重大泄露经常被错过不是因为缺乏工具,而是因为微妙信号被忽视、关联性没有被发现、异常行为被正常化。防御最困难的部分不是收集数据,而是识别重要性。当熬过WannaCry、SolarWinds和Log4Shell的资深一代在未来十年退休时,我们将直面专业知识债务——在已知条件下表现出色但在新情况下崩溃的SOC。

外科:从未拥有鉴别诊断的医生

外科住院医师的早期岁月历来包括在开放手术中长时间持拉钩、执行数百次常规阑尾切除术和胆囊切除术,以及培养对活体解剖的三维理解——这是任何教科书或模拟都无法完全复制的。他们观察组织在张力下的行为。他们看到出血如何实时呈现。他们用自己的手感受到健康和患病组织的差异。这是第1阶段沉浸——在最大注意力和后果条件下的无辅助感知学习。

机器人手术系统,特别是Intuitive Surgical da Vinci平台,已经改变了多个专科。到2023年,该系统在全球约160万次手术中使用。患者预后在多个手术类别中有所改善。失血减少。住院时间缩短。这项技术确实非凡。

但培训路径已经改变。George、Strauss等人在《JAMA Surgery》上的2022年研究发现,主要在机器人系统上接受培训的住院医师在标准程序的技术熟练度获取上更快,但在并发症出现需要转换为开放手术时表现出能力下降。《英国外科杂志》2023年的一篇社论明确警告,当前一代的外科培训生在管理需要转换为开放技术的术中危机方面准备不足。"我们正在培训优秀的控制台操作员,"作者写道,"我们应该问的是当控制台无法解决问题时会发生什么。"

同时,AI诊断工具正在重塑认知流水线。当AI在培训生形成自己印象之前提供可能诊断时,它创造了我们称之为借用鉴别现象的情况:学习者变得善于评估AI建议的诊断,而没有完全培养独立构建它们的生成能力。在直接的案例中,评估建议可能就足够了。在罕见或非典型表现中——诊断错误致命的案例——这是不够的。美国国家科学院2015年报告《改善医疗诊断》得出结论,大多数人在一生中将至少经历一次诊断错误。更好的工具可以帮助。但如果这些工具减少了临床推理的形成,它们可能在改善平均情况效率的同时削弱在边缘情况最重要的韧性。

感受这种重量:一名年轻外科医生,在算法和机器人控制台方面很出色,在本应是常规程序中面临意外动脉出血。机器人的引导系统对这种解剖变异没有协议。本来会知道该怎么做的主治医师去年退休了。患者家属永远不会知道真正的失败发生在几年前,当时培训流水线以效率为名被掏空了。

法律:从未学会阅读遗漏内容的助理

传统的初级诉讼助理路径涉及文档审查——阅读数千页的发现文件以识别相关文档、特权通信和潜在证据。这被广泛认为是年轻律师工作中最糟糕的部分。这也是初级律师学会像律师一样阅读的过程:注意与证词矛盾的句子,识别建立对方想要掩盖的时间线的电子邮件,培养最终成为资深合伙人能力的模式识别——走进房间,阅读合同,在二十分钟内说出"问题在第4.3(b)条"。

AI驱动的文档审查工具——Relativity的aiR、Harvey、CoCounsel等——根据2023年Thomson Reuters Institute的研究,已将初步审查时间减少60-80%。助理们更早地转向起草、客户互动和策略。这听起来像进步。

但2024年Georgetown Law Center的报告担忧地指出,初级助理在到达"可信顾问"阶段时接触原始事实材料的机会显著减少。"阅读遗漏内容的技能,"一位资深合伙人告诉Georgetown的研究人员,"无法通过审查AI生成的现有内容摘要来教授。"美国律师基金会的纵向数据表明,成为最有效资深诉讼律师的助理绝大多数是那些在职业早期在文档审查上花费最多时间的人——不是因为文档审查本身有价值,而是因为这是他们建立事实模式库的地方,这些库为之后的一切提供信息。

这是初稿替代效应的作用:移除律师建立问题发现能力、论证结构和风险直觉的确切认知劳动。2023年,联邦法院的律师提交了一份引用由ChatGPT编造的不存在案例的摘要——这是一个公开、令人尴尬的演示,表明精美的AI输出可以掩盖编造的实质内容。但更大的风险比虚假引用更微妙。这是一代律师停止培养对论证脆弱之处、引用链可疑之处或合同条款创造多年后才会浮现的下游责任的直觉。

工程:从未从失败中学习的建造者

工程判断不仅仅是计算技能。它是对系统在现实世界条件下如何行为的内化理解,特别是模型没有预测的条件。这种理解是通过接触任何教科书或AI系统都无法完全捕捉的约束、失败和权衡而建立的。

初级结构工程师的前几年传统上包括手工或用基本软件执行计算,根据设计规范检查工作,并由资深工程师审查计算,资深工程师不仅解释错误,还解释规范要求背后的推理。AI辅助设计工具——包括Autodesk的生成设计、AI驱动的代码完成和自动仿真平台——现在可以在最少人工输入的情况下生成满足规范要求的设计。2023年McKinsey报告估计,生成式AI可以自动化初级工程师目前执行的40-60%的常规计算和规范检查。

在软件工程中,采用程度更高。GitHub报告显示,使用Copilot的开发者接受AI生成代码建议的比例高达46%。曾经花费48小时追查单个内存泄漏或调试并发问题——从而学习系统结构逻辑——的初级工程师现在在几秒钟内就能收到可用解决方案。

结果是我们称之为能力模拟陷阱的现象:工程师看起来高效率,因为围绕他们的系统高度生成,但当生产以新方式失败时——材料在疲劳载荷下表现异常,分布式系统遇到模型没有预期的网络分区,只在现场条件下表现的振动模式——他们缺乏从第一原理推理所需的内部模型。

结构工程师学会在当前AI浪潮之前的2019年专业发展报告警告说,任何减少实际计算经验都会"损害工程判断的发展,而这种判断无法仅通过计算工具复制"。生成式AI已经将这种担忧加速了一个数量级。

工程历史提供了严厉的警示。Tacoma Narrows大桥倒塌事件、Therac-25辐射过量事故、挑战者号灾难、波音737 MAX危机——每起事故都有不同的直接原因,但都突显了同一个真理:当技术工作失去与基于现实的人类判断力、知情的异议声音以及对后果的切身理解的联系时,系统会发生灾难性故障。AI不会直接导致下一次此类失败。但如果它削弱了那些本应防止这些失败的人才培养,它就成为了因果链条的一部分。

金融分析:能够建模一切但无法建模现实的分析师

一名初级金融分析师的最初几年涉及从零开始构建模型:用原始数据填充电子表格,识别不一致性,做出假设,测试敏感性,并向质疑每一个假设的高级分析师展示结论。质疑就是教育。当一位董事总经理问"为什么你使用12%的贴现率而不是10%?"而初级分析师无法为这个选择辩护时,那一刻的情感不适会编码一个关于严谨性的教训,这是任何工具都无法复制的。

Bloomberg Terminal的AI功能、JPMorgan的内部工具、Morgan Stanley基于GPT-4的系统,以及数十个金融科技平台现在自动化了金融建模、数据收集和初步分析的重要部分。2024年Accenture的调查发现,75%的金融服务公司正在分析师工作流程中部署或试点生成式AI。Ernst & Young估计,AI可以在三年内自动化初级金融分析师执行的多达50%的任务。

这创造了无摩擦模型错觉:分析变得更快、更精美,而分析师对使模型脆弱的假设却变得不那么熟悉。2025年开始职业生涯的初级分析师将从零开始构建更少的模型,在原始数据中花费更少的时间,并且不太可能通过自己的错误发现数据源不可靠,或者历史趋势包含使简单外推法失效的结构性断裂。

我们有一个毁灭性的历史先例。2008年金融危机在很大程度上是一场专业知识债务危机——一代风险管理者在假设房价不可能全国性下降的模型上接受培训,他们缺乏识别模型错误的判断力,因为他们从未被迫在模型假设之外进行推理。模型运行良好,直到它们不再运行,而当它们不再运行时,房间里没有足够多能够从第一原理思考的人。健康的金融文化培养出对优雅持怀疑态度的分析师。不健康的文化培养出能够在事后解释任何结果的人。

教学:从未学会观察课堂氛围的教育者

教育可能是最具后果性的案例,因为这里面临风险的管道本身就是社会培养下一代所有其他人才的管道。

教师通过反复的计划、教学实施、观察效果成败、接受导师和课堂本身的反馈以及修订的循环来发展专业知识。在3-5年内,有效的教师发展出Stanford的Lee Shulman在1986年确定的教学内容知识——不仅仅是对学科的理解,还有对学生如何误解它、他们会在哪里卡住、什么表示方法能解锁理解的直觉把握。这一概念已在随后的数百项研究中得到验证。

AI辅导系统和教师支持工具——Khan Academy的Khanmigo、Carnegie Learning的平台以及许多其他工具——现在可以生成课程计划、创建评估、区分教学和提供写作反馈。许多这些工具为负担过重的教师提供了真正的缓解。

但接受AI生成的课程计划、评估和干预建议的第一年教师永远不会经历从零开始计划、观察失败并找出原因的完整循环。这产生了教学外包效应:教师交付越来越精美的教学制品,同时发展较少的适应性判断力来回应实时课堂。第三排的学生并不是对分数感到困惑——他们对等号的含义感到困惑,直到教师通过自己的艰难经历学会看到这种区别,否则任何AI生成的课程计划都无法解决这个问题。

课堂是情感、注意力、文化、误解、无聊、恐惧、幽默和社会传染的场域。优秀的教师不仅仅是呈现内容。他们观察课堂氛围。他们知道课程何时失效,学生的沉默何时意味着困惑而非羞耻,班级何时准备继续。这种能力是通过AI现在承诺要处理的工作的数千次迭代建立起来的。

因为教学塑造所有其他职业,这里的崩溃会加剧其他一切。


第三部分:专业知识债务积累模型

如果管道正在破裂,为什么系统还没有失败?因为我们已经进入了一个由我们称为专业知识债务积累模型管理的潜伏期——这是一个结构性动态,解释了组织和整个职业如何能够看似正常运行,甚至报告创纪录的生产力,在管道断裂后的数年里。债务是不可见的。它静默地复合。而且它会一次性到期。

第一阶段:不可见积累(第1-5年)

AI工具被部署。生产力指标改善。初级从业者似乎发展得更快。高级从业者仍然存在并提供后备判断——捕获虚假的案例引用,发现AI遗漏的异常,知道模型的假设何时不成立。组织看起来比以往任何时候都更健康。没有人衡量初级人员没有学到什么,因为判断力形成没有衡量标准。绩效评估捕获产出。它们不捕获背后理解的深度。

第二阶段:能力海市蜃楼(第5-10年)

第一批AI培训的队伍达到职业中期。他们拥有意味着专业知识的头衔。他们有凭证。他们基于AI帮助他们实现的产出指标被提升。但他们的判断有他们可能未意识到的空白——他们的元认知校准从未完全发展,因为他们从未经历足够的无辅助错误和反馈循环来学习自己能力的边界。高级一代开始退休。每次退休不仅移除了一个人,还移除了维持任何仍存在管道的反馈网络中的一个节点。组织没有注意到,因为中级从业者在正常条件下产生可接受的结果。

第三阶段:悬崖(第10-15年)

异常条件到来。新的危机。AI系统和与它们一起训练的从业者的训练分布之外的情况。有非典型表现的新流行病。针对任何模型都未见过的漏洞的零日攻击。以任何历史数据都未预测的方式表现的金融工具。任何仿真参数之外的结构性失败模式。需求与任何模板都不匹配的教室学生。

组织转向其高级人员,发现他们已经离开。本应取代他们的中级专业人士有头衔但没有判断力。AI系统向人类升级。人类没有任何可依靠的。

组织失败。不是逐渐地。是突然地。

历史先例

这种动态并不新鲜——AI只是使它变得普遍和同步。

NASA工程师队伍在Apollo之后经历了一个版本。设计Saturn V并从直接经验了解失效模式的工程师在1980年代和1990年代退休。关于系统限制的制度知识侵蚀了。Columbia事故调查委员会报告(2003年)明确确定了工程专业知识和制度知识的丧失是造成七名宇航员死亡灾难的一个促成因素。Diane Vaughan对挑战者号的社会学分析,挑战者号发射决定(1996年),记录了偏差的正常化是如何部分地被承载系统限制体现知识的工程师的离开所促成的。

核能行业在"知识管理危机"的名义下研究过这个问题。国际原子能机构2021年的报告警告说,建造和调试当前全球反应堆舰队的一代人的退休——加上知识转移不足——构成了对全球核安全的系统性风险。报告特别注意到隐性知识最难转移,丢失后果最严重。

2008年金融危机证明了风险管理职业中的专业知识债务。模型和指标显示一切都很好——直到它们显示一切都是灾难性的那一刻,而能够在模型之外推理的从业者太少。

AI没有导致第一次专业知识债务危机。它正在导致第一次普遍和同步的危机,因为它同时冲击每个领域,同时自动化所有领域的相同发展阶段。


第四部分:空心高级问题

第三个框架命名了危机点本身。

空心高级问题描述了当组织审视其高级队伍并发现两种高级人员时的特定时刻:完整高级人员,他们在AI之前经历了判断力管道,以及空心高级人员,他们在AI时代凭借专家的凭证、任期和产出历史达到高级职位——但没有完成产生真正判断力的发展阶段。

空心高级人员不是无能的。他们可能是高度智能、勤奋、有凭证和表面上高绩效的。他们在正常条件下可能比完整高级人员更有生产力。区别只有在压力下才变得可见——当情况新颖时,当AI工具失败或产生误导性输出时,当有人需要从第一原理推理关于没有人见过的事情时。

空心高级问题是独特危险的,因为空心高级人员不知道他们是空心的。这是元认知校准研究的直接后果:如果AI阻止了你经历本来会教会你判断力薄弱之处的失败,你就没有自己空白的内部信号。你感觉像专家。你表现得像专家。你的绩效评估证实了这一点。

问题以特定的、可识别的方式显现:

  • 他们可以批准建议但难以从第一原理生成建议。
  • 他们可以批评产出但无法可靠地检测微妙的、高风险的错误。
  • 他们可以遵循先例但当先例失败时会冻结。
  • 他们可以流利地使用工具但无法教授潜在的判断。
  • 他们可以管理工作流程但无法指导形成。

我们必须在这里小心,因为这个框架很容易被武器化为代际侮辱或把关机制。它不是两者中的任何一个。空心高级问题不是对年轻专业人士的智力、品格或职业道德的评论。它是对我们所处环境的结构性批评。一个专门在机器人系统上训练的杰出年轻外科医生并不比在开放案例上训练的年长外科医生才华少。他们对特定类别的危机准备不足,因为他们从未有机会发展这种准备。失败属于系统,而不是个人。

但后果由躺在手术台上的病人承担。由法庭上的委托人承担。由大坝下游的城市承担。由教室里的学生承担。由在凌晨3点信任网络安全的值班分析师的公司承担。


第五部分:研究结果

这些机制的实证证据是稳固且不断增长的,涵盖认知科学、人因工程研究以及新兴的AI专项研究。

Generation Effect(生成效应)

始于Slamecka和Graf(1978年)的数十年研究表明,人们自己生成的信息——即使需要努力且会出错——比被动接收的信息记忆效果要好得多。为从业者提供答案、草稿、诊断或分析供其审查的AI工具在结构上与Generation Effect不兼容。审查不是生成。认知需求在本质上是不同的,学习成果也相应不同。

自动化自满和偏见

Parasuraman和Manzey在《Human Factors》(2010年)发表的奠基性论文证实,使用自动化决策辅助的人类始终会产生自满情绪——即使明确警告这些辅助工具的缺陷,他们的警惕性和独立验证也会减少。Goddard、Regan等人在2023年使用AI驱动的诊断工具进行的重复研究发现,AI的这种效应比早期自动化更强,这可能是因为AI输出语言流畅且以一种触发信任启发式的自信方式呈现。我们在生物学上倾向于相信流畅的语言。AI在无意中利用了这一点。

Desirable Difficulty Principle(理想困难原则)

Elizabeth Bjork和Robert Bjork花费三十年时间收集证据表明,在短期内使学习更困难的条件——间隔、交错、减少反馈、强制检索——会在长期内使知识更持久、更易迁移。AI辅助则相反。它通过减少挣扎、提供即时答案和消除从记忆中检索的需要,使短期学习变得更容易。每一个使AI成为优秀生产力工具的机制都使其成为糟糕的学习环境。

认知卸载

Dahmani和Bherer在《Scientific Reports》2020年的研究发现,严重依赖GPS导航的成年人在海马灰质——负责空间记忆的大脑区域——出现可测量的减少。Luo、Peng等人在2024年《Nature Human Behaviour》关于向AI助手认知卸载的研究发现,仅在三个月期间就对问题解决能力产生了类似影响。当外部系统承载认知负荷时,产生独立判断的内部系统不会发展——或会主动萎缩。

Einstellung Effect(心向效应)

Bilalić、McLeod和Gobet(2008年)对专家问题解决的研究表明,专家有时无法找到最优解决方案,因为模式识别触发了熟悉但次优的反应。矫正方法——遇到熟悉模式失效的情况——恰恰是AI辅助所阻止的错误体验。如果AI总是提供最优解决方案,从业者永远不会发现他们的直觉方法是错误的,也永远不会更新他们的模式库。

关于AI和技能的新兴证据

一些最近的实验证据表明,严重依赖AI编码和写作工具可以增加产出,但会降低用户回忆、解释或独立再现解决方案的能力。文献仍在发展中,但机制已经从其他领域得到充分确立:当工具承载更多认知负荷时,操作者学到的就越少。我们不需要20年的纵向研究来认识到,在自动化研究中记录了几十年的相同动态现在正在认知领域运作。这种认识足以采取行动。


第六部分:为什么没有人追踪这一点

没有组织测量专业知识债务的原因是结构性的:组织用来评估AI影响的指标都是短期生产力指标,而判断力管道需要5-15年的时间尺度。

组织跟踪关闭的工单、生成的报告、交付的代码、患者吞吐量、合同周转时间、节省的计费时间。它们很少跟踪初级员工在看到AI输出之前独立形成判断的频率、受训者端到端处理的原始案例数量、人们是否能解释推荐为什么正确、受训者遇到并从有界错误中恢复的频率,或者当AI错误、缺席或模糊时团队是否能正常运作。

这产生了指标盲点问题:组织优化易于计数的内容,却无法保护难以计数但文明依赖的内容。

没有专业知识的GAAP。没有判断力的资产负债表条目。没有审计说"这个组织的专业知识储备今年下降了15%,尽管人员配置稳定,产出增加。"当咨询公司部署AI,初级助理的报告生产速度提高40%时,这被测量了。当这些助理八年后晋升为合伙人时却没有前任的判断力时,这被归因为个人缺陷,而不是系统性管道失败。

这种债务之所以不可见,不是任何人的刻意设计,而是为追踪效率而非能力而构建的测量系统的设计。


第七部分:风险规模

数字使抽象变得具体。

  • 美国约有95万名执业医师(AAMC,2023年)。如果在住院医师期间本应发生的判断力发展的20%因AI介导的捷径而丢失,十年内的复合效应相当于从劳动力中移除数万名训练有素的医师——不是从人数上,而是从判断力数量上。
  • 全球网络安全劳动力缺口为340万个空缺职位(ISC²,2023年)。该行业的解决方案是使用AI使现有分析师更有生产力。如果这同时降低了新分析师的发展,缺口就会恶化,因为2030年的"高效"分析师在最重要的任务上将无法与2020年有经验的分析师互换。
  • 美国约有130万名执业律师(ABA,2023年)。最积极采用AI文档审查的是最大的律师事务所——那些培训最多助理的事务所,这些助理随后分散到整个行业。如果前200家律师事务所同时降低其培训管道,影响将在十年内传播到整个法律行业。
  • 美国土木工程师学会2021年基础设施报告卡确定了10年内2.59万亿美元的投资缺口。填补这一缺口需要具有安全设计、建造和维护基础设施判断力的工程师。如果产生这些工程师的管道被降级,仅靠资金无法填补缺口。
  • 美国约有370万名公立学校教师。如果AI介导的捷径在早期职业发展中减少了教学专业知识的形成,影响将层层递进:较弱的教学产生较弱的学习,这会降低其他每个领域未来专业人员的准备程度。

这些数字相互作用。教学中的专业知识管道影响所有其他管道。财务分析管道影响基础设施的资本配置。工程管道影响所建造的一切的安全性。网络安全管道影响其他一切依赖的每个数字系统。这不是一系列独立的问题。这是一个具有特定领域表现的单一系统性漏洞。


第八部分:必须做什么

我们要明确我们不是在论证什么。我们不是在论证应该拒绝AI或专业培训应该忽视它。AI工具是强大的,通常真正有益的,在许多情况下是不可或缺的。论点是AI采用必须围绕人类成长而不仅仅是人类生产力来治理。

这意味着将专业知识生产视为关键基础设施——与电网、供水系统或金融监管一样重要——并通过深思熟虑的结构性干预来保护它。

1. 独立首次处理规则

在富含培训的角色中,新手必须在看到AI输出之前形成初步诊断、草稿、分诊决定、课程计划、代码设计或分析。生成先于辅助保护学习机制。这不是怀旧的偏好。这是认知科学的要求。

2. 原始案例要求

受训者必须与原始材料保持定期接触——原始日志、原始患者表现、原始文档、原始数据、原始学生作业、原始市场文件——而不仅仅是AI策划的摘要。专家是从与现实接触中培养出来的,不是从与现实的压缩表示接触中培养出来的。

3. 安全失败架构

组织必须创建环境,让新手在监督下犯有界的、有后果的错误。这不是鲁莽的呼吁。这是对错误的情绪编码对专业知识形成在神经学上至关重要的认识。模拟可以补充但不能替代真正承担判断责任的任务。

4. 过程可见性标准

评估人们是否能解释他们的推理、识别他们的不确定性、阐述替代方案并检测AI输出何时可能错误。由依赖产生的正确答案与由理解产生的正确答案不同。评估推理,而不仅仅是结果。

5. 学徒能力指数

每个在核心专业工作流程中部署AI的组织都应该跟踪:历史上哪些初级任务构建了专业知识?现在哪些被自动化了?提供了什么替代发展经验?我们如何知道我们的板凳是否真正在深化?如果这些问题没有答案,组织正在积累专业知识债务。

6. 判断保留原则

一些工作必须保持有意的人类主导——不是因为AI不能做,而是因为人类必须学会做。这在短期内会感到低效。这是以后拥有专家的代价。拒绝支付这个代价的组织最终会发现他们承担不起替代方案。


结论:正在失去的重量

每个专业都有一个时刻,房间安静下来,每个人都看着一个人。病人病危。系统被攻破。学生情绪崩溃。市场自由落体。结构发出呻吟。客户询问是否签署。

在那一刻,重要的不是这个人是否能使用工具。而是他们是否已经被塑造。

他们是否见过足够多来识别模式?他们是否错过足够多来变得谨慎?他们是否恢复过足够多来保持冷静?他们是否承担过足够多的责任来知道什么真正重要?他们是否学会了在没有明显答案、没有系统帮助时思考?

那种内在结构——我们称之为判断力的东西——是任何文明产生的最珍贵、最脆弱的东西之一。它成长缓慢。它属于个体。它通常不可见,直到被测试的那一刻。而这正是我们现在消耗得比补充更快的东西。

我们正在犯一个深刻的范畴错误。我们将专业知识的输出视为专业知识本身。它们不是。

一份精美的备忘录不是法律判断。一个看似合理的差异不是临床判断。一个运行中的脚本不是工程判断。一个分类处理的警报不是安全判断。一份教学计划不是教学判断。一个简洁的仪表板不是管理判断。

这些输出很重要。但它们是一个无形发展过程的可见残留。如果AI给了我们这些残留,同时消耗了这个过程,我们将不会意识到自己失去了什么,直到那些仍然记得如何思考的人都消失了。

这就是静默灾难。

不是一台攻击我们的机器。不是一次有着明确反派的戏剧性失败。而是更糟糕的东西:一代从未充分学会的人。一个忘记了专业技能如何形成的机构。一个保持着能力表现却失去其实质的文明。

当这变得明显时,重建将需要数年时间。流水线无法在一夜之间重启,因为流水线依赖于经历过它的导师——如果我们等待太久,那些导师也会消失。

这是一个AI安全问题。不是那种涉及对齐研究或终止开关的类型,而是决定人类文明是否保持监督、纠正以及在必要时推翻其构建系统能力的类型。如果我们失去了培养能够在压力下独立思考的人的能力,那么再强的AI能力也救不了我们——因为不会再有人能够判断AI何时出错。

问题不再只是AI能为我们做什么。

而是在我们让它做得太多之后,还会剩下什么样的人类。

Canonical Citation

Please cite the original English version for academic references:

https://aethercouncil.com/research/the-quiet-catastrophe-how-ai-is-destroying-the-pipeline-that-builds-human-expertise
Share: