無擷 · 研究札记
能力的形状
为什么 AI 让一些人更快,也让另一些人更慢
关键词人机协作 · 能力差异 · 认知卸载 · 研究札记
我先后看到几组很难放在一起的数字:有人用了 AI,工作快了四成;有人得到的帮助越多,写出的故事反而越相似;还有一群很熟悉自己项目的程序员,用了 AI 以后慢了 19%。每项研究单独看都说得通,摆在一起却不像同一个故事。我慢慢觉得,也许“谁更强”这个问题问得太粗了。
一、四组不太合拍的结果
先看写作。Noy 与 Zhang 请 453 名受过大学教育的职业人士完成几项文字任务。能用 ChatGPT 的人平均少花约 40% 的时间,成品质量提高约 18%。原本表现靠后的人追上来得更多:没有使用 ChatGPT 时,两次任务成绩的相关系数是 0.49;使用后降到 0.25 [1]。
波士顿咨询公司的实验也有些相似。758 名顾问用 GPT-4 处理专业任务。只看模型擅长的那部分工作,原来低于平均水平的顾问提高了 43%,高于平均水平的顾问提高了 17%。可研究者还安排了一道模型并不擅长的题。到了这里,使用 AI 的顾问答对的概率反而低了 19 个百分点 [2]。AI 能帮多少,显然和任务本身有关。
短篇小说实验里,AI 提供的点子给原本创造力较低的写作者带来了更明显的提升,对本来就很会写的人帮助不大。与此同时,成品之间变得更像了。在一个 AI 点子和五个 AI 点子的条件下,故事相似度分别增加了对照组相似度范围的 10.7% 和 8.9% [3]。个人分数可以上升,整组作品的差异却可能缩小。
再看程序开发。METR 在 2025 年初找来 16 名资深开源开发者,让他们在自己长期维护的代码库里完成 246 个真实任务。研究者原以为,这种人最知道怎样使用工具。结果允许使用 AI 后,他们平均慢了 19%。更有意思的是,他们事前估计 AI 会让自己快 24%;实验结束以后,仍觉得自己快了 20% [4]。实际用时和主观感受几乎朝着相反方向走。
我不觉得这些研究中一定有谁“做错了”。参与者不同,任务不同,所用的模型也不同。它们真正留下的问题是:一个人碰上某种任务、再配上一件具体工具时,什么决定了这次合作顺不顺?
二、也许问题不只是谁更强
许多实验会先做一次基线测试,再把人分成高分组和低分组。这种做法很直观,却也容易把能力想成一条从低到高的直线。
现实里,同样拿到 80 分的两个人,可能很不一样。一个人点子来得快,桌面上却总堆着许多半成品;另一个人很会整理和推进,但一开始常常想不到更多方向。总分接近,并不代表他们会从同一件工具那里得到同样的帮助。
现在的生成式 AI 很会做一些具体的事:整理零散材料、改写句子、统一格式、列出初稿,再把一份半成品推到“勉强可用”。如果一个人最费力的恰好是这些环节,AI 可能像补上了一块缺口。要是这些本来就是他的强项,他反而需要花时间写提示、核对事实、改掉套话。最后省下多少时间,就很难只凭原来的总分来判断。
所以我在这里说“能力的形状”,想表达的其实很简单:除了看一个人的总体水平,也看看他的长处和卡点分别在哪里。这个说法还很粗,也未必能把能力干净地分成几块。它至少提醒我,同一个分数背后可能藏着不同的人。
三、ADHD 研究给我的一点提醒
我是在读 ADHD 与创造力研究时想到这件事的。不过,这里最多只能借来一个提醒,不能拿它直接解释人机协作。
White 与 Shah 的实验发现,ADHD 成人在“尽量想出物品的新用途”这类任务上表现较好,在“从几个词中找到共同答案”这类任务上却表现较弱。前一种任务鼓励把想法散开,后一种任务需要把许多可能收回来。研究者认为,抑制控制可能参与了这种差异 [5]。
后来一项元分析汇总了 89 项有关 ADHD、焦虑、抑郁与日常创造力的研究,包括 35,271 名参与者和 261 个效应量。合并后的相关系数只有 r = −.06,置信区间还跨过零;不同研究之间的差别很大,换一种心理特征或创造力测法,结果也会变化 [6]。
这个 −.06 不能简单读成“ADHD 和创造力没有关系”。它把三类心理特征和很多种创造力测量放进了同一个平均数里。平均之后看起来接近于零,里面仍可能同时存在方向不同的关系。
这给了我一个很朴素的提醒:当我们把很多不同的能力压成一个总分时,最值得看的那部分差异可能正好被抹平了。
四、先把猜想说得简单一点
我最初想把“想点子的能力”和“执行、整理的能力”做一个差值。后来越想越觉得不稳。两个测量本来就会有误差,相减以后误差还会叠在一起;而且人的能力远不止这两项。
现在我更愿意先留下一句容易理解的猜想:工具最有用的时候,也许正是它擅长的环节碰上了一个人最容易卡住的环节。
反过来也一样。工具若没有补到短板,只是在强项旁边又加了一层操作,它就可能让人变慢。熟悉任务的人还可能更严格地检查 AI 的输出,于是花在确认、修补和重新理解上的时间,比直接动手还多。
这句话可以解释前面一部分结果,但目前只是事后解释。Noy 与 Zhang、波士顿咨询公司和 METR 的实验都没有细测参与者究竟擅长什么、又容易卡在哪里。资深开发者也不一定拥有某种特别“均衡”的能力。任务熟悉度、使用 AI 的熟练程度、对质量的要求,都可能解释他们为什么变慢。
如果将来要认真检验,可以同时测三件事:这个人在哪些环节顺手,任务最需要哪些能力,工具在这些环节到底做得怎样。然后再看,三者越合拍时,实际收益是否真的越大。
五、顺着这个猜想想到的六件事
1. 关于 AI 的结论很容易过期
METR 很谨慎地把 19% 的减速称为“2025 年初、一个具体场景里的快照”。2026 年的后续数据已经露出不同方向,但参与者选择和计时方式也变了,研究者没有急着给出一个新的确定数字 [7]。
这并不会让早期结果失效。它只是提醒我们,实验测到的总是某一代模型、某种界面、某群人和某类任务的组合。模型更新了,工作流变了,最受益的人也可能跟着变。谈论“AI 是否提高效率”时,最好顺手加上时间和场景。
2. 有时候,顺滑并不是最缺的东西
如果一个人已经很会整理和执行,只是很难跳出原来的思路,那么自动排版和快速总结可能帮不了太多。他也许更需要工具不断提出反例,给出不太舒服的解释,或者追问一句“还有没有别的可能”。
很多产品都在尽量减少摩擦。可思考有时恰恰需要一点合适的阻力。让人更快得到答案,和让人更认真地想过,并不总是一回事。
3. 今天补上的短板,明天会怎样
人一直会把一部分脑力工作交给外部工具。认知卸载研究讨论过,我们怎样把记忆、计算和搜索交给纸笔、设备与网络 [8]。一项关于“Google 效应”的元分析纳入 22 篇文章、30,889 名参与者,在部分结果中发现了中等程度的影响,但不同地区和测量方法给出的结果并不一致,有些置信区间也跨过零 [9]。
这些研究还不能证明,长期使用生成式 AI 会让人的某种能力退化。不过,它们让一个问题变得值得追踪:工具今天替我们整理材料,久而久之,我们会因为反复看到好示范而学得更好,还是会越来越少练习这件事?短期表现和长期变化可能朝着不同方向走。
4. 感觉轻松,未必真的做得更好
METR 的开发者实际变慢,却一直觉得自己变快。Lee 等人调查 319 名知识工作者时也发现,人们有时会把“完成工作更省力”理解成“批判性思考也更省力” [10]。
流畅的界面很容易给人一种已经掌握局面的感觉。可要判断工具是否有用,主观感受和成品质量最好分开测。除了问“好不好用”,还应当看实际用时、错误数量、过一段时间还能记住多少,以及没有工具时能不能独立完成。
5. 每个人都进步,作品也可能越来越像
Doshi 与 Hauser 的故事实验里,部分写作者得分提高了,故事之间的相似度也上升了。这两件事并不矛盾。大家都从同一类工具那里拿到帮助,个人作品可能更完整,整个群体却少了一些偏离常规的方向。
因此,评估 AI 辅助创作时,除了看每个人的平均得分,也可以看看一组作品之间还剩多少差异。个人收益和集体多样性,值得分开计算。
6. 我们究竟把哪一步交给了 AI
《斐德罗篇》里,苏格拉底借塔穆斯之口担心文字会让人依赖外部记号,留下智慧的表象,却削弱自己的记忆 [11]。后来算盘、计算器和搜索引擎也都遇到过相似的担忧。
AI 并没有第一次把判断带到人的头脑之外。书写、表格、制度和搜索排序早就在影响我们怎样想问题。它比较特别的地方,也许是一下接手了更多连续步骤:找材料、做归纳、排优先级、提出方案,再写成一段看起来完整的话。
与其笼统问“人会不会被 AI 取代”,我更想逐步看清:这次我把哪一步交了出去?我有没有检查它?最后的判断和责任还在不在我这里?
六、这个想法最容易错在哪里
第一,“想点子”“整理”“判断”这些词听起来清楚,真正测量时却可能混在一起。一个人迟迟没有开始,可能因为工作记忆、注意力、完美主义,也可能只是没弄懂任务。换几个更好听的分类,并不会自动解决问题。
第二,同一个人在不同任务里的表现也会变化。会写故事的人不一定会写代码;熟悉领域时很会判断,换到陌生领域可能就更依赖 AI。所谓“形状”也许属于“这个人在这类任务里的状态”,未必是一个固定不变的人格标签。
第三,越接近真实工作,实验越难做得干净。四十分钟的小任务容易比较,却代表不了一个人怎样花几周推进项目;长期项目更真实,却很难保证每个人面对同样的难度。以后如果真做研究,这会是最棘手的部分。
所以我暂时把“能力的形状”当作观察问题的一副眼镜。它能不能成为一个站得住的解释,还要看它是否能提出清楚的预测,并经得住不支持它的数据。
七、先留在札记里
这篇只围绕一个疑问挑了几组文献,算不上系统综述。“能力的形状”也还没有一套可靠的测量方法。
不过,把这些研究并排以后,至少有一件事比原来清楚了:AI 带来的差异,可能不只来自谁强谁弱,也来自一个人的卡点是否刚好碰上了工具的长处。
下一步不该继续替这个猜想找例子,而应该设计一个它也可能失败的实验。到那时,才知道“形状”究竟帮助我们看见了什么,还是只换了一种更好听的说法。
参考文献
1. Noy, S., & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. Science, 381(6654), 187–192. https://doi.org/10.1126/science.adh2586
2. Dell’Acqua, F., McFowland, E., Mollick, E. R., et al. (2026). Navigating the jagged technological frontier: Field experimental evidence of the effects of AI on knowledge worker productivity and quality. Organization Science. https://doi.org/10.1287/orsc.2025.21838
3. Doshi, A. R., & Hauser, O. P. (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content. Science Advances, 10(28), eadn5290. https://doi.org/10.1126/sciadv.adn5290
4. Becker, J., Rush, N., Barnes, B., & Rein, D. (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR. https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
5. White, H. A., & Shah, P. (2006). Uninhibited imaginations: Creativity in adults with Attention-Deficit/Hyperactivity Disorder. Personality and Individual Differences, 40(6), 1121–1131. https://doi.org/10.1016/j.paid.2005.11.007
6. Paek, S. H., Abdulla, A. M., & Cramond, B. (2016). A meta-analysis of the relationship between three common psychopathologies—ADHD, anxiety, and depression—and indicators of little-c creativity. Gifted Child Quarterly, 60(2), 117–133. https://doi.org/10.1177/0016986216630600
7. METR. (2026). We Are Changing Our Developer Productivity Experiment Design. https://metr.org/blog/2026-02-24-uplift-update/
8. Risko, E. F., & Gilbert, S. J. (2016). Cognitive offloading. Trends in Cognitive Sciences, 20(9), 676–688. https://doi.org/10.1016/j.tics.2016.07.002
9. Gong, C., & Yang, Y. (2024). Google effects on memory: A meta-analytical review of the media effects of intensive Internet search behavior. Frontiers in Public Health, 12, 1332030. https://doi.org/10.3389/fpubh.2024.1332030
10. Lee, H.-P., Sarkar, A., Tankelevitch, L., et al. (2025). The impact of generative AI on critical thinking: Self-reported reductions in cognitive effort and confidence effects from a survey of knowledge workers. CHI ’25, Article 1121. https://doi.org/10.1145/3706598.3713778
11. Plato. Phaedrus, 274c–275b.
引用本文
無擷(2026)。《能力的形状》(v0.4)。無擷。