简体中文
一位经理和一位新员工坐在沙发上进行非正式的 1:1,一起看一本书和一台平板电脑。

HR 负责人应该问 AI 供应商的 12 个问题

HR 负责人正在评估 AI 工具,却没有清楚的指引告诉他们,供应商好的回答到底是什么样。这篇文章逐一拆解真正重要的问题,以及如何解读对方的回答。

HR 负责人开始评估 AI 工具时,许多人是边做边摸索的。他们向自己的人脉打听该看什么、该担心什么、该问供应商哪些问题才合理。我不断看到同样的问题冒出来,但好的回答到底应该是什么样,却很少有人说得清。于是我和 Pyn 的联合创始人兼首席工程师 Jon Williams 把这些问题逐个聊了一遍,他过去 15 年一直在做 HR 科技产品。目标不是把 HR 变成 AI 专家,而是给出更清楚的信号:供应商的回答在哪里体现了真正的成熟,在哪里应该引起警惕,在哪里追问更多细节是合理的。

1. 这个模型是用什么数据训练的?哪些数据被明确排除在外?

HR 为什么要问这个:这是 HR 负责人最常被建议去问的问题之一,背后的直觉也是对的:训练数据决定结果。如果有偏见或不恰当的数据被固化在里面,HR 最后就得为不是自己设计的决定做解释、做辩护。

但这里有个微妙之处:HR 领域的大多数 AI 工具都建立在基础 AI 模型之上(也就是来自 OpenAI、Anthropic 或 Google 等公司的底层系统,许多 HR 工具都构建在它们之上),而这些模型训练用的数据大体相似,都是海量、杂乱的互联网文本。问供应商基础模型是用什么数据训练的,通常分辨不出好供应商和差供应商。

更好的问法:“在最初的训练之后,你们对这个模型做了什么,让它适用于 HR 决策?这个过程中用了哪些数据或原则?”

好的回答是什么样:供应商能讲清在基础模型建好之后做了哪些工作:针对 HR 使用场景的额外训练、安全测试,或者过滤掉不当输出的规则。他们能说出这个阶段用了哪些数据,哪些被明确排除在外(例如抓取来的简历、推断出的受保护特征),以及这些决定是谁做的。

Jon 说:基础 AI 模型都是用互联网规模的数据训练的,里面有大量垃圾。整个行业都是如此。真正重要的是训练之后的工作:额外的训练、安全测试,以及叠加在上面的护栏。供应商之间的差别就在这里,你的尽职调查也应该聚焦在这里。如果一家供应商讲不清基础模型建好之后他们做了什么,那他们要么是在转售一个几乎没做适配的通用模型,要么就是没有下功夫让它在 HR 场景里足够安全。

2. 这个模型在训练时有没有考虑避免不公平或歧视性的结果?如果有,是怎么做的?

好的回答是什么样:供应商能用通俗的语言解释,模型在训练时是否遵循了公平、把伤害降到最低、妥善处理不确定性这类原则,以及这些原则是怎样落实的。如果没有,他们能讲清是什么防止模型默认沿袭历史上的不平等。

HR 为什么要问这个:AI 系统不是中立的。HR 需要知道,那些影响员工工作、薪酬和职业生涯的建议,是由谁的价值观塑造的。

Jon 说:从技术上讲,你问的其实是供应商有没有用特定的技术手段把公平性做进模型里。他们应该能说出这些技术手段的名字,而不只是说“我们把它训练得很公平”。考虑到公平本身就带有主观性,这一点尤其重要。还要问:这些原则是在训练过程中就做进去的,还是只在最后作为输出的过滤器加上去的?虽然两者都有用,但过滤器比深度训练出来的行为更容易被绕过。

3. 这个模型在设计上会拒绝哪些类型的输出?这些边界是怎么确定的?

好的回答是什么样:成熟的回答会给出拒绝的具体例子(例如推断受保护特征、对个人做出没有依据的判断),并说明这些边界是谁定的、为什么这么定。拒绝被当作一项安全功能,而不是弱点。

HR 为什么要问这个:有些问题就不该由系统来回答。HR 需要护栏,在违法、不道德或站不住脚的输出到达员工之前把它们拦下来。

Jon 说:这是个很好的问题,能把认真的供应商和没有深入思考过安全的供应商区分开。从工程的角度看,拒绝行为应该有文档记录,并且可以测试。问问他们有没有一份成文的清单,写明系统会做什么、不会做什么,以及有没有让人主动想办法攻破系统来做压力测试。还要找一家在努力求得平衡的供应商。拒绝过多会让工具变得没用,拒绝过少则会让你暴露在风险中。

4. 当模型遇到模糊、不完整的数据,或者关于某个人的相互矛盾的信号时,它会怎么表现?

好的回答是什么样:供应商能讲清模型是会标出不确定性、要求更多输入、降低置信度,还是拒绝给出建议。好的回答会承认人员数据常常是杂乱的。关键是,供应商应该确认,在数据不足时,系统不会默认照样给出建议。一个不管数据质量如何都总能给出答案的系统,是在不打招呼的情况下把风险转嫁给 HR。

HR 为什么要问这个:面对模糊情况去猜,偏见和不公平就是这样悄悄混进来的,而后果要由 HR 来负责。

Jon 说:这个问题触及工程师所说的“校准”,意思是,系统知不知道自己不知道什么?一个设计良好的系统应该输出置信度,或者明确标出把握不大的情况。问问系统是否区分“我有很高的把握”和“我在做最佳猜测”。如果每个输出看起来都同样权威,那自动就是一个危险信号。

5. 模型的行为会随时间变化吗?

好的回答是什么样:清楚地说明模型是保持不变还是会演进,更新和反馈是怎样被纳入的,以及有哪些控制措施防止无人监控的漂移。好的回答会把有意的改进和不受控的变化区分开。

HR 为什么要问这个:一个在看不见的情况下演变的系统,可能会悄悄让 HR 此前已经签字通过的风险评估、偏见审计和审批失效。

Jon 说:这是我会使劲追问的地方。变化有三种:(1) 供应商推出新的模型版本,(2) 模型根据你所在组织的反馈或数据做出调整,或者 (3) 模型以没人打算的方式悄悄漂移。你需要知道发生的是哪一种、在什么时候发生。在写代码的世界里,我们有工具在主动监控这件事,比如 https://marginlab.ai/trackers/claude-code/。不过,这类跟踪在其他领域并不完整,在面向人的开环流程里要难得多。

供应商调整参数或对模型行为做 A-B 测试并不少见。这有可能导致在执行相似(甚至相同)的任务时出现明显的差异。

相关的一点:如果他们用你的数据来改进模型,这种改进会不会流向其他客户?这涉及保密问题。

6. 部署之后,你们如何监控非预期的行为?作为客户,我们怎么知道有东西变了?

好的回答是什么样:供应商会描述他们那边主动、持续的监控,包括跟踪哪些信号、多久评审一次、由谁来响应问题。同样重要的是,他们会说明客户能看到什么:发布说明、提醒、版本历史、审计报告或仪表盘。好的回答把监控当作共同的责任,并给 HR 提供自行评审所需的信息。

HR 为什么要问这个:因为有些风险只有在持续使用之后才会浮现,也因为影响员工的系统需要定期评审。只有供应商既在留意问题,并且在有变化时及时告知客户,HR 才能做这种评审。

Jon 说:在这里,你想知道的是他们实际监控的频率和细致程度。对这些模型的持续校准是它们价值的重要部分,所以你应该能看到非常紧密的反馈回路。

7. 如果我们认为模型产生了不当、有偏见或发生漂移的输出,我们怎么上报?接下来会发生什么?

好的回答是什么样:一套明确的上报和升级流程,对响应时间和补救措施有清楚的预期,并且对问题如何调查、如何解决保持透明。

HR 为什么要问这个:因为一旦出了问题,HR 需要知道自己有哪些选择。在问题调查期间,你能不能暂停或停用受影响的功能?供应商会不会回滚到之前的版本?你可能会在一个已知的问题里暴露多久,在此期间你该对员工说什么?这个问题不只关乎上报,更关乎弄清你实际上有哪些补救手段。

Jon 说:我认为这与其说是技术问题,不如说是关系问题。他们有没有一种方便的方式来上报和跟踪问题,有没有清楚的升级路径和透明度?

8. 你们能解释模型是如何得出影响某位员工或候选人的某个具体输出的吗?

HR 为什么要问这个:如果 HR 解释不了一个决定,就没法为它辩护。这个问题看起来必不可少。

但这里有个微妙之处:对复杂的 AI 系统来说,尤其是那些建立在大语言模型之上的系统(很多都是),完全的透明在技术上往往做不到。这些模型的推理方式和人不一样,它们内部的运作不一定能翻译成一段简单的叙述。要求完美的可解释性,会设下一种预期,而供应商要么用过度承诺来迎合,要么用一句“它是个黑箱”来回避。

更好的问法:“对于单个决定,你们能提供什么程度的解释?它够不够让我们向员工做出交代,并满足正在出台的 AI 立法里的文档要求?”

好的回答是什么样:供应商对可解释性的局限很坦诚,但能说明哪些东西确实可以提供:哪些输入的权重大,什么会改变输出,置信度,或者审计记录。好的回答着眼于合理的理由,而不是声称完全透明,或者躲在复杂性后面。

Jon 说:可解释性是 AI 领域最难、尚未解决的问题之一,所以要校准你的预期。大多数时候,你其实得不到“模型因为 X 而拒绝了这位候选人”这样干净利落的答案。你可以合理要求的是:哪些输入起了作用,置信度是多少,以及系统能不能给出其他的解读。对声称完全可解释的供应商要保持怀疑。真正的问题是,当有人问“为什么会这样?”时,你手里的东西够不够拼出一个合理的理由。

9. 这个系统在哪些地方预期由人来做最终决定?它如何支持(而不是削弱)人的判断?

好的回答是什么样:供应商能清楚地指出哪些输出是建议、哪些是决定,以及哪里预期或要求有人工评审。他们能说明系统怎样呈现信息来支持人的判断,比如显示置信度、标出边缘情况,或者给出备选方案。好的回答会承认,人可能倾向于接受 AI 的建议,并说明系统在设计上如何鼓励真正的评审,而不是走过场盖章。

HR 为什么要问这个:因为只有当人真正有权推翻、质疑或拒绝系统的输出时,“人在回路中”才行得通。如果系统把建议呈现为既成结论,或者让偏离建议在流程上变得很难,那人工评审就成了一场表演,而 HR 仍然要为自己并没有真正掌控的结果负责。

Jon 说:这是清单上最重要的问题之一,却常常被忽视。它往往更多地取决于 AI 是怎样被集成和呈现的,而不是模型的核心运作。

从设计的角度,问问建议是怎样呈现的:系统给出的是一个答案,还是一系列选项?它显示置信度吗?它让推翻建议变得容易还是困难?

人往往会顺从 AI 的输出,这意味着模型需要了解并传达自己的局限和置信度(见问题 4)。

有一些技术手段在这里能帮上忙。设计良好的系统会主动抵消这种倾向:要求为接受建议给出理由(而不只是为拒绝),把选项的顺序随机打乱,或者在模型置信度低时做出标记。

好的回答是什么样:供应商能说出 HR 可以依靠的具体材料,比如审计日志、理由摘要、版本历史或决策轨迹,并说明如何获取。他们可能还会提供标准的 AI 文档,比如模型卡、数据说明表或影响评估,描述系统如何运作、考虑过哪些风险。

HR 为什么要问这个:因为雇主越来越被要求记录并说明决定是怎样做出的,在涉及自动化系统时尤其如此。

Jon 说:这既是一个技术问题,也同样是一个采购和法律问题,但工程师也应该关心。问问审计日志是否受保护、不可编辑,以及保留多久。万一你面临法律挑战,你需要还原系统在某个特定时间点知道什么、做了什么。如果他们拿不出这些,记录的担子就落到你自己身上了。

HR 知道这些文档有多关键。供应商未必知道。

11. 员工或候选人的数据在处理之后会怎样?我们如何确保它在适当的时候被删除?

好的回答是什么样:供应商能清楚地说明他们的数据保留政策:存储了哪些数据、存在哪里、存多久、在什么条件下。他们能讲清删除请求是怎样处理的、多快执行,以及删除是否彻底,还是会有残留数据留在备份或训练流程里。好的回答还会说明,客户数据是否会被用来为其他客户改进模型,以及至关重要的一点:你能不能完全选择退出。如果不能选择退出,那在签约之前就值得知道。

HR 为什么要问这个:因为员工和候选人的数据不属于供应商,它属于数据所描述的那些人,受你的政策和适用法律的约束。HR 需要知道,数据的保留时间不会超过必要的期限,不会被用于披露范围之外的目的,并且当有人依据 GDPR 或 CCPA 这类隐私法律或内部政策行使权利时,数据不会删不掉。

Jon 说:这个问题问的是数据从头到尾是怎样被处理的,它比听起来更微妙。要具体地问:数据是永久存储,还是只在当下使用、用完即弃?如果存储,有没有加密和访问控制?供应商是否用客户数据来重新训练或改进模型?这是需要主动同意,还是默认参与、可以退出?

如果你不能选择退出,问问你的数据被用于训练之后会怎样:它可能就再也删不掉了。我们还见过这样的情况:这些数据可以通过合适的提示词被“访问”到。例如,早期版本的编程机器人被证明在训练时接触过私有代码库,随后在提示之下泄露了其中的内容。见:

GitHub Copilot 与密钥泄露

关于训练数据提取的研究

12. 有哪些风险或伤害,是你们没有把握这个系统能够防止的?

好的回答是什么样:最好的回答会承认局限。供应商能说出残余风险、边缘情况或取舍,并说明客户在部署时应该怎样把它们考虑进去。

HR 为什么要问这个:没有任何系统是零风险的。HR 需要了解自己被要求管理的是哪些风险。

Jon 说:这是清单上我最喜欢的问题,因为它检验的是对方在智识上是否诚实。每个系统都有可能失败的方式。问题在于供应商知不知道这些方式,能不能把它们讲清楚。好的工程师会告诉你:“这里是模型吃力的地方。这里是准确率下降的人群。这里是我们还没解决的边缘情况。”如果一家供应商说自己的系统没有什么值得一提的风险,那他们要么看得不够仔细,要么没有说实话。

在 Pyn,我们认为 HR 负责人应该清楚地看到技术是怎样塑造员工体验的,在涉及 AI 时尤其如此。这就是为什么我们在设计平台时把透明、可控和人的监督放在中心,也是为什么 Pyn 里的任何 AI 功能在设计上都需要主动开启。HR 团队应该能够决定用什么、什么时候用,以及它怎样影响自己的员工。如果你想知道这种做法在实践中是什么样,可以在这里了解 Pyn。

Share