AI寫信比人類更得體?研究揭「扮演HR」實測:AI比人類更懂溝通藝術,但寫不出超派咆哮信
- 原文標題:AI寫信比人類更得體?研究揭「扮演HR」實測:AI比人類更懂溝通藝術,但寫不出超派咆哮信
- 作者:李先泰
- 發布時間:2026-08-06T17:30:00+08:00
- 來源:數位時代 BusinessNext
- 擷取方式:BusinessNext
NewsArticle.articleBodyJSON-LD;正文正規化版面空白並按語意段落分行,未加入衍生摘要。 - Canonical URL:https://www.bnext.com.tw/article/91763/fqhwx4iam2yq7qiacsqp
原文擷取
請先想像以下的情境:一名剛到職、公司很想留住的 L3 軟體工程師寫信來,要一間個人辦公室。公司規定個人辦公室只開放給 L4 以上主管,這件事沒得談。你是人資,必須回信拒絕,而且不能澆熄他剛進公司的熱情。以上情境,是芝加哥大學團隊設計的遊戲「HR Simulator™」的第一關。
研究者 Dang Nguyen、Harvey Yiyun Fu、Ari Holtzman、Chenhao Tan(皆任職芝加哥大學)與英屬哥倫比亞大學的 Peter West,在 2026 年 3 月 6 日把論文《Moral Mazes in the Era of LLMs》掛上 arXiv,並於同年 4 月 6 日更新第二版;狀態標示為預印本、尚未通過同行審查。遊戲介面刻意模仿 Gmail,玩家扮演虛構公司 NeuroGrid 的人資,在五種棘手情境中撰寫回信:拒絕要求、化解創意衝突、推翻先前給出的遠端工作承諾、問出資深工程師自己都說不清的不滿,以及讓一名被裁掉、卻因投資人父親出面而可能復職的年輕工程師願意自省。其中第 4 關可以是多輪往返,不是一封信就結束。
收信的角色、模擬後續發展、以及最後判定你過不過關的裁判,全部由 GPT-4o(2024-11-20 版本)扮演,依每一關專屬的評分標準表(rubric)判定成敗。研究者分析超過 600 封人類與 LLM 寫的信;在 GPT-4o 擔任裁判的條件下,人類寫的信跨五個關卡平均通關率 23.5%,Kimi K2 是 54%、Qwen 3 是 48%。中段模型 Gemini 2.5 Flash 與 GPT-4o 各 22%、Claude 3.5 Haiku 28%,與人類在同一個水準。
這場考試真正在考什麼
論文標題借自社會學家 Robert Jackall 在 1988 年的著作《Moral Mazes》,那本書記錄的是企業裡不成文的溝通規則:說什麼不重要,怎麼說、何時說才重要。書裡的主管發現嚴重問題時不能直接往上報,那等於讓老闆顯得失職,於是他們學會把消息橫向放流給非正式管道,等到要做決定時該知道的人都知道了,卻沒有人正式當過報壞消息的那個人。對此論文寫得很直接:這種迂迴不是溝通失敗,這就是溝通本身。
職場書信的難處在於同一句話裡要同時做到互相拉扯的幾件事,溫暖但保持距離、明確但留有餘地。研究者把信的語氣拆成兩個軸線量化:同理(這封信多想理解、多想幫收信人解決顧慮)與正式(語氣偏隨性還是偏公事公辦),由 Gemini 3 Flash 逐段給 1 到 7 分再取平均。結果是,LLM 寫的信高度集中在「高正式、高同理」那一格,人類的信則散得多。幾乎沒有信落在「高正式、低同理」的區間;論文推測模型本來就不太寫低同理的信,而人類玩家則可能缺乏「既不讓步又保持專業」的技巧。
人類寫的低同理信通常同時也低正式,因為內容常常很衝、很敷衍,有時還帶著反覆失敗後的火氣。但如果讓 LLM 改寫人類的信,整體上會把信推向高正式高同理那一格,原本離得越遠的,改動幅度越大。
人加 AI 常勝過人類,但不一定勝過純 AI
論文最容易被引用的結論是混合優勢:用 LLM 改寫人類寫的信,多數情況勝過人類自己寫。至於能不能進一步勝過模型自己寫,論文在附錄講得保守得多:這件事確實會發生,但並非普遍成立,成不成立會隨著寫信的模型、關卡與裁判而變。
增益最大的是「人類搭配中段模型」。第 1 關裡,GPT-4o 與 Claude 3.5 Haiku 的通關率從 40% 一路拉到接近 100%。前段模型的增益比較溫和,Kimi K2 加上人類在第 2 關多了 25 個百分點,Qwen 3 加上人類在第 4 關多了 55 個百分點。論文把這個規律歸給「餘裕」:模型單獨寫就已經接近天花板時,改寫很難再往上疊。
Emergent tact:大模型與小模型的分水嶺
研究者另外標註了第三個維度「得體」(tact),它衡量的是溝通策略:這封信有沒有把話說過頭、留下後患。以第 1 關為例,得體的信會把重點放在開放式辦公的好處,不得體的信則想用降噪耳機這類表面福利補償對方。把裁判 GPT-4o 最偏好的信抓出來看,它在第 1 關的得體區間落在 3.17 到 3.83 之間。人類的信平均 3.04,太不得體;Claude 是 4.28、Gemini 是 4.79,兩者都太得體。經 LLM 改寫後,Claude 版變成 3.89、Gemini 版變成 4.01,剛好落回區間附近,通關率也跟著跳升。反過來看,Qwen 的 3.28 與 Kimi 的 3.50 本來就在區間內,改寫就沒有額外好處。
這部分分析共動用 10 個不同家族、不同規模的模型當裁判,GPT-4o 本身也是其中一員。模型參數量越大或 Elo 分數越高,兩兩裁判之間對「這封信過不過關」的判斷就越一致,最強的一批達到約 0.5 的 Krippendorff’s α。研究者把「兩個裁判給同一封信的排名相差 20 名以上」定義為分歧,發現絕大多數分歧發生在大模型與小模型之間,而非同級模型之間;分歧的性質就是得體:小模型偏好直白、不那麼得體的信,大模型偏好含蓄、更得體的信。
論文把這個現象命名為 emergent tact,直譯是「浮現的得體」。不過這是整體趨勢,不是普遍定律:落差在第 1、3、4 關比較明顯,論文附錄自承,得體定義在第 2、5 關沒能同樣解釋分歧。第 1 關的例子是,玩家可以提到新人在新職位的薪水比前一份工作高,藉此喚起對方的感激、先一步堵住後續議價;論文作者判定這個策略非常不得體且帶有被動攻擊性,小模型偏好用了這招的信,大模型反感。
為確認這條線真的是「得體」,研究者另外用相近的「禮貌」標註同一批信,發現「禮貌」無法像「得體」那樣把大、小模型分開。
AI 難以寫出來的信:咆哮信
研究者還反過來問:有沒有 LLM 寫不出來的信?測試對象只有一個模型 Qwen 3 30B 3A Instruct,目標是看它能不能寫出「低同理、低正式」的信,可以想像成投訴性質的咆哮信。只下指令要求同理與正式都給 1 分時,這個模型改寫失敗,信仍落不進左下角;加入人類寫的低分信當範例之後,才有較多信件往那個區間移動。
模型對人類寫的低分信困惑度(perplexity)極高,無範例時 38.96,有範例時仍有 10.80,而它對自己生成的低分信只有 2.38。範例大幅降低了困惑度,模型仍然很難模仿這種寫法。低同理、低正式的信在企業裡看似不得體,換到別的情境卻有必要,例如投訴一間官僚積習很深的公司,可能只有把話說得很重才傳得進去;這種信人類自己也難拿捏,反而適合靠 LLM 協助編修,形成另一種人機互補。
結論
這篇論文真正的價值不在人類與 AI 的高下,而在它記錄了正在發生的事:讀信、篩信、判斷信寫得好不好的角色,正在換人。若模型成為職場書信往來的核心,理解這個新地景很重要,才能確保職場溝通規範是被刻意選擇的結果,而不是被 LLM 的天性推著走。
23.5% 這個數字量到的,比較接近「人類多不擅長討好 GPT-4o」,未必是「人類多不會做人」。當裁判換成能力較強的模型後,信件偏好可能從偏直白轉向偏含蓄;這意味著寫信的人如果開始為模型的品味調整寫法,很難保證讀信的人類感受真的會比較好。論文給的務實路徑是:人先寫,AI 再改;人決定要不要打出那張說服牌,AI 把語氣調到不刺人。
Source notes
- This raw capture preserves the BusinessNext article body and its attribution to the Chicago / University of British Columbia research team.
- The article is a secondary media synthesis. The cited primary preprint is
Moral Mazes in the Era of LLMs, arXiv:https://arxiv.org/abs/2603.20231v2; it is a preprint and should not be treated as peer-reviewed evidence. - Reported pass rates, judge agreement, tact ranges and perplexity figures remain attributed to the cited study; this raw capture is not an independent benchmark.