AI科技導入的風險由誰承擔？有無「侵害人權」是重點

前言

以風險來評估人工智慧（artificial intelligence, AI）開發及應用結果，幾乎已成為如何管制AI的第一步。儘管「使用AI做什麼」的目的評估，是評估的首要甚至唯一重點，但事實上導入AI之後究竟是誰在承受什麼風險、承受者是否在導入脈絡中屬於體制中的易受傷害族群，以及所承受風險是否涉及基本人權侵害，將是倡議以風險評估作為AI管制基礎者更需強調的。而這也正是去年底通過協議、即將頒布的「歐盟人工智慧法案」（EU Artificial Intelligence Act）採取風險評估路徑的特色。

為凸顯區辨AI導入後，誰是風險承受者、以及承受什麼風險的重要性，本文將以日前報載我國法務部開發且獲獎的「受保護管束人再犯風險評估智慧輔助系統」為例，指出該系統相較於在美國許多州都導入的替代性制裁矯正管理分析系統（Correctional Offender Management Profiling for Alternative Sanctions，COMPAS），雖然都有預測再犯風險功能，但兩者差異除了法務部的導入目的是提供受保護管束個案較適配的個別化觀護處遇，不若COMPAS導入目的是輔助假釋決策時所引發的種族歧視爭議（Angwin, Larson, Mattu & Kirchner, 2022）之外 [1] ，更在於兩者導入脈絡中屬於體制下的易受傷害族群，也就是犯罪人所承受的風險有關鍵差異，而或許這是法務部系統試行至今尚無聽聞重大批評，不若COMPAS幾乎成為司法導入AI的負面案例代表。

都是讓AI預測再犯風險，但用途與結果不同

究竟法務部系統與COPMAS在風險評估上的關鍵差異在哪？前者的主要風險承受者所承受的風險不一定涉及人權侵害，但後者則一定會涉及人權侵害。

因為從法務部系統目前的使用目的，也就是「提供個別化觀護處遇」來看，如果系統所提供的再犯風險預測錯誤，而導致提供受保護管束人獲得不適配的觀護處遇，可預期後果是受保護管束人的再犯風險可能無法獲得降低、處遇介入效果不彰；反觀COMPAS被用在輔助判斷假釋決策，一旦系統所提供的再犯風險預測錯誤，雖然該系統只是輔助性質，最終做決策的還是司法人員，但不少研究都指出人類決策易受AI生成結果影響，可預期後果是原本再犯風險低者被拒絕假釋，或是原本再犯風險高者卻獲得假釋。

個人角度與社會角度的風險評估

從個人承受風險的角度來看，法務部與COMPAS這兩套AI系統導入之後，主要承受使用風險的雖然都是犯罪人，但犯罪人在法務部系統下所承受的風險是獲得不適當處遇、而非沒獲得觀護，就好比學生有接受教育，但所接受的教育是不適當的，未必有人權侵害疑慮。而犯罪人在COMPAS系統下所承受的風險則是人身自由有無被不當剝奪，直接影響個人自由權的保障。

事實上，即將正式公布而成為全球首項有強制力的《歐盟人工智慧法案》（EU AI Act）就規定，所有高風險應用的AI系統在上市前，都應該對於基本權的影響進行評估。儘管是否只有高風險應用AI才需要評估尚有爭議，因為是否為高風險應用，往往得視目的與脈絡而定，且有許多不可預期性。但至少這項法案是在目前各種倡議以風險評估來管控AI的方案中，最明確以保障人權作為管控底線的。

另外，國內外許多政府部門導入AI的目的，往往是為了解決體制上現有人力不足以應付業務量過大的問題。那麼，導入AI而改變該體制運作，對於社會整體可能帶來的風險評估也不宜忽略。

以法務部系統來說，目的是為解決觀護人工作量過大、難以對個案提供適配的觀護處遇，那麼可預期該系統一旦設計不佳或預測有誤，則後果會是觀護人或者提供個案不適配的處遇、或者不信任該系統所提供的預測而棄之不用，整個社會所承受的風險，是我國的觀護處遇效率未獲得有效提升。

反之，COMPAS系統一旦設計不佳或預測有誤，後果可能是讓更多原本有機會獲得假釋者人身自由受到侵害，或者是讓更多原本沒機會獲得假釋的犯罪人回到社會，而有治安惡化的風險。因此，無論是從個人還是社會整體承受風險的角度來評估，法務部系統在導入後的風險，相較於COMPAS系統而言，顯然不只是風險較低，且較不涉及人權侵害。

討論AI潛在偏見問題應納入人權保障

AI系統生成結果可能帶有潛在偏見的問題，目前受到相當關注，因為這樣的系統一旦實際應用，就有可能讓特定群體受到不公平對待。例如COMPAS就被指控其再犯風險預測結果有種族偏見，有色人種、尤其是黑人的再犯機率估計過高，而讓黑人群體受到不公正對待，也導致不公正的司法結果。

目前解決AI潛在的偏見問題，多集中在對於AI生成結果的校正上。暫且不論這種方式能否有效解決問題，但AI生成結果究竟對於哪個預測群體在誤判機率上總是高於其他群體，且該群體承受誤判的代價又是否構成對其人權侵害，將是討論AI潛在偏見問題時值得正視的一環。

辨識AI導入政府公務中的易受傷害族群

目前國內外許多政府單位導入AI系統的一大目的，是為了解決業務量過大但人力不足的窘境。以科技解決此問題無可厚非，但檢視相關手段與結果，究竟為誰帶來益處？為誰帶來風險？尤其重要的是，風險承受者是否為問題脈絡或制度中的易受傷害族群？

本文所討論的法務部系統與COMPAS，其導入AI系統的益處，除了可能減輕司法人員的業務負擔外，也有可能減少現行司法體系人員執行公務時的潛在偏見，進而讓司法體系的整體運作更加趨於一致且公平，犯罪人因此而受益。但兩案例導入AI系統的主要風險承受者都是犯罪人，而犯罪人相對於法官、觀護人等其他人員在整個司法體制中較可能是易受傷害族群。以犯罪人作為相關業務導入AI的目標對象，是否有其必要？犯罪人對矯正體系導入 AI 輔助系統後做出的決策感受如何？他們有管道能表達對此決策的喜愛或不滿嗎？他們承受的風險是否過重，人權受到侵害的可能性為何？

目前國內外警政與司法單位都是最熱衷導入AI的政府單位之一，上述的提問與答案，都應該列入前揭單位在推動各種業務科技化時的風險評估範圍中。

※ 本文同時發表於天下雜誌獨立評論醉夢溪論政專欄。

※ 作者甘偵蓉為科技、民主與社會研究中心研究員，研究興趣為AI倫理與治理；作者陳煒林為該中心之海外研究員，研究興趣為公共經濟學。本文感謝科技、民主與社會研究中心周睦宜副主任、賴又豪研究員提供修正建議。

[1] Angwin, J., Larson, J., Mattu, S., & Kirchner, L., 2022）. Machine bias. In Ethics of data and analytics （pp. 254-264）. Auerbach Publications.