原創(chuàng) 上海檢察 上海檢察 收錄于話題#75號(hào)咖啡·法律沙龍32個(gè)

法律沙龍

編者按

隨著網(wǎng)絡(luò)化、數(shù)字化、智能化的飛速融合發(fā)展，人類逐漸步入信息社會(huì)時(shí)代和數(shù)字時(shí)代。黨的十九屆五中全會(huì)強(qiáng)調(diào)，要堅(jiān)定不移建設(shè)數(shù)字中國。整體推進(jìn)社會(huì)數(shù)字化轉(zhuǎn)型是一項(xiàng)系統(tǒng)性工程，司法在其中扮演者關(guān)鍵角色、承擔(dān)了重要使命，同時(shí)也面臨一系列課題和挑戰(zhàn)。如何重塑數(shù)字時(shí)代的司法理念，如何實(shí)現(xiàn)工作模式、辦案方式的整體性轉(zhuǎn)變，如何讓司法為國家治理、社會(huì)發(fā)展全方位賦能，都值得我們理性審視和深入思考。

“75號(hào)咖啡”將以“數(shù)字時(shí)代的司法觀”為主題，以“大咖來訪”“法律沙龍”兩種形式，對(duì)司法人工智能、大數(shù)據(jù)治理等進(jìn)行深入探討。

第一期，帶來上海交通大學(xué)文科資深教授季衛(wèi)東在上海市檢察院的講座實(shí)錄“司法人工智能開發(fā)的原則與政策”。

content

本期目錄

一、司法改革與人工智能普及之邏輯

二、人工智能引發(fā)的法律與社會(huì)變遷

三、司法人工智能治理的規(guī)則體系

展開全文

上海交通大學(xué)文科資深教授 季衛(wèi)東

尊敬的各位領(lǐng)導(dǎo)，各位專家，檢察官朋友們：

今天要與大家分享三方面內(nèi)容：一是司法改革與人工智能普及的邏輯；二是人工智能引發(fā)的法律與社會(huì)變遷；三是司法人工智能治理的規(guī)則體系。

一、司法改革與人工智能普及之邏輯

我們今天聚焦的關(guān)鍵詞是網(wǎng)絡(luò)空間，主要是數(shù)字化信息技術(shù)形成的網(wǎng)絡(luò)結(jié)構(gòu)。中國傳統(tǒng)社會(huì)也有人際關(guān)系網(wǎng)絡(luò)，這是我國一個(gè)非常鮮明的特點(diǎn)。這兩者當(dāng)然不一樣，但是在屬性上有一定的相通性。因?yàn)榫W(wǎng)絡(luò)結(jié)構(gòu)存在著縱橫交錯(cuò)的互動(dòng)關(guān)系，這使得我們?nèi)绻麖姆ㄖ蔚慕嵌热ビ^察它，法律規(guī)范很難一竿子插到底。這種平面的、個(gè)人間的互動(dòng)關(guān)系，會(huì)影響到法律實(shí)施的效果。這樣的網(wǎng)絡(luò)社會(huì)一般來說更重視個(gè)人之間達(dá)成的合意或者共識(shí)，所以具有一定的當(dāng)事人主義傾向。但在另一方面，網(wǎng)絡(luò)結(jié)構(gòu)會(huì)造成法律規(guī)范、國家政令很難滲透到社會(huì)的底層，為此必須加強(qiáng)國家的權(quán)力，以保證規(guī)范能夠落到實(shí)處。這就勢必助長職權(quán)主義傾向。

當(dāng)事人主義與職權(quán)主義這兩者之間存在一種張力。這種張力在網(wǎng)絡(luò)結(jié)構(gòu)中是始終存在的。如果我們強(qiáng)調(diào)網(wǎng)絡(luò)當(dāng)中的互動(dòng)的話，當(dāng)事人主義的色彩就會(huì)變重。所以當(dāng)中國向調(diào)解、司法民主的方向傾斜時(shí)，就有可能出現(xiàn)一種“超當(dāng)事人主義”現(xiàn)象。大家可能讀過董必武的法學(xué)文集，其中就提到一個(gè)農(nóng)村的輕微案件，法院判決出來后根本沒法執(zhí)行。一個(gè)很小的案件都沒法執(zhí)行，我們從法治的角度來看覺得不可理解，這是過分強(qiáng)調(diào)群眾意見、群眾路線的結(jié)果。我們不妨把這種特色現(xiàn)象概括為“超當(dāng)事人主義”。反之，如果公說公有理、婆說婆有理，眾說紛紜永遠(yuǎn)不能案結(jié)事了，就需要通過職權(quán)的行使強(qiáng)制性地終結(jié)沒完沒了的纏訟活動(dòng)。這時(shí)就很容易出現(xiàn)所謂“超職權(quán)主義”現(xiàn)象，通過強(qiáng)勢的權(quán)力行使來一錘定音，改變無法做出決定、無法結(jié)案的狀況。

“超當(dāng)事人主義”與“超職權(quán)主義”相反又相成，這兩個(gè)側(cè)面并存和糾結(jié)，會(huì)形成短路聯(lián)結(jié)的狀況。我認(rèn)為這是中國傳統(tǒng)社會(huì)法律秩序原理的一個(gè)非常重要的特點(diǎn)，也影響到司法制度的設(shè)計(jì)。正因?yàn)橹袊鴤鹘y(tǒng)社會(huì)是一個(gè)關(guān)系網(wǎng)絡(luò)社會(huì)，國家治理不得不考慮網(wǎng)絡(luò)中的互動(dòng)以及當(dāng)事人的承認(rèn)、合意、共識(shí)，所以制度設(shè)計(jì)必須保留討價(jià)還價(jià)和事后調(diào)整的空間，結(jié)果導(dǎo)致判決缺乏既判力。一直到今天，我們?nèi)匀豢梢钥吹脚袥Q生效之后還允許甚至強(qiáng)調(diào)回訪、信訪等等做法。這就為事后對(duì)司法判斷進(jìn)行質(zhì)疑、挑戰(zhàn)、操作提供了機(jī)會(huì)性結(jié)構(gòu)。

司法的屬性決定了判決不可能讓所有人滿意。如果一定要把大家都理解、同意甚至滿意作為司法制度設(shè)計(jì)的目標(biāo)，那就一定造成久拖不決的事態(tài)。為了解決這個(gè)問題，為了及時(shí)案結(jié)事了，不得不反過來加強(qiáng)司法的職權(quán)、加強(qiáng)決斷的權(quán)力。這樣一種職權(quán)主義方式很容易把法官變成強(qiáng)制命令的化身，也很容易引起反彈。因此，當(dāng)司法轉(zhuǎn)向超職權(quán)主義的時(shí)候，司法的正當(dāng)性問題就會(huì)凸顯出來，不得不加強(qiáng)對(duì)強(qiáng)制正當(dāng)性的論證或證明。這樣又會(huì)向強(qiáng)調(diào)承認(rèn)、合意、共識(shí)的超當(dāng)事人主義回歸。

實(shí)際上，回顧當(dāng)代中國司法改革的過程，就發(fā)現(xiàn)好像在一個(gè)“強(qiáng)職權(quán)”與“大調(diào)解”之間來回?fù)u擺的循環(huán)怪圈。當(dāng)我們強(qiáng)調(diào)司法制度的現(xiàn)代化、國家治理體系的現(xiàn)代化時(shí)，往往要強(qiáng)調(diào)與傳統(tǒng)不同的那種司法專業(yè)化、法官職業(yè)化，這正是大家都很熟悉的二十世紀(jì)九十年代以來司法改革的基本理念。在中國的語境里，專業(yè)化、職業(yè)化往往體現(xiàn)為職權(quán)化。另外，現(xiàn)代化過程中的社會(huì)動(dòng)員要求國家權(quán)力滲透到社會(huì)基層——“送法下鄉(xiāng)”就是一種表示形式，這就使得職權(quán)化的特征在社會(huì)各個(gè)層面都有非常鮮明的體現(xiàn)。如果我們沒有其他制度條件（例如程序公正、理由論證等）來配合的話，職權(quán)化就很容易給人一個(gè)司法強(qiáng)權(quán)化的印象，法官儼然成為命令者。這時(shí)候要解決正當(dāng)性的問題，往往我們會(huì)強(qiáng)調(diào)輿論監(jiān)督，強(qiáng)調(diào)調(diào)解，強(qiáng)調(diào)司法民主等。而這樣做的結(jié)果又會(huì)導(dǎo)致審判的輿論化，傳統(tǒng)的司法群眾路線的復(fù)興，似乎與司法的專業(yè)化、職業(yè)化取向又會(huì)發(fā)生矛盾。在這里，可以發(fā)現(xiàn)司法改革形成了一個(gè)怪圈。如何打破這個(gè)怪圈？能否通過嵌入規(guī)則的人工智能系統(tǒng)打破這個(gè)怪圈？人工智能系統(tǒng)能否為司法提供正當(dāng)性根據(jù)？這是深化司法改革之際必須考慮的問題。

深化司法改革、加強(qiáng)司法正當(dāng)性，首先必須解決司法公信力問題。一般而言，司法公信力有四個(gè)因素是最關(guān)鍵的。第一，司法公正。這是不言而喻的。第二，司法權(quán)威。沒有權(quán)威也無法確立司法的公信力。第三，司法效率。案件久拖不決，正義總是遲到，大家就會(huì)覺得司法難以信賴。所以司法效率對(duì)于司法公信力也非常重要。第四，司法便民。司法制度必須方便老百姓利用，否則人們就會(huì)敬而遠(yuǎn)之?？傊?，以上這四個(gè)因素對(duì)于司法公信力具有決定性意義。

在現(xiàn)代法治國家的制度設(shè)計(jì)中，司法公正主要通過司法獨(dú)立的制度安排來實(shí)現(xiàn)。包括審判獨(dú)立和檢察獨(dú)立在內(nèi)的司法獨(dú)立不被濫用，有賴于一些配套條件，例如公正程序的設(shè)計(jì)，例如通過法律解釋、法律推理、法律議論來進(jìn)行的理由論證活動(dòng)。同樣，司法的權(quán)威性也通過這樣的方式來加以確保。但是，在當(dāng)代中國，情況有些特殊，我們還通過不同的方式來實(shí)現(xiàn)司法公正和司法權(quán)威。

的確，中國憲法也規(guī)定了檢察獨(dú)立和審判獨(dú)立的原則，但在實(shí)際上，我們確保司法公正的一個(gè)主要舉措是強(qiáng)調(diào)責(zé)任制，強(qiáng)調(diào)結(jié)果責(zé)任，強(qiáng)調(diào)內(nèi)部問責(zé)。我們可以看到，在中國司法制度發(fā)展以及司法改革的過程中，推行錯(cuò)案責(zé)任制，加強(qiáng)檢察官、法官的績效考核和問責(zé)，對(duì)錯(cuò)案實(shí)施終身問責(zé)，以司法責(zé)任制保障司法公正性，這是顯著的中國特色。網(wǎng)絡(luò)社會(huì)錯(cuò)綜復(fù)雜的互動(dòng)關(guān)系會(huì)帶來相對(duì)性和不確定性，只有根據(jù)結(jié)果追究責(zé)任才能進(jìn)行有效監(jiān)控和管理，這一層的道理也是可以理解的。因此，在中國的語境里，為了司法公正就必須進(jìn)行司法責(zé)任制改革。

那么，司法權(quán)威靠什么樹立？在傳統(tǒng)中國，官僚機(jī)構(gòu)的權(quán)威性以科舉制為基礎(chǔ)。通過科舉制選拔最優(yōu)秀的人才進(jìn)行統(tǒng)治，這種賢人支配就不僅依仗權(quán)力，還具備權(quán)威——權(quán)威可以減少權(quán)力運(yùn)行的成本、提高統(tǒng)治的效率。在今天，通過全國統(tǒng)一的法律資格考試制度來遴選優(yōu)秀人才成為司法的擔(dān)綱者，當(dāng)然也有助于提高司法權(quán)威。但直到最近為止中國司法人員的規(guī)模卻過于龐大、良莠不齊，為此在理論上需要通過員額制改革來遴選真正優(yōu)秀的檢察官和法官，并淘汰那些在崗卻不適格的人員，這就可以補(bǔ)強(qiáng)法律職業(yè)資格考試制度的優(yōu)選功能。不管現(xiàn)在實(shí)施的情況怎么樣，司法員額制的基本理念是重新篩選，讓最優(yōu)秀的專業(yè)人員來擔(dān)任檢察官、法官，通過這種方式來確立司法的權(quán)威、確保司法的質(zhì)量。

根據(jù)上述分析，我們可以理解司法責(zé)任制和司法員額制在提高司法公信力的改革方面具有非常重要意義。除此之外，決定司法公信力的另外兩個(gè)基本因素是司法效率和司法便民，中國司法改革一直很被重視，也頗有成效。在這一輪司法改革中，新的舉措是通過互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等數(shù)字信息技術(shù)的應(yīng)用，把司法效率和司法便民推升到一個(gè)更高的水平。當(dāng)然，數(shù)字信息技術(shù)不僅有利于提高司法效率，在同案同判、克服個(gè)案偏誤的意義上也有利于保障司法公正。特別是中國司法過程中一直存在的打官司難和法官裁量權(quán)過大的問題，還有近些年來訴訟呈幾何級(jí)數(shù)增加而造成案件積壓的問題，通過司法人工智能的應(yīng)用都有望得到適當(dāng)控制或者解決。

在這里，我們著重討論司法智能化方面的進(jìn)展。首先簡單看一看作為司法改革突破口的人工智能的應(yīng)用現(xiàn)狀?！爱a(chǎn)業(yè)革命4.0版”中非常重要的特點(diǎn)是通過數(shù)字化的信息溝通技術(shù)，使物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能形成一個(gè)非常有效互補(bǔ)的支撐關(guān)系。不言而喻，在網(wǎng)絡(luò)空間中會(huì)不斷產(chǎn)生大量數(shù)據(jù)，這種大數(shù)據(jù)的分析運(yùn)用需要借助人工智能；反之，人工智能本身又使我們這個(gè)物聯(lián)網(wǎng)能夠進(jìn)一步發(fā)展，同時(shí)不斷產(chǎn)生大數(shù)據(jù)并提高大數(shù)據(jù)的質(zhì)量——這是數(shù)字空間里普遍存在的“三位一體”關(guān)系。這種互動(dòng)過程使社會(huì)逐步形成了信息和實(shí)體交融的系統(tǒng)，也就是智能融入物理世界。到目前這個(gè)階段，人工智能進(jìn)一步發(fā)展，從機(jī)械學(xué)習(xí)到深度學(xué)習(xí)，實(shí)現(xiàn)了量變到質(zhì)變的飛躍，導(dǎo)致這一波人工智能的熱潮。人工智能在過去十幾、二十年左右的時(shí)間里飛速發(fā)展，正在引起產(chǎn)業(yè)模式乃至社會(huì)結(jié)構(gòu)的大轉(zhuǎn)型。我們可以看到，在2000年的時(shí)候人工智能還屬于一種他律系統(tǒng)，強(qiáng)調(diào)的是邏輯演算。但2012年之后，深度學(xué)習(xí)功能出現(xiàn)和加強(qiáng)之后，人工智能逐步演變成一種自律系統(tǒng)。從事實(shí)、數(shù)據(jù)中進(jìn)行歸納，而不僅僅按照人類給出的指令或程序運(yùn)算，這是目前人工智能所到達(dá)的現(xiàn)狀。當(dāng)然，司法人工智能的技術(shù)水平離這個(gè)新階段目標(biāo)還有很長一段距離。

然而，人工智能發(fā)達(dá)的條件使得我們面對(duì)的當(dāng)今社會(huì)具有以下特點(diǎn)：首先，通過對(duì)大數(shù)據(jù)的人工智能分析，我們社會(huì)的透明度大大提高。我們都知道，現(xiàn)在社會(huì)日益透明化。尤其這次疫情防控進(jìn)一步加強(qiáng)了社會(huì)的數(shù)字覆蓋，不僅行蹤信息、而且生理信息都可以通過“健康碼”等系統(tǒng)或網(wǎng)絡(luò)式治理平臺(tái)進(jìn)行分析、監(jiān)控以及預(yù)測。但在另一方面，對(duì)大數(shù)據(jù)進(jìn)行處理的人工智能運(yùn)作的算法本身越來越復(fù)雜，特別是在具有深度學(xué)習(xí)的功能之后算法的演變?cè)絹碓阶屓穗y以理解、難以說明。這就是所謂算法的黑箱化。社會(huì)的透明化與算法的黑箱化，這是考慮司法人工智能治理時(shí)必須注意的一對(duì)基本矛盾。

二、人工智能引發(fā)的法律與社會(huì)變遷

下面，我們?cè)賮砜纯慈斯ぶ悄軐?dǎo)致中國社會(huì)發(fā)生了什么樣的變化。第一種變化是日常生活的各個(gè)方面都出現(xiàn)了數(shù)字覆蓋。我們現(xiàn)在不僅到餐館點(diǎn)菜可以用手機(jī)支付，連繳停車費(fèi)、買早點(diǎn)都可以如此。移動(dòng)支付使我們的生活非常方便，但是理論上它使我們整個(gè)生活世界數(shù)字化了，形成了另外一個(gè)數(shù)字的“copy”（復(fù)制品）。現(xiàn)在疫情防控使我們的行蹤大數(shù)據(jù)、社交關(guān)系大數(shù)據(jù)、生理指標(biāo)大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)也都納入信息技術(shù)處理的范圍之內(nèi)，傳感器在日常生活中無所不在、無往不勝。這就使整個(gè)社會(huì)生活全部被數(shù)字覆蓋了。這是一個(gè)非常重要的實(shí)質(zhì)性變化。

這種變化會(huì)進(jìn)一步導(dǎo)致什么？我們都知道阿里巴巴集團(tuán)非常強(qiáng)有力，其中一個(gè)重要原因是它掌握了十幾億人口的行蹤數(shù)據(jù)、消費(fèi)取向數(shù)據(jù)，使得生產(chǎn)和銷售的計(jì)劃和實(shí)施都變得更加精準(zhǔn)，并且可以預(yù)測和影響人們的未來。所以，馬云曾經(jīng)說數(shù)據(jù)就是21世紀(jì)的石油。這意味著數(shù)據(jù)是生產(chǎn)資料、是交易通貨、是經(jīng)濟(jì)動(dòng)力、是企業(yè)的利器。數(shù)據(jù)具有經(jīng)濟(jì)價(jià)值，會(huì)產(chǎn)生利潤。值得特別注意的是，中國在數(shù)據(jù)收集和利用方面具有獨(dú)特的優(yōu)勢。首先，我國老百姓的價(jià)值觀和權(quán)利意識(shí)跟歐美人很不一樣。中國人對(duì)人工智能持有比較樂觀、友好的態(tài)度，也沒有很強(qiáng)的隱私保護(hù)觀念。比如掃碼刷臉在中國比較普及、也比較容易被接受。人們?yōu)榱松畹谋憬?、為了社區(qū)的安全、為了防疫和健康，對(duì)有關(guān)數(shù)據(jù)的采集采取支持的立場，至少?zèng)]有特別明顯的抵觸情緒。但是在歐美各國，公眾非常抵制臉部識(shí)別技術(shù)，特別注重個(gè)人數(shù)據(jù)安全問題，對(duì)人工智能的風(fēng)險(xiǎn)也持比較悲觀的看法。因此，大數(shù)據(jù)產(chǎn)業(yè)在中國更容易發(fā)達(dá)，人工智能也因富有數(shù)據(jù)養(yǎng)料而迅速提升水平。其次，因?yàn)榻?jīng)濟(jì)和社會(huì)體制的關(guān)系，中國優(yōu)質(zhì)數(shù)據(jù)的70%到80%都是由國有企業(yè)或者國家機(jī)構(gòu)掌握的。這種狀況當(dāng)然存在隱患，但好處是可以打破不同行業(yè)，不同企業(yè)的壁壘，使得數(shù)據(jù)的多維度利用得到充分實(shí)現(xiàn)。也就是說，中國的數(shù)字空間沒有碎片化，沒有導(dǎo)致人工智能的發(fā)展遭遇太多的人為障礙。

另外，數(shù)據(jù)的本質(zhì)是信息，而信息的特點(diǎn)是流動(dòng)性。所以數(shù)據(jù)也是具有流動(dòng)性的，數(shù)據(jù)主體的界定、數(shù)據(jù)權(quán)利的保護(hù)也就比較難，尤其難以用物權(quán)方式進(jìn)行把握。比如每個(gè)人的消費(fèi)、行蹤等信息是被企業(yè)收集起來的，這些數(shù)據(jù)的所有權(quán)在個(gè)人還是企業(yè)？在這里，權(quán)利主體的邊際線是有些模糊的。與此相應(yīng)，也很難在法律上對(duì)數(shù)據(jù)權(quán)利進(jìn)行排他性的保護(hù)。歐盟曾經(jīng)通過數(shù)據(jù)庫權(quán)利法規(guī)，試圖加強(qiáng)對(duì)數(shù)據(jù)權(quán)利的排他性保護(hù)，但結(jié)果卻失敗了。失敗的證據(jù)之一就是在歐洲沒有出現(xiàn)大規(guī)模的大數(shù)據(jù)產(chǎn)業(yè)、沒有出現(xiàn)在國際社會(huì)具有影響的巨型網(wǎng)絡(luò)經(jīng)濟(jì)平臺(tái)。用物權(quán)方式保護(hù)數(shù)據(jù)的制度安排與數(shù)據(jù)作為信息的屬性不很吻合。

大數(shù)據(jù)和人工智能導(dǎo)致社會(huì)發(fā)生的第二種變化是，市場交易的形態(tài)從物品轉(zhuǎn)向服務(wù)。我們都知道，現(xiàn)代法律體系的本質(zhì)是物品的所有、處分以及交易，基礎(chǔ)是物權(quán)。對(duì)現(xiàn)代社會(huì)的個(gè)人或者企業(yè)而言，財(cái)富或者物品的占有具有非常重要的意義。但是，進(jìn)入人工智能時(shí)代，服務(wù)變成了更重要的交易形態(tài)。記得我剛回國的時(shí)候，想聽音樂、想看影視劇，就要去買光碟。正因?yàn)楹芏喟l(fā)燒友希望擁有光碟，于是存在光碟交易的市場，也催生了盜版光碟的黑市，屢禁不止?，F(xiàn)在不必派糾察隊(duì)在大街小巷忙著禁止盜版光碟的販賣了，因?yàn)楝F(xiàn)在擁有光碟本身也變得不再重要了，你在網(wǎng)上就可以付費(fèi)下載有關(guān)的音樂或影視劇，質(zhì)量更好，也更方便。在這里，我們可以清楚地看到交易形態(tài)發(fā)生了從物品到服務(wù)的變化并帶來深遠(yuǎn)影響。汽車市場也有類似的趨勢。原來買一部好車對(duì)于年輕人來說是一種生活的夢(mèng)想。但是，現(xiàn)在租車非常方便，根據(jù)需要隨時(shí)可以租到好車，實(shí)際上買車的意義也就不是很大了。

與上述社會(huì)變化相對(duì)應(yīng)，通過人工智能進(jìn)行治理的方式以及制度條件也發(fā)生了本質(zhì)的變化，法與社會(huì)之間關(guān)系呈現(xiàn)出如下三種新的基本特征：

第一，智能網(wǎng)絡(luò)化。法與社會(huì)的各個(gè)方面都有人工智能的使用，但各種人工智能系統(tǒng)的目標(biāo)是不一樣的，有時(shí)甚至是互相矛盾的。在物聯(lián)網(wǎng)的背景下，人工智能系統(tǒng)相互間的作用變得越來越頻繁，結(jié)果導(dǎo)致了所謂智能網(wǎng)絡(luò)化的趨勢。我們?cè)诳紤]人工智能作用的時(shí)候，AIoT即智能物聯(lián)網(wǎng)是一個(gè)非常重要的特征。

第二，算法黑箱化。在萬物互聯(lián)互通、人工智能網(wǎng)絡(luò)化的背景下，算法變的越來越不可預(yù)測、越來越不可解釋。我們當(dāng)然希望算法是非常清楚的，可以理解、可以說明，這樣可以對(duì)因果關(guān)系加以確定，從法律的角度來看是可以問責(zé)。但是，如果算法黑箱化了，而我們又根據(jù)人工智能給出的結(jié)果進(jìn)行決策，那么對(duì)決策進(jìn)行問責(zé)就變得非常困難。與算法黑箱化相關(guān)的還有一個(gè)問題，這就是機(jī)器自主化。2019年8月，很多人注意到在Youtube網(wǎng)站上，一些機(jī)器人互相戰(zhàn)斗的視頻被算法自動(dòng)刪除了，但這不是原來人為設(shè)計(jì)的內(nèi)容，為什么會(huì)出現(xiàn)這樣意料之外的情況呢？有些人認(rèn)為這是機(jī)器人產(chǎn)生自我意識(shí)、具有認(rèn)知能力的一種征兆。人工智能系統(tǒng)自主判斷同類不能互相殘殺，所以自動(dòng)把視頻刪除了。算法黑箱化和機(jī)器覺醒等現(xiàn)象勢必導(dǎo)致對(duì)于法律來說最重要的問責(zé)機(jī)制的裂變或者瓦解。

第三，代碼即法律。法律系統(tǒng)面臨的來自人工智能的挑戰(zhàn)不限于問責(zé)問題，還包括從九十年代中期以來很多專家指出的代碼取代法律的問題。本來法律上已經(jīng)規(guī)定的權(quán)利，人工智能的技術(shù)規(guī)格設(shè)置之后導(dǎo)致這些權(quán)利沒有辦法行使或者改變行使的方式和內(nèi)容。比如說DVD復(fù)制是很方便、很常見的行為，但是為了保護(hù)知識(shí)產(chǎn)權(quán)，避免人們不斷對(duì)某個(gè)作品進(jìn)行DVD復(fù)制甚至牟利，有關(guān)行業(yè)設(shè)立新的標(biāo)準(zhǔn),通過技術(shù)代碼使DVD的復(fù)制次數(shù)只能限于兩到三次，也就是說限于家庭內(nèi)消費(fèi)使用。在這里,技術(shù)代碼實(shí)際上取代法律發(fā)揮了行為規(guī)范的作用。

實(shí)際上，經(jīng)濟(jì)社會(huì)的數(shù)字化也迫使法律系統(tǒng)在其他方面采取各種各樣的應(yīng)對(duì)舉措，既包括法律決策的技術(shù)輔助系統(tǒng)的開發(fā)，也包括判決自動(dòng)生成等智能決策系統(tǒng)的開發(fā)。但是，我們應(yīng)該清醒地認(rèn)識(shí)到，人工智能真正用于法律決策本身還有很漫長的路要走。因?yàn)榉蓻Q策涉及常識(shí)以及價(jià)值判斷，涉及幾乎沒有止境的常識(shí)庫建構(gòu)以及符號(hào)落地問題，這對(duì)人工智能來說是非常難的。人工智能更擅長對(duì)海量數(shù)據(jù)按照既定樣式進(jìn)行重復(fù)處理或者學(xué)習(xí)，有助于大幅度提高初級(jí)作業(yè)的效率。盡管如此，由于近年來人工智能的長足發(fā)展，特別是深度學(xué)習(xí)以及圖像和語音處理技術(shù)水平的提高，探討人工智能系統(tǒng)自動(dòng)做出法律決定的可能性增大了。剛才提到的這一切變化都使我們意識(shí)到，法律系統(tǒng)的基本概念和機(jī)制設(shè)計(jì)需要某種范式革命。

在這種巨變過程中，有兩種法律現(xiàn)象很值得我們關(guān)注和深入研究：

一是預(yù)測式的警察系統(tǒng)。人工智能用于大數(shù)據(jù)及其模型的分析可以精準(zhǔn)把握行為方式及其趨勢，有助于刑事犯罪的偵查和證明，也有助于對(duì)城市犯罪進(jìn)行預(yù)防。5G通信系統(tǒng)使大數(shù)據(jù)和人工智能的應(yīng)用范圍更廣，技術(shù)安裝和操作更便捷。中國5G宣傳片的主題就是利用這種智能化信息技術(shù)抓捕犯罪嫌疑人。嫌疑人不管逃往什么地方，不管怎樣變裝，都能迅速而精準(zhǔn)地進(jìn)行識(shí)別和定位。這種預(yù)測式的警察和檢察系統(tǒng)不僅在中國，在歐洲、美國、亞洲其他國家也都有廣泛的應(yīng)用。只是在這里確實(shí)會(huì)發(fā)生一些制度原理上的變化。

首先，預(yù)測式警務(wù)是根據(jù)行為人過去的行蹤以及社會(huì)狀況的大數(shù)據(jù)。預(yù)測犯罪可能性就意味著要根據(jù)一定的指標(biāo)處理大數(shù)據(jù)并對(duì)個(gè)人進(jìn)行區(qū)別歸類，實(shí)際上就是給每個(gè)公民貼上標(biāo)簽，加以區(qū)別對(duì)待。在分類、貼標(biāo)簽以及重點(diǎn)監(jiān)控的操作中很容易出現(xiàn)算法歧視的問題。其次，人工智能系統(tǒng)根據(jù)算法對(duì)大數(shù)據(jù)進(jìn)行計(jì)算，推測某一部分人存在較強(qiáng)的犯罪傾向，需要對(duì)他們進(jìn)行更嚴(yán)格的監(jiān)控，實(shí)際上就對(duì)一部分人采取了不同的法律對(duì)待，有違法律面前人人平等的原則。再者，更重要的是現(xiàn)代法治國家在刑事領(lǐng)域特別強(qiáng)調(diào)無罪推定原則以防止冤枉無辜，但是預(yù)測式警察和檢察系統(tǒng)針對(duì)特定人群提前采取各種監(jiān)控舉措，容易產(chǎn)生“疑人偷斧”的效應(yīng)，容易因標(biāo)簽而故入人罪，在一定意義上可以說是以有罪推定為前提的。

二是聯(lián)合信用懲戒系統(tǒng)。為了提高社會(huì)信用度，近年來中國一直在推廣信用評(píng)分的做法以及聯(lián)合信用懲戒系統(tǒng)。其中一個(gè)非常有代表性的實(shí)例是芝麻信用。芝麻信用的評(píng)分以350分為下限、950分為上限，其中350分到550分是屬于“屌絲”階層，550分到750分則是屬于信用優(yōu)良度較高人群。在芝麻信用系統(tǒng)打分超過800分的可以享有一些特權(quán)，例如租車、住酒店、買保險(xiǎn)、購房等等都可以免除押金或出具各種證明材料，甚至到國外旅行也可以享有一些特權(quán)，例如不需要開具銀行存款證明。這樣就為人們提高芝麻信用評(píng)分提供了各種誘因，同時(shí)也進(jìn)一步為社會(huì)的數(shù)字覆蓋提供了動(dòng)力。

當(dāng)然我們應(yīng)該適當(dāng)評(píng)價(jià)芝麻信用在提高社會(huì)信用度方面的積極作用。這個(gè)系統(tǒng)也有利于債權(quán)回收、債務(wù)履行績效的改進(jìn)。過去司法系統(tǒng)最頭疼的就是執(zhí)行難問題，借助芝麻信用的大數(shù)據(jù)有望得到解決。例如，失信人聯(lián)合懲戒機(jī)制的設(shè)計(jì)以及通過大數(shù)據(jù)的智能分析即時(shí)把握被執(zhí)行人的財(cái)產(chǎn)轉(zhuǎn)移狀況等等。最高人民法院系統(tǒng)與芝麻信用簽署了合作協(xié)議，目的就是把資產(chǎn)分布大數(shù)據(jù)以及消費(fèi)行蹤大數(shù)據(jù)與訴訟保全、判決執(zhí)行等司法舉措的實(shí)效性聯(lián)系起來。不得不指出，從法律與正義的角度來看，芝麻信用等打分系統(tǒng)也存在一些問題。其中一個(gè)最大的問題就是把人進(jìn)行分類、貼上標(biāo)簽，使一部分人在孩子入學(xué)、貸款、入保、租車、住酒店以及出國履行等問題享有與他人不同的待遇，社會(huì)變得等級(jí)化、差別化，有違法律面前人人平等的原則，形成某種事實(shí)上的歧視?？傊?，在中國網(wǎng)絡(luò)化、大數(shù)據(jù)化以及人工智能化實(shí)際上形成了一種“打分社會(huì)”，這個(gè)信用評(píng)價(jià)系統(tǒng)導(dǎo)致我們?cè)谏鐣?huì)治理和執(zhí)法司法上有了更方便的抓手，但同時(shí)帶來了一些新問題。

無論如何，物聯(lián)網(wǎng)、大數(shù)據(jù)以及人工智能對(duì)司法效率和司法質(zhì)量的提高還是發(fā)揮了顯著作用的，對(duì)改進(jìn)司法服務(wù)具有非常顯著的效果，所以我們應(yīng)該支持這樣一種改革。當(dāng)然，在理論上也要注意數(shù)字信息溝通技術(shù)所帶來的一系列變化，還要預(yù)防那些副作用和弊端。實(shí)際上，司法人工智能在中國迅速普及與近些年來訴訟案件的爆發(fā)式增長有著非常密切的關(guān)系。一方面，員額制改革導(dǎo)致法官、檢察官人數(shù)的減少，另一方面案件呈幾何級(jí)數(shù)增加，這就對(duì)司法效率提出了更高的要求。新一波人工智能發(fā)展為司法效率的提高確實(shí)創(chuàng)造了前提條件。但是，科技的廣泛應(yīng)用也會(huì)沖擊現(xiàn)有的體制機(jī)制。比如說，法官、檢察官的身份特權(quán)，實(shí)際上被解構(gòu)了。

法官、檢察官的職業(yè)身份保障，特別是法官在司法判斷方面的終局性地位，這些都是現(xiàn)代法治國家制度設(shè)計(jì)的基本原理。為什么賦予審判、檢察以獨(dú)立性，讓法官享有終局性判斷的權(quán)力呢？當(dāng)然因?yàn)榉ü佟z察官的遴選標(biāo)準(zhǔn)最嚴(yán)格，審判程序最公開、透明，在案件審理中要進(jìn)行公開辯論，不同主張反復(fù)進(jìn)行技術(shù)競賽和理由論證后才凝聚成判決。從這個(gè)意義上來說，終審判決應(yīng)該構(gòu)成“案結(jié)事了”的最佳節(jié)點(diǎn)。也正是為了保證這個(gè)“案結(jié)事了”節(jié)點(diǎn)的客觀性、中立性、權(quán)威性，才需要賦予司法判斷者以某種身份特權(quán)。但是，在人工智能引入司法之后，這種特權(quán)就被解構(gòu)了。比如說，審判主體其實(shí)是再次多元化了，存在復(fù)數(shù)的決定者。在很大程度上，司法人工智能把判決變成了法官與電腦工程師、軟件設(shè)計(jì)師、數(shù)據(jù)處理承包公司的共同決定，甚至還可能會(huì)在機(jī)器自主認(rèn)知、自主學(xué)習(xí)、自主決策的過程中出現(xiàn)“算法獨(dú)裁”的局面。

歐盟通用數(shù)據(jù)條例中有一條規(guī)定是非常重要的，即人工智能系統(tǒng)自動(dòng)做出的決定不能直接執(zhí)行，必須有人介入和監(jiān)控決定過程。這是一個(gè)堅(jiān)持以人為本的非常重要的原則，可以防止審判最后被算法或者自動(dòng)化機(jī)器所支配。在這個(gè)方面，上海司法界的認(rèn)識(shí)是清楚的、正確的，例如“206工程”等司法人工智能系統(tǒng)都被明確定位為審判的輔助性系統(tǒng)，要求法官成為真正的決策者。盡管如此，了解實(shí)際情況的人都可以理解，如果案件數(shù)量太多、審理工作負(fù)擔(dān)太重、又必須在法定審理期限內(nèi)結(jié)案，這時(shí)辦案法官難免傾向于直接使用人工智能系統(tǒng)自動(dòng)生成的參考判決文案，而不愿擔(dān)任自動(dòng)化作業(yè)負(fù)責(zé)專家思維和復(fù)雜溝通的“臨時(shí)工”，不愿從事數(shù)字信息技術(shù)時(shí)代的“幽靈工作”。其實(shí)辦案法官接受自動(dòng)決策的動(dòng)機(jī)也是合理的，因?yàn)樗绻龀雠c人工智能對(duì)模型和大數(shù)據(jù)進(jìn)行分析后得出的結(jié)論不同的判斷，那就必須進(jìn)行非常謹(jǐn)慎地推敲，并給出充分的理由，否則就有被問責(zé)的可能性。何況充分的審理需要支付大量的時(shí)間和精力成本，弄不好還會(huì)超過法定審理期限。反之，如果他接受人工智能系統(tǒng)給出的方案，由于“算法黑箱”現(xiàn)象的存在根本無法對(duì)他進(jìn)行問責(zé)，反而會(huì)因?yàn)樘幚戆讣母咝识艿姜?jiǎng)勵(lì)。這個(gè)情況下，算法支配審判的問題顯然是很容易出現(xiàn)的——盡管我們強(qiáng)調(diào)司法人工智能系統(tǒng)只是一種輔助性系統(tǒng)。

另外一個(gè)更深刻的問題就是所有人工智能系統(tǒng)推送的判決建議，都是根據(jù)既有的司法大數(shù)據(jù)做出來的，這時(shí)法律和案例已有的系統(tǒng)偏誤很可能會(huì)被大數(shù)據(jù)處理固定化。我們說的司法體制和制度的改革，即系統(tǒng)的改革在人工智能處理大數(shù)據(jù)和模型的情況下會(huì)變得比較困難。

還有一個(gè)重要問題是對(duì)于司法具有決定性意義的法律解釋和法律議論的空洞化乃至消亡。我們都知道，司法公正的關(guān)鍵是正當(dāng)程序以及在這個(gè)前提條件下進(jìn)行的理由論證。但是，大數(shù)據(jù)和人工智能相結(jié)合以及在此基礎(chǔ)上出現(xiàn)的算法獨(dú)裁，勢必使通過法庭公開辯論進(jìn)行法律推理的環(huán)節(jié)變得不太重要、不太可能，甚至逐步形同虛設(shè)。尤其是現(xiàn)階段中國的司法人工智能系統(tǒng)并沒有以關(guān)于法律推理的算法研究以及相關(guān)軟件程序設(shè)計(jì)為前提，對(duì)于法律議論與智能化審理之間關(guān)系的考慮不太充分，那就更容易出現(xiàn)壓抑乃至扼殺法庭辯論的嚴(yán)重后果。否則，中國的司法人工智能很容易蛻變?yōu)殡娮佑?jì)算機(jī)系統(tǒng)加簡易審判或者在線ADR這樣一種庸俗形態(tài)。因此，在推廣司法人工智能之際，必須認(rèn)真考慮法律的推理、解釋、議論等語言行為適當(dāng)反映到算法之中的問題。

從上世紀(jì)六十年代末七十年代初開始，美國、英國、德國、日本、蘇聯(lián)等主要國家都做過關(guān)于法律推理的智能化研究和系統(tǒng)設(shè)計(jì)，但進(jìn)展并不很大。坦率地說，我國司法人工智能在法律推理這一方面的研究積累還是很不充分的。法律解釋和法律議論的計(jì)算機(jī)化程度不高的原因，主要是把人工智能用于司法時(shí)存在的兩大障礙都與語言溝通活動(dòng)密切相關(guān)。

首先，處理案件時(shí)法官、檢察官往往會(huì)形成一個(gè)直覺判斷，這就是心證。這種直覺判斷是法官、檢察官根據(jù)案情、經(jīng)驗(yàn)、常識(shí)做出來的。然后司法者會(huì)根據(jù)證據(jù)和理由論證活動(dòng)檢驗(yàn)、證明或者修正這個(gè)直覺判斷，最后形成司法決定。如果用人工智能系統(tǒng)進(jìn)行判斷，那就必須把包括案情、經(jīng)驗(yàn)、感覺、知覺、常識(shí)在內(nèi)的所有信息都轉(zhuǎn)化為計(jì)算機(jī)語言，都要進(jìn)行編程計(jì)算。這意味著必須為司法人工系統(tǒng)構(gòu)建一個(gè)非常龐大的常識(shí)庫和知識(shí)圖譜。對(duì)人類來說非常直觀簡單的問題，但要將其轉(zhuǎn)換成計(jì)算機(jī)系統(tǒng)的計(jì)算程序就極為困難。甚至可以說，常識(shí)庫構(gòu)建是一項(xiàng)永無止境的工程。但是，如果沒有這樣的常識(shí)庫，人工智能系統(tǒng)對(duì)很多問題就無法進(jìn)行適當(dāng)?shù)呐袛唷＿@就是人工智能發(fā)展面臨的“框架問題”。如果沒有一個(gè)充分的常識(shí)庫作為參照框架用以支撐判斷活動(dòng)，那么人工智能系統(tǒng)就會(huì)陷入無限想象和沒有止境的語言游戲。在座各位如果曾經(jīng)跟人工智能系統(tǒng)進(jìn)行過對(duì)話就會(huì)知道，假如你說了一句氣話，對(duì)話機(jī)器人就會(huì)不斷問你不高興嗎，我能為你做什么之類，卻無法在判斷為什么不高興的基礎(chǔ)上做出適當(dāng)?shù)姆答仭３ＷR(shí)性判斷對(duì)人類很容易，但對(duì)人工智卻非常難，這就是所謂“框架問題”。

其次，法律判斷大都涉及價(jià)值判斷、文化特征、語言含義，這時(shí)候還存在一個(gè)所謂“符號(hào)接地問題”。對(duì)于人工智能系統(tǒng)來說，說“我愛你”并不會(huì)產(chǎn)生特異的感覺和浪漫的情調(diào)。人工智能系統(tǒng)可以把語言轉(zhuǎn)換成概念定義、計(jì)算規(guī)則，但不能真正理解語言所包含的情感、意義。對(duì)人工智能系統(tǒng)而言，任何甜言蜜語都只是計(jì)算的符號(hào)，而符號(hào)的價(jià)值蘊(yùn)含是無法落實(shí)和體驗(yàn)的。但在司法過程中，對(duì)語言含義的理解卻是極其重要的，中國傳統(tǒng)的“五聲斷獄”做法、強(qiáng)調(diào)“聽訟”也證明了這一點(diǎn)。

盡管司法人工智能系統(tǒng)的開發(fā)面臨“框架問題”和“符號(hào)接地問題”，我們還是應(yīng)該盡量把語言溝通的過程、把法律解釋和法律議論的理由論證過程反映到編程之中，盡量通過各種專家系統(tǒng)以及人機(jī)對(duì)話系統(tǒng)的軟件設(shè)計(jì)來改進(jìn)案件審理，盡量把法律溝通活動(dòng)轉(zhuǎn)變成以通信協(xié)議網(wǎng)絡(luò)為媒介的人機(jī)共生狀況。歸根結(jié)底，要通過物聯(lián)網(wǎng)、大數(shù)據(jù)以及人工智能的結(jié)合讓一種對(duì)話式的論證算法不斷進(jìn)行再生產(chǎn)，在現(xiàn)階段我們能夠做到的大概也就是這些。

三、司法人工智能治理的規(guī)則體系

既然人工智能已在司法實(shí)踐中廣泛應(yīng)用，但同時(shí)又存在以上所說的這些問題，為此必須加強(qiáng)對(duì)司法人工智能的治理，并且需要不斷對(duì)數(shù)據(jù)治理和算法治理進(jìn)行改善。在這樣的前提下，讓我們?cè)賮硖接懸幌滤痉ㄈ斯ぶ悄苤卫淼南嚓P(guān)問題。

首先應(yīng)該注意準(zhǔn)確定位。到目前為止，司法人工智能主要還是作為司法的輔助手段，是一種信息輸入和輸出的反饋系統(tǒng)。人工智能真正用于司法判斷，進(jìn)行自主認(rèn)知、自主學(xué)習(xí)乃至自主決策還有比較遙遠(yuǎn)的路要走。即使在司法輔助系統(tǒng)這個(gè)范圍之內(nèi)，我們?nèi)匀豢梢钥吹揭恍﹩栴}。目前在中國，司法人工智能的普及速度這么快，除了提高司法效率的現(xiàn)實(shí)需求以外，還有一個(gè)原因，這就是前面講到的網(wǎng)絡(luò)社會(huì)內(nèi)部互動(dòng)關(guān)系導(dǎo)致法官的裁量權(quán)變得非常大，容易導(dǎo)致個(gè)案偏誤，構(gòu)成司法不公或者司法腐敗的重要誘因。在這樣的狀況里，對(duì)法官的個(gè)案偏誤進(jìn)行校正，盡量實(shí)現(xiàn)所謂“同案同判”，這當(dāng)然是一條非常重要的正義標(biāo)準(zhǔn)。從這個(gè)角度來看下，人工智能在司法領(lǐng)域的應(yīng)用的確具有重要意義。但是，對(duì)大數(shù)據(jù)和模型進(jìn)行分析的人工智能系統(tǒng)能夠校正法官的個(gè)案偏誤，卻沒有辦法矯正所有法官都有可能存在的系統(tǒng)偏誤，沒有辦法矯正沉淀或潛伏在既往案例大數(shù)據(jù)里的那些系統(tǒng)偏誤，甚至還有可能放大已有的問題。

其次應(yīng)該注意治理的規(guī)則和舉措。但這里還要指出與治理相關(guān)的以下三種主要問題。一是算法的透明化悖論問題。針對(duì)前面所說的算法黑箱化趨勢，按照人工智能治理的原則，我們當(dāng)然要使算法透明化。這里需要留意的是司法領(lǐng)域中的算法透明化還存在一些特殊的悖論。在存在司法黑箱的情況下，如果把算法資源加以封閉，則很有可能導(dǎo)致內(nèi)部人濫用算法支配。但是，如果把算法資源開放化，又有可能促進(jìn)司法博弈，導(dǎo)致高明的律師或者技術(shù)專家來操作算法。這是一個(gè)非常復(fù)雜的問題。算法也很難考量具體案件中的特殊情景、例外、規(guī)范創(chuàng)新等。特別是日常場景中的曖昧性，還有價(jià)值判斷，都是司法人工智能發(fā)展的瓶頸問題。特別是人工智能網(wǎng)絡(luò)化，使得人工智能技術(shù)上失控和產(chǎn)生網(wǎng)絡(luò)混沌的風(fēng)險(xiǎn)增加。另外，目前我們各個(gè)地方的司法數(shù)據(jù)搜集的規(guī)格、標(biāo)準(zhǔn)不同，還有各地司法人工智能研發(fā)的標(biāo)準(zhǔn)也都不統(tǒng)一。這些相關(guān)問題歸結(jié)起來，我們可以得出這樣的結(jié)論：應(yīng)該盡快明確與法律相關(guān)人工智能的研發(fā)原則、政策、倫理標(biāo)準(zhǔn)、指導(dǎo)方針等，特別是要統(tǒng)一數(shù)據(jù)規(guī)格、統(tǒng)一算法設(shè)計(jì)標(biāo)準(zhǔn)，并且加強(qiáng)與國際社會(huì)的對(duì)話。

二是知識(shí)圖譜構(gòu)建問題。為此，我們首先需要構(gòu)建人工智能治理的知識(shí)圖譜，這當(dāng)然涉及到非常多的領(lǐng)域和維度。目前上海交通大學(xué)中國法與社會(huì)研究院以及人工智能治理與法律研究中心正在研究人工智能治理的知識(shí)圖譜，既包括與司法人工智能相關(guān)的各種影響，也包括規(guī)則體系的比較分析。比如說，人工智能在政治方面的影響是帶來黑箱決策問題，其中也包括公權(quán)力外包的問題；在經(jīng)濟(jì)方面的影響包括算法套利問題；在安全方面的影響是公共數(shù)據(jù)安全問題，例如數(shù)據(jù)被竊取、數(shù)據(jù)被篡改，還有個(gè)人隱私保護(hù)的問題。人工智能在文化、民生等方面也有深刻的影響，例如社會(huì)打分系統(tǒng)有潛在的違法性，對(duì)個(gè)人社會(huì)信用和社會(huì)危險(xiǎn)性的評(píng)價(jià)有可能導(dǎo)致歧視，導(dǎo)致一部分人永遠(yuǎn)處在不利狀況之中。由此可見，對(duì)人工智能進(jìn)行治理是一項(xiàng)浩大的系統(tǒng)工程，需要建構(gòu)相關(guān)的知識(shí)圖譜，還要分別對(duì)數(shù)據(jù)、算法以及應(yīng)用場景的知識(shí)規(guī)則進(jìn)行梳理和監(jiān)控。

三是具體舉措問題。針對(duì)數(shù)據(jù)、算法以及應(yīng)用場景逐一分析具體的實(shí)踐問題和應(yīng)對(duì)舉措，首先會(huì)發(fā)現(xiàn)公權(quán)力外包的合法性問題是司法大數(shù)據(jù)、司法人工智能應(yīng)用中不得不面對(duì)的一個(gè)重要問題。在座各位可能都非常清楚，司法機(jī)關(guān)必須把數(shù)據(jù)處理和算法設(shè)計(jì)這些技術(shù)性步驟委托給外面的公司處理。我也認(rèn)識(shí)一些人工智能技術(shù)專家，他們也跟法院、檢察院都有溝通，但這種溝通感覺是不充分的。他們會(huì)發(fā)現(xiàn)在進(jìn)行具體處理的時(shí)候有些標(biāo)準(zhǔn)本來應(yīng)該由法律專家提供的，但是實(shí)際上卻沒有，而是由對(duì)法律一竅不通的技術(shù)人員來裁量決定，有時(shí)候他們會(huì)覺得非常恐慌，擔(dān)心產(chǎn)生嚴(yán)重的問題和后果。

關(guān)于人工智能治理，國際上已經(jīng)形成了一些經(jīng)驗(yàn)和標(biāo)準(zhǔn)。在數(shù)據(jù)治理的層面，涉及個(gè)人敏感信息的處理，主要是保障隱私權(quán)、信息安全，也包括數(shù)據(jù)清洗的問題。在算法治理的層面，特別強(qiáng)調(diào)的是透明性、準(zhǔn)確性、可靠性、可解釋性、可驗(yàn)證性及可追溯性?？勺匪菪栽诜缮贤眠€原主義來表述，但我們知道這其實(shí)是很難的。另外，人工智能具有超人的計(jì)算能力，對(duì)海量數(shù)據(jù)進(jìn)行快速處理，這本來是人工智能特有的優(yōu)勢。如果我們讓人介入和監(jiān)控，就不得不使人工智能系統(tǒng)的運(yùn)轉(zhuǎn)慢下來，結(jié)果人工智能的優(yōu)勢就會(huì)失去。尤其在高度發(fā)達(dá)的人工智能階段，深度學(xué)習(xí)導(dǎo)致出現(xiàn)了一些人沒法理解的算法，這時(shí)就無法做到可解釋性。例如2017年柯潔與阿爾法狗進(jìn)行對(duì)弈以三比零敗給人工智能系統(tǒng)，后來專業(yè)棋手們復(fù)盤為什么阿爾法狗能夠贏，發(fā)現(xiàn)它在自我學(xué)習(xí)過程中有50盤棋的走法是圍棋高手都沒有辦法理解的。由此可見，要真正實(shí)現(xiàn)算法的可解釋性、可驗(yàn)證性，其實(shí)是蠻困難的。在應(yīng)用系統(tǒng)治理上，主要是向善性和無偏性這樣一些標(biāo)準(zhǔn)。

進(jìn)行比較分析可以發(fā)現(xiàn)，盡管存在基本共識(shí)，但各國關(guān)于數(shù)據(jù)和人工智能的具體治理模式還是有些不一樣。簡單地說，美國模式側(cè)重商業(yè)利益和數(shù)據(jù)公司、人工智能公司的發(fā)展，歐洲模式更強(qiáng)調(diào)規(guī)則以及對(duì)個(gè)人權(quán)利的保障，我國的治理方法有一點(diǎn)像上述兩種模式的混合。這些規(guī)則在座各位已經(jīng)很熟悉了，我就不贅述了。

從我國新一代人工智能發(fā)展規(guī)劃的發(fā)布可以看出，它的基本理念、主要方法、立法重點(diǎn)都是非常清晰的。特別是關(guān)于人工智能治理的九條原則，即共享互信原則、個(gè)體尊嚴(yán)原則、民主參與原則、國際合作原則、相機(jī)治理原則、公開透明原則、雙重規(guī)制原則、追蹤制裁原則、預(yù)防響應(yīng)原則，這些在國際上是具有共性的。其中也有一些特點(diǎn)，比如說第五條關(guān)于相機(jī)而動(dòng)的治理，與網(wǎng)絡(luò)社會(huì)的特征相吻合，也反映了中國傳統(tǒng)治理方式的影響。還有雙重規(guī)制原則，也體現(xiàn)了中國行政主導(dǎo)、綜合治理的特色。無論是數(shù)據(jù)治理，還是人工智能治理，都包括制度治理與技術(shù)治理這兩種不同的方式或者層面。制度治理主要表現(xiàn)為法律、法規(guī)、標(biāo)準(zhǔn)、指南以及倫理規(guī)則等，硬法、軟法都有。技術(shù)治理主要表現(xiàn)為人工智能系統(tǒng)操作中的技術(shù)細(xì)則及系統(tǒng)日志、記錄軟硬件的情況、監(jiān)督數(shù)據(jù)的收集等等。值得注意的是，制度治理和技術(shù)治理的這種耦合是理解人工智能治理規(guī)則體系的重要視角。

特別需要強(qiáng)調(diào)，2019年世界人工智能大會(huì)法治論壇上提出的法治導(dǎo)則是非常有意思的。其中把算法納入專利保護(hù)的范圍體現(xiàn)了中國制度化的重要成果；關(guān)于人工智能侵權(quán)的責(zé)任，強(qiáng)調(diào)根據(jù)過錯(cuò)程度進(jìn)行分擔(dān)，這具有鮮明的中國特色。從今年5月份頒布的《民法典》中我們也可以看出，對(duì)于數(shù)字化時(shí)代的一些問題已經(jīng)有一些非常重要的規(guī)則，此外還有正在審議之中的《個(gè)人信息保護(hù)法》草案和《數(shù)據(jù)安全法》草案。由于時(shí)間關(guān)系，就不展開說明了。

最后，梳理一下跟智能網(wǎng)絡(luò)和數(shù)據(jù)相關(guān)的主要法律問題，包括裝置、網(wǎng)絡(luò)、數(shù)據(jù)、人工智能、服務(wù)等不同的層面。還應(yīng)特別留意到在數(shù)字信息技術(shù)普及時(shí)代的法律范式創(chuàng)新問題，例如交易形態(tài)從物品轉(zhuǎn)向服務(wù)會(huì)導(dǎo)致權(quán)利觀念發(fā)生變化，例如技術(shù)代碼在很多方面取代合同及法律發(fā)揮行為規(guī)范的作用，這意味著規(guī)范形態(tài)正在發(fā)生重要的變化。人工智能系統(tǒng)導(dǎo)致的責(zé)任問題還包括算法黑箱化使問責(zé)變得比較困難，這對(duì)檢察院發(fā)揮法律監(jiān)督功能或多或少產(chǎn)生影響。另外，如果由人工智能系統(tǒng)的開發(fā)者、利用者分擔(dān)責(zé)任的話，可能導(dǎo)致責(zé)任負(fù)荷過重，妨礙人工智能在各領(lǐng)域的廣泛應(yīng)用。那么能不能使人工智能系統(tǒng)利用者的責(zé)任有限化，從而讓機(jī)器人也享有法律上的人格？如果機(jī)器人享有法律上的人格，隨之而來的還有機(jī)器人的言論自由權(quán)利、防止虐待機(jī)器人的問題，甚至包括人工智能系統(tǒng)的刑事責(zé)任問題都會(huì)提出來。這些問題看起來比較玄妙，但是在人工智能已經(jīng)如此普及、社會(huì)已經(jīng)實(shí)現(xiàn)數(shù)字覆蓋的今天，這樣的問題離我們似乎并不遙遠(yuǎn)了。

我就講到這里。謝謝大家！

文稿整理：上海交通大學(xué) 季衛(wèi)東

上海市檢察院 林竹靜

喜歡此內(nèi)容的人還喜歡

原標(biāo)題：《75號(hào)咖啡|數(shù)字時(shí)代的司法觀（一）： 司法人工智能開發(fā)的原則與政策》