解碼百融云創(chuàng)Indra平臺(tái):看隱私計(jì)算如何打破數(shù)據(jù)孤島
作為一家致力于探索人工智能和大數(shù)據(jù)在金融領(lǐng)域應(yīng)用的科技企業(yè),百融云創(chuàng)始終注重大數(shù)據(jù)應(yīng)用過程中的數(shù)據(jù)安全與隱私保護(hù)。近年來,百融云創(chuàng)人工智能專家從隱私集合求交集、聯(lián)邦學(xué)習(xí)等技術(shù)方向入手,結(jié)合大數(shù)據(jù)具體應(yīng)用場(chǎng)景需求,搭建起了隱私保護(hù)計(jì)算平臺(tái)Indra,為金融大數(shù)據(jù)應(yīng)用過程中保障數(shù)據(jù)可用性和隱私性給出了創(chuàng)新解法。
隱私計(jì)算關(guān)鍵技術(shù)
數(shù)據(jù)的分析處理全生命周期可分為數(shù)據(jù)輸入、計(jì)算、結(jié)果三個(gè)環(huán)節(jié),當(dāng)下市面上的隱私計(jì)算技術(shù)體系普遍依據(jù)這一原則進(jìn)行構(gòu)建。大體上,隱私計(jì)算包括差分隱私、同態(tài)加密、多方安全計(jì)算、零知識(shí)證明、可信執(zhí)行環(huán)境、聯(lián)邦學(xué)習(xí)等技術(shù)。
聯(lián)邦學(xué)習(xí)
聯(lián)邦學(xué)習(xí)(Federated Learning, FL),是由兩個(gè)或以上參與方共同參與,在保證各數(shù)據(jù)方的原始數(shù)據(jù)不出庫(kù)的前提下,協(xié)作構(gòu)建并使用機(jī)器學(xué)習(xí)模型的人工智能技術(shù)。聯(lián)邦學(xué)習(xí)能有效幫助多個(gè)機(jī)構(gòu)在滿足用戶隱私保護(hù)、數(shù)據(jù)安全和政府法規(guī)的要求下,進(jìn)行數(shù)據(jù)使用和機(jī)器學(xué)習(xí)建模。聯(lián)邦學(xué)習(xí)實(shí)際上是一個(gè)綜合性的技術(shù)組合,底層融合了多種機(jī)器學(xué)習(xí)算法和隱私保護(hù)的算子,如安全多方計(jì)算的多種協(xié)議和差分隱私,都可以被用于聯(lián)邦學(xué)習(xí)。
聯(lián)邦學(xué)習(xí)的原理是通過構(gòu)建一個(gè)計(jì)算網(wǎng)絡(luò),使客戶可以在自己的終端通過使用本地?cái)?shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,并將模型的更新內(nèi)容進(jìn)行上傳匯總,將不同終端的模型更新進(jìn)行融合,以此優(yōu)化預(yù)測(cè)模型,客戶終端再將更新后的模型下載到本地,并不斷重復(fù)這一過程。在整個(gè)過程中,終端數(shù)據(jù)始終存儲(chǔ)在本地,來避免數(shù)據(jù)泄露的風(fēng)險(xiǎn)。
根據(jù)數(shù)據(jù)集的分布特點(diǎn),聯(lián)邦學(xué)習(xí)可分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)與聯(lián)邦遷移學(xué)習(xí)。百融云創(chuàng)Indra平臺(tái)主要針對(duì)應(yīng)用場(chǎng)景更豐富的縱向聯(lián)邦學(xué)習(xí),比如同一個(gè)地區(qū)的銀行和電商,他們用戶重疊較多;但是,由于銀行記錄的都是用戶的收支行為與信用評(píng)級(jí),而電商記錄的是用戶瀏覽與購(gòu)買歷史,因此用戶特征重疊較少。
安全多方計(jì)算
安全多方計(jì)算,顧名思義, 是在保證多個(gè)參與方獲得正確計(jì)算結(jié)果的同時(shí),無法獲得計(jì)算結(jié)果之外的任何信息,從而保證各方數(shù)據(jù)的安全和私密。安全多方計(jì)算技術(shù)包括秘密共享(secret sharing)、不經(jīng)意傳輸(oblivious transfer)、混淆電路(garbled circuit)、隱私集合求交集(private set intersection), 隱私信息檢索(privacy information retrieval)等關(guān)鍵計(jì)算協(xié)議。
安全多方計(jì)算的優(yōu)勢(shì)在于,各參與方對(duì)其所擁有的數(shù)據(jù)擁有絕對(duì)的控制權(quán),保證基本數(shù)據(jù)和信息不會(huì)泄露。然而,目前安全多方計(jì)算技術(shù)包含復(fù)雜的密碼學(xué)操作,計(jì)算開銷較大,需要付出很大的性能代價(jià)。此外,針對(duì)特定問題和場(chǎng)景,還需要設(shè)計(jì)專用協(xié)議。另外,該技術(shù)的落地還受到網(wǎng)絡(luò)帶寬、延遲等因素制約。因此,提升計(jì)算效率,降低實(shí)施方案設(shè)計(jì)復(fù)雜度,與此同時(shí)拓展技術(shù)落地場(chǎng)景,將是未來安全多方計(jì)算在產(chǎn)業(yè)應(yīng)用的優(yōu)化和發(fā)展方向。
二.解碼百融云創(chuàng)Indra平臺(tái)
目前Indra平臺(tái)包含基于OT的PSI和聯(lián)邦學(xué)習(xí)兩大部分。
對(duì)于PSI,Indra平臺(tái)采用基于OT和基于公鑰兩種形式。兩種PSI算法分別適用于合作方數(shù)據(jù)集和客戶數(shù)據(jù)集差不多大、合作方數(shù)據(jù)集遠(yuǎn)遠(yuǎn)大于客戶數(shù)據(jù)集兩種情形。Indra平臺(tái)的PSI算法既適用于普通的求交集計(jì)算,也適用于聯(lián)邦學(xué)習(xí)的訓(xùn)練和預(yù)測(cè)階段。百融云創(chuàng)作為管理中心可以提供多方(不僅僅是兩方)數(shù)據(jù)集合求交集。
Indra平臺(tái)還將與區(qū)塊鏈技術(shù)結(jié)合起來,為合作方提供數(shù)據(jù)確權(quán)服務(wù),實(shí)現(xiàn)數(shù)據(jù)價(jià)值流轉(zhuǎn)。同時(shí)區(qū)塊鏈還可以為Indra平臺(tái)提供公平、透明、合理的激勵(lì)分配機(jī)制,克服安全多方計(jì)算內(nèi)在的缺陷,充分調(diào)動(dòng)合作方提供高質(zhì)量數(shù)據(jù)、誠(chéng)實(shí)參與計(jì)算的積極性。
平臺(tái)架構(gòu)圖
整個(gè)Indra平臺(tái)邏輯上分為管理中心、合作方、客戶三大部分。
管理中心:百融云創(chuàng)是Indra平臺(tái)的管理中心,負(fù)責(zé)用戶管理、向客戶展示合作方數(shù)據(jù)集列表、PSI和聯(lián)邦學(xué)習(xí)任務(wù)調(diào)用,以及結(jié)果返回。百融云創(chuàng)既是數(shù)據(jù)中介機(jī)構(gòu)(管理中心),也是數(shù)據(jù)提供方(合作方)。即使百融云創(chuàng)作為管理中心,百融云創(chuàng)和客戶也無法拿到合作方的數(shù)據(jù),充分保護(hù)合作方數(shù)據(jù)的安全。
合作方:大量數(shù)據(jù)的擁有者,可以將數(shù)據(jù)集的描述提供給管理中心,等待客戶使用其數(shù)據(jù),從數(shù)據(jù)中獲取價(jià)值。
客戶:根據(jù)自身需求,選擇管理中心提供的數(shù)據(jù)集列表向管理中心發(fā)起PSI或聯(lián)邦學(xué)習(xí)任務(wù)請(qǐng)求,同時(shí)向管理中心和合作方支付費(fèi)用。
平臺(tái)系統(tǒng)流程圖
1.合作方將數(shù)據(jù)的ID進(jìn)行Hash后上傳合作數(shù)據(jù)集(PSI數(shù)據(jù)集、聯(lián)邦學(xué)習(xí)數(shù)據(jù)集)到自己的服務(wù)器,并將合作數(shù)據(jù)集的相關(guān)描述發(fā)送給Indra平臺(tái)管理中心;
2.Indra平臺(tái)管理中心向客戶展示可用的數(shù)據(jù)集;
3.客戶選擇合適的數(shù)據(jù)集,發(fā)起相應(yīng)的任務(wù)(PSI任務(wù)、聯(lián)邦學(xué)習(xí)訓(xùn)練任務(wù)、聯(lián)邦學(xué)習(xí)預(yù)測(cè)任務(wù));
4.Indra平臺(tái)管理中心分配、調(diào)度任務(wù),選擇合適的功能模塊;
5.合作方、管理中心、客戶合作完成任務(wù):
5.1當(dāng)執(zhí)行PSI任務(wù)時(shí),管理中心綜合各匹配結(jié)果,合并、生成最終匹配結(jié)果,并將結(jié)果保存、記賬、下發(fā),客戶可以展示、下載、解析匹配結(jié)果;
5.2.當(dāng)執(zhí)行聯(lián)邦學(xué)習(xí)訓(xùn)練任務(wù)時(shí),管理中心產(chǎn)生所需的公私鑰和中間計(jì)算結(jié)果的解密,合作方、客戶聯(lián)合訓(xùn)練模型,最終合作方和客戶各自得到模型的一部分;
5.3.當(dāng)執(zhí)行聯(lián)邦學(xué)習(xí)預(yù)測(cè)任務(wù)時(shí),客戶選擇已有的模型和對(duì)應(yīng)的合作方數(shù)據(jù)集,通過改進(jìn)的PSI協(xié)議,獲得預(yù)測(cè)結(jié)果。
Indra平臺(tái)應(yīng)用場(chǎng)景
Indra平臺(tái)為合作方、客戶之間提供了一種安全、高效的數(shù)據(jù)合作模式,各方在不泄露數(shù)據(jù)的情況下仍然可以挖掘數(shù)據(jù)價(jià)值,確保數(shù)據(jù)使用的合規(guī)性。
黑名單匹配
在多頭借貸名單、黑名單匹配中,客戶往往會(huì)查詢多家機(jī)構(gòu)的數(shù)據(jù)集,以確定借款者是否在多頭借貸名單或黑名單中。在這個(gè)過程中,最理想的狀態(tài)是除了借貸機(jī)構(gòu)用戶集和黑名單共同的數(shù)據(jù)之外,其他任何信息都不會(huì)泄露。一種簡(jiǎn)單的方法是將各自數(shù)據(jù)都進(jìn)行哈希運(yùn)算,哈希值相同的就是共同的數(shù)據(jù)。但是這樣做就會(huì)把哈希值暴露給對(duì)方,如果數(shù)據(jù)空間不是很大很容易遭到暴力求解。即使通過一些手段增加數(shù)據(jù)空間,也會(huì)造成匹配率下降等問題。
Indra平臺(tái)向客戶集中展示多個(gè)合作方提供的多頭借貸名單和黑名單,包括歷史匹配率、被匹配次數(shù)、匹配效果等信息??蛻舾鶕?jù)這些信息自由選擇想要匹配的多頭借貸名單或黑名單。事后客戶還可以在Indra平臺(tái)上反饋數(shù)據(jù)集使用情況,以便其他客戶更有針對(duì)性地選擇合適的數(shù)據(jù)集。
2.在線預(yù)測(cè)
在使用聯(lián)邦學(xué)習(xí)訓(xùn)練得到最終的模型,往往各參與方只掌握模型的一部分。使用模型時(shí),仍然需要各方聯(lián)合起來進(jìn)行預(yù)測(cè)。作為客戶的一方并不希望其他參與方知曉預(yù)測(cè)的用戶ID。比如借貸機(jī)構(gòu)和征信機(jī)構(gòu)合作預(yù)測(cè)某個(gè)借款人的信用,借貸機(jī)構(gòu)并不想讓對(duì)方知道該借款人有借款需求,否則征信機(jī)構(gòu)可以將借款人的信息提供給其他借貸機(jī)構(gòu),所以借貸機(jī)構(gòu)希望在預(yù)測(cè)借款人信用的同時(shí)并不會(huì)泄露借款人的信息。
在預(yù)測(cè)階段同樣可以使用Indra平臺(tái)的PSI組件:參與各方計(jì)算各自模型的結(jié)果并和ID一一對(duì)應(yīng)起來;客戶在求得用戶ID交集的同時(shí)也能獲得該ID對(duì)應(yīng)的各自模型的計(jì)算結(jié)果,從而可以計(jì)算出最終的預(yù)測(cè)結(jié)果。根據(jù)PSI的技術(shù)特點(diǎn),在這個(gè)過程中,除了客戶之外其他參與方(合作方)均不知道用戶ID交集的信息,也就無法知道客戶到底預(yù)測(cè)的是哪個(gè)用戶ID。
此外,通過使用Indra平臺(tái)的PSI組件,在不向合作方泄露用戶ID的情況下,客戶可以從合作方那兒獲得該用戶ID的其他信息,如歷史借款次數(shù)、借款金額等。
3.聯(lián)合建模
為了聯(lián)合多方數(shù)據(jù)集訓(xùn)練模型,傳統(tǒng)的方法是參與方在本地計(jì)算模型,然后將各自的模型提交給第三方,第三方根據(jù)這些模型合成一個(gè)新的模型。這樣做可以保證各方數(shù)據(jù)隱私安全,但是第三方可以獲得各方模型,往往模型本身也屬于參與方的核心資產(chǎn)并不希望泄露出去。同時(shí),雖然各參與方的模型基于各自數(shù)據(jù)集,但是最終合成的模型并不是直接使用各方數(shù)據(jù)集,所以模型的效果沒有直接使用數(shù)據(jù)訓(xùn)練模型的效果好。另一種方法是參與方各自拿出少量的數(shù)據(jù)放到一起進(jìn)行模型訓(xùn)練。這樣做仍然會(huì)有少量的數(shù)據(jù)泄露,而且由于只是少量數(shù)據(jù),并不能得到最優(yōu)的模型。
Indra平臺(tái)在聯(lián)合建模方面使用聯(lián)邦學(xué)習(xí)技術(shù),模型的訓(xùn)練直接使用各參與方的數(shù)據(jù)集,通過PSI、Paillier加密等密碼學(xué)技術(shù),保證數(shù)據(jù)均是在密文狀態(tài)下進(jìn)行訓(xùn)練。訓(xùn)練完成之后,參與方除了獲得最終模型外,無法得到其他參與方的任何數(shù)據(jù)信息。
4.數(shù)據(jù)中介
和傳統(tǒng)的數(shù)據(jù)超市不同,Indra平臺(tái)只展示合作方數(shù)據(jù)集的相關(guān)描述,而不會(huì)真正擁有合作方的具體數(shù)據(jù),解決數(shù)據(jù)孤島困境,避免非法數(shù)據(jù)交易,實(shí)現(xiàn)數(shù)據(jù)價(jià)值。由于Indra平臺(tái)可以充分保護(hù)合作方數(shù)據(jù)安全,合作方將自有數(shù)據(jù)集的相關(guān)信息(數(shù)據(jù)本身不出庫(kù)),如數(shù)據(jù)量、字段、來源、用途等發(fā)布到Indra平臺(tái)。Indra平臺(tái)將合作方數(shù)據(jù)集、歷史使用情況等信息集中展示給客戶。客戶可以根據(jù)數(shù)據(jù)集相關(guān)信息和自身需求,選擇合適的數(shù)據(jù)集進(jìn)行匹配、建?;蝾A(yù)測(cè)等操作。Indra平臺(tái)對(duì)數(shù)據(jù)集的使用情況、效果等信息進(jìn)行統(tǒng)計(jì),方便后續(xù)客戶選擇高質(zhì)量的數(shù)據(jù)集,也能激勵(lì)合作方提供更優(yōu)質(zhì)的數(shù)據(jù)。
隨著大數(shù)據(jù)的蓬勃發(fā)展,隱私保護(hù)技術(shù)的逐步透明和普及,互聯(lián)互通、技術(shù)開源和標(biāo)準(zhǔn)定制,未來兩年將迎來爆發(fā)式的發(fā)展,極大地賦能金融機(jī)構(gòu)在科技場(chǎng)景的落地,能更好運(yùn)用隱私保護(hù)技術(shù)的企業(yè),無疑能夠更好的利用大數(shù)據(jù)帶來的價(jià)值。未來,百融云創(chuàng)會(huì)加大對(duì)隱私保護(hù)技術(shù)的研發(fā)和創(chuàng)新,始終引領(lǐng)金融行業(yè)的科技創(chuàng)新方向。
免責(zé)聲明:市場(chǎng)有風(fēng)險(xiǎn),選擇需謹(jǐn)慎!此文僅供參考,不作買賣依據(jù)。
關(guān)鍵詞:
相關(guān)閱讀
-
股市一年賺20點(diǎn)是什么水平?鐵路基建上...
股市一年賺20%很正常,行情好的時(shí)候可能體現(xiàn)不了水平,不過行情不好... -
中超第19輪的補(bǔ)賽開打 梅州客家在大連...
昨天下午,中超第19輪的補(bǔ)賽全面開打。北上大連的梅州客家在大連市... -
廣東男籃23分擊敗上海大鯊魚 布魯克斯...
昨晚,CBA常規(guī)賽再戰(zhàn)一輪,廣東男籃以23分的優(yōu)勢(shì)擊敗上海大鯊魚隊(duì),... -
全紅嬋首次參加跳水世界杯 207C動(dòng)作得...
昨晚,在德國(guó)柏林舉行的跳水世界杯產(chǎn)生了首枚金牌。在女子雙人十米... -
李瑋鋒出任廣州城主帥 廣州城才逐漸走...
在結(jié)束第21輪0∶0逼平滄州雄獅的比賽之后,廣州城只是稍作休整,在1... -
《和平精英》的開放世界 全局開放商業(yè)想象
未來30年,元宇宙將是中國(guó)的支柱產(chǎn)業(yè),至少有12億人可以成為元宇宙... -
如何打破銀行場(chǎng)景金融轉(zhuǎn)型焦慮 百融云...
身處數(shù)字經(jīng)濟(jì)時(shí)代,用戶對(duì)于千人千面、實(shí)時(shí)響應(yīng)、場(chǎng)景化的訴求日益... -
泰隆銀行突破柜臺(tái)窗口式政務(wù)服務(wù)定式思...
日前,紹興市柯橋區(qū)外貿(mào)共享客廳在泰隆銀行紹興分行揭牌成立,在全... -
世界快資訊丨固定資產(chǎn)投資增速加快 投...
相關(guān)閱讀:消費(fèi)市場(chǎng)逐步恢復(fù)新型消費(fèi)增勢(shì)良好政策措施加力顯效工業(yè)... -
四部門:部署開展涉企違規(guī)收費(fèi)專項(xiàng)整治...
人民網(wǎng)北京10月27日電(記者孫博洋)記者從市場(chǎng)監(jiān)管總局了解到,日... -
臺(tái)州銀行投向小微企業(yè)與“三農(nóng)”客戶的...
臺(tái)州銀行溫州分行成立12年來,與小微企業(yè)和三農(nóng)交貼心的朋友,累計(jì)... -
精彩看點(diǎn):智通A股融資融券統(tǒng)計(jì)|10月27日
智通A股融資融券統(tǒng)計(jì)|10月27日 -
進(jìn)出口銀行浙江省分行:21.5億元紅獅印...
由進(jìn)出口銀行浙江省分行牽頭的等值21 5億元人民幣紅獅印尼東加銀團(tuán)... -
浙商銀行投放人行設(shè)備更新改造再貸款清...
近期,浙商銀行落實(shí)設(shè)備更新改造再貸款和制造業(yè)中長(zhǎng)期貸款投放的相... -
紹興市成立科學(xué)家研究中心 打造弘揚(yáng)科...
日前,紹興市科學(xué)家精神研究中心揭牌成立儀式在紹興文理學(xué)院舉行。... -
浙江省科協(xié)科普部組織浙江農(nóng)林大學(xué)5位博...
日前,浙江省科協(xié)科普部組織浙江農(nóng)林大學(xué)5位博士科技志愿者,響應(yīng)智... -
鹿城區(qū)科協(xié)持續(xù)舉辦項(xiàng)目路演活動(dòng) 吸引...
近日,為加速推動(dòng)科技成果轉(zhuǎn)化,促進(jìn)產(chǎn)業(yè)高質(zhì)量發(fā)展,服務(wù)國(guó)家創(chuàng)新... -
孫宇晨2022釜山區(qū)塊鏈周演講:區(qū)塊鏈?zhǔn)?..
據(jù)韓國(guó)媒體全球經(jīng)濟(jì)新聞10月27日?qǐng)?bào)道,波場(chǎng)TRON創(chuàng)始人孫宇晨線上出... -
世界即時(shí)看!挺進(jìn)深地挖掘油氣潛能(新知)
【現(xiàn)象】今年6月,西南油氣田雙魚001—H6井鉆井深度達(dá)9010米,創(chuàng)造... -
三季度就業(yè)形勢(shì)總體穩(wěn)定
核心閱讀 人社部日前發(fā)布的三季度就業(yè)數(shù)據(jù)顯示:就業(yè)形勢(shì)總體穩(wěn)...