本篇選自野村綜合研究所數字基礎開發部部門經理、高階研究員城田真琴先生近日在“大資料應用中日交流論壇”上所做的題為《日本的大資料應用環境和發展狀況》的演講。
本篇主要分為四點與大家分享：
- 日本大資料發展狀況與發展趨勢
- 日本《個人資訊保護法》的修訂
- 法律修訂後的大資料業務
- 日本大資料應用面臨的課題
一、日本大資料的發展狀況
2012到2014期間，大資料是當時非常流行的詞彙，之後被檢索的頻次開始呈現下降趨勢。
之後，人工智慧被越來越受到關注，在2014年12月份，“人工智慧”檢索次數首次超越了“大資料”檢索次數。
上圖是日本在1998年到2018年20年間部分相關法律的制定和大資料的實際運用案例。
“小松”系統是民間企業第一個開始運用大資料的例子。該系統早在1998年開始實行。在這20年間，“小松”系統仍是日本國內受人稱讚的例子。
“移動空間統計”應用是手機公司NTT於2013年10月推出的服務。
該應用基於基站資料可以精確推測某地區大致的手機使用者的數量，從而統計其相關資料，包括該地區人口分佈統計和動態統計。
在車輛搭乘該系統後，可以瞭解到車輛的行駛情況。也可以瞭解到駕駛員的駕駛方式和駕駛偏好。現在可以根據開車的行駛的距離去算具體的保險費的費率，也就是說，可以通過該系統計算出符合個人駕駛行為習慣的費率。
把線上線下的問題（網路與現實）綜合地結合起來，大資料可能會發揮出更大效用。這樣，當本公司資料不夠用時，可以和其他大型網路公司聯手，運用其他不同行業的資料，就如日本的積分卡和一些公司的會員卡制度所積累的資料，可能會使這些資料得到更大程度的使用。
有些專門從事大資料處理的公司，跟他們聯手，可以把這些資料的價值使用的更廣。現在有很多這樣的企業，著重於大資料的開發和利用。
但是，當把資料移交給第三方公司時，卻有很多顧慮。當資料可能包含消費者資訊，個人資訊，這些必須通過想關持有人同意，否則無法移交其他公司進行開發利用。因此，在相關法律的限制下，有些日本企業中的人並不十分積極去使用第三方提供的資料。
在日本，乘鐵路是使用交通卡，而且交通卡都是實名制，其中包括個人的姓名，聯絡方式及出生日期等。鐵路公司把乘客的乘車記錄交給第三方公司時，儘管對個人隱私做了消除處理，但消費者對此仍然不滿，並提起訴訟，日本國民對於個人隱私保護是特別在意。媒體對此也進行報導，鐵路公司停止該行為。這也成為法律修訂的契機。
日本某大型資訊教育公司，委託第三方企業管理本公司的客戶資訊。但第三方公司的員工以有償的方式把該客戶資訊出售給其他企業。事件最終暴露，引起社會的廣泛關注。
上述事件在社會上引起反響，日本政府仍決心推進大資料的使用。
2013年6月份，日本宣佈“建立世界最先進的IT國家宣言”。
如何平衡隱私保護和大資料應用，這是一個長期的課題。但是在日本，更多的是放在隱私保護方面，更重視隱私保護。而且作為企業，也擔心萬一在隱私保護上出點問題，有可能影響客戶的聲譽，所以企業在大資料的使用方面也是非常謹慎的。
二、《個人資訊保護法》的修訂
《個人資訊保護法》修改要點
首先關於個人資訊在修訂之前，更多指的是名字、地址和出生年月日，這樣能夠識別特定相關個人的資訊。但是實際上從企業的角度來說，像指紋、DNA，或者是虹膜，乃至電腦號碼，手機號碼等資訊亦屬於個人資訊的範疇。
除了匿名加工之後的資訊之外，企業獲取的個人資訊需獲本人的同意才能提供給第三方。匿名加工資訊的做法，現在沒有統一的方式，要根據具體內容來定，比如有些把名字、地址、出生年月日或者把其他的刪掉即可，必須根據不同的個案予以思考。其概念的引入，意義重大。
《個人資訊保護法》修訂中名冊企業治理對策
三、法律修訂後的大資料業務
把資料進行匿名化的處理，在不涉及法律的情況下，提供給第三方。擁有資料方和資料利用方之間形成了資料交換的平臺。這種資料交換平臺，它保證不會涉及到違法的問題，可以讓資料的利用方放心的使用資料交換平臺提供的資料。
“資訊銀行”是一項新的業務。它的出現避免匿名加工資訊所帶來對資訊資源利用的破壞。資訊銀行是通過尊重個人的意志方式來決定是不是提供個人資訊，比如這家公司可以提供，那家公司就不提供。而且獲取資訊的一方，會向使用者提供一定的報酬。
日本信用評價業務的先驅：J.Score
它和中國的芝麻信用是比較相近的，也許是參考芝麻信用的做法來推出的業務。它在銀行、電商獲取一些個人資訊，利用AI對資料進行分析計算從而進行評級。提供資訊的使用者可以從相關企業中獲得“AI評分獎勵”。
四、日本大資料應用面臨的課題
2013年，我們做了一個問卷調查，左邊是日本，右邊是美國。從中可以看出，日本的資料科學家，或者資料分析專家只有8%左右，而美國的企業卻有50%左右，現在已經有很大的差距。如今日本出現大資料熱潮和人工智慧熱潮，很多企業都在致力於培養資料科學家，但是跟美國企業相比，仍然有比較大的差距。
日本企業高管，他們從傳統上來說一直不善於用資料來進行決策，更多的是重視直覺，或者是經驗。他們在猶豫不決時，就依靠自己的膽量進行決策。他們不擅長以資料為基礎進行決策，或者在企業的經營之中靈活的使用資料。
總結
- 日本的大資料應用，關鍵是平衡隱私保護和資料利用兩者關係。其特點是更多的重視隱私的保護。
- 《個人資訊保護法》的修訂是轉折點。
- 目前，“資訊銀行”和“信用評分”等新型商務已經興起。
- 資料科學家短缺和根據資料進行決策是重大課題。