銀行業(yè)如何搭建自己的自服務(wù)數(shù)據(jù)平臺(tái)？

時(shí)間：2024-02-05 22:50:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2024-02-05 22:50:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

銀行業(yè)如何搭建自己的自服務(wù)數(shù)據(jù)平臺(tái)？：提供一個(gè)浙江銀行的大數(shù)據(jù)平臺(tái)案例，和題主的需求十分相似。

傳統(tǒng)來(lái)講，銀行定制一張報(bào)表，分析某個(gè)業(yè)務(wù)數(shù)據(jù)，主要通過(guò)業(yè)務(wù)部門提出需求，科技部門編寫(xiě)程序來(lái)實(shí)現(xiàn)。其中的問(wèn)題，題主也說(shuō)了，從提出需求到科技部最終開(kāi)發(fā)完報(bào)表，中間存在反復(fù)的口徑溝通、試驗(yàn)取數(shù)的過(guò)程。一張報(bào)表，從考慮排期問(wèn)題，提出需求，到最終完成快則一兩周，慢則幾個(gè)月。

解決這個(gè)問(wèn)題的有效辦法是：

1、把明細(xì)寬表他們可理解的數(shù)據(jù)，給到業(yè)務(wù)部門，交由業(yè)務(wù)人員自助探索分析。

2、基礎(chǔ)查詢類報(bào)表：來(lái)自于基層業(yè)務(wù)和日常工作，功能作用于某一項(xiàng)具體的工作，比如銷售業(yè)績(jī)查詢、商品庫(kù)存查詢、在途庫(kù)存查詢、采購(gòu)訂單查詢等，形成固定類目的查詢報(bào)表，用戶在工作需要時(shí)，會(huì)通過(guò)查詢此類報(bào)表，來(lái)得到自己想要的數(shù)據(jù)，以支撐自己的工作。

后者主要還是IT部門負(fù)責(zé)，前者IT部門可推動(dòng)去做。這里著重講講前者。

BI平臺(tái)選擇

要解決業(yè)務(wù)自助取數(shù)，自助分析，這里需要一個(gè)BI平臺(tái)。那市面上的BI工具FineBI支持快速靈活、交互式、探索性的數(shù)據(jù)查詢和分析，浙江銀行也是基于FineBI去開(kāi)發(fā)的。

IT人員和業(yè)務(wù)人員共同定制好業(yè)務(wù)可理解的主題包（這里IT人員直接將數(shù)據(jù)按業(yè)務(wù)按主題準(zhǔn)備在FineBI的業(yè)務(wù)包中），可以將數(shù)據(jù)由業(yè)務(wù)人員自行設(shè)計(jì)報(bào)表。通過(guò)這種方式進(jìn)行統(tǒng)計(jì)分析，在定制數(shù)據(jù)包的基礎(chǔ)上由業(yè)務(wù)人員自主查詢數(shù)據(jù)，所見(jiàn)即所得，在數(shù)據(jù)查詢、統(tǒng)計(jì)的過(guò)程中分析，可以大大提高工作效率。搭建這個(gè)系統(tǒng)之外，他們還做了一件事，就是在各個(gè)業(yè)務(wù)條線培養(yǎng)具有數(shù)據(jù)分析挖掘能力的人才，解決日常工作中的數(shù)據(jù)分析難題。

平臺(tái)架構(gòu)

1、大數(shù)據(jù)平臺(tái)建設(shè)：

對(duì)于大體量?jī)?nèi)外部數(shù)據(jù)的高度自由的實(shí)時(shí)查詢，需要有可靠的底層數(shù)據(jù)處理平臺(tái)的支撐。從經(jīng)濟(jì)成本和未來(lái)數(shù)據(jù)的非線性增長(zhǎng)趨勢(shì)的角度分析。設(shè)計(jì)的架構(gòu)時(shí)，傳統(tǒng)的交易系統(tǒng)運(yùn)用關(guān)系型數(shù)據(jù)庫(kù)處理OLTP事務(wù)操作，產(chǎn)生的交易數(shù)據(jù)通過(guò)異構(gòu)數(shù)據(jù)的批量復(fù)制方式或消息隊(duì)列的準(zhǔn)實(shí)時(shí)方式更新至Hadoop平臺(tái)，Hadoop平臺(tái)可以進(jìn)行大體量數(shù)據(jù)的分析和挖掘，并提供基于大數(shù)據(jù)的應(yīng)用系統(tǒng)實(shí)時(shí)檢索的模式。

2、數(shù)據(jù)資源整合：

持續(xù)整合核心系統(tǒng)、信貸管理系統(tǒng)、信用卡系統(tǒng)、個(gè)貸系統(tǒng)等幾十個(gè)業(yè)務(wù)的交易數(shù)據(jù)、賬戶數(shù)據(jù)和客戶基礎(chǔ)數(shù)據(jù)，建立數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)治理體系，開(kāi)發(fā)風(fēng)險(xiǎn)數(shù)據(jù)集市、資產(chǎn)負(fù)債管理集市、監(jiān)管報(bào)送集市等多個(gè)內(nèi)部數(shù)據(jù)集市。行外引入包括監(jiān)管部門的客戶風(fēng)險(xiǎn)預(yù)警信息、人行客戶征信報(bào)告數(shù)據(jù)、工商總局企業(yè)注冊(cè)信息數(shù)據(jù)、企業(yè)納稅信息、海關(guān)進(jìn)出口交易數(shù)據(jù)、法院客戶涉訴信息、失信被執(zhí)行人信息、環(huán)保不達(dá)標(biāo)信息、欠稅信息、工商處罰信息、公民身份證信息、個(gè)人學(xué)歷學(xué)籍信息、公共媒體負(fù)面信息等19項(xiàng)外部數(shù)據(jù)源，幾千項(xiàng)外部數(shù)據(jù)字段，并運(yùn)用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)和命名實(shí)體識(shí)別技術(shù)，抓取公共網(wǎng)絡(luò)媒體輿情信息，形成海量的外部數(shù)據(jù)集市；

通過(guò)在大數(shù)據(jù)平臺(tái)上整合行內(nèi)與行外數(shù)據(jù)，線上與線下數(shù)據(jù)，結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，有效解決了傳統(tǒng)銀行普遍面臨的“信息孤島”問(wèn)題。在數(shù)據(jù)整合的基礎(chǔ)上，利用智能化大數(shù)據(jù)分析工具進(jìn)行各類數(shù)據(jù)的統(tǒng)計(jì)、分析、查詢和建模成為可能。

3、工具選型：

調(diào)研了市場(chǎng)上各類數(shù)據(jù)挖掘和分析工具，針對(duì)不同需求不同數(shù)據(jù)分析能力的人集成了多種工具提供使用：

• 數(shù)據(jù)挖掘和建模人員：提供SAS和分布式R語(yǔ)言工具，可以使用專業(yè)的數(shù)據(jù)分析工具進(jìn)行挖據(jù)和建模；
• 具有數(shù)據(jù)庫(kù)操作能力的人員：提供類SQL方式的自定義快速報(bào)表開(kāi)發(fā)工具，所有報(bào)表設(shè)計(jì)和菜單控件均通過(guò)瀏覽器可視化配置；
• 對(duì)于了解業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)人員：提供智能BI多維分析工具FineBI，通過(guò)拖拽方式即可實(shí)現(xiàn)各類復(fù)雜的統(tǒng)計(jì)和圖表功能；
• 對(duì)于普通一線員工：可以方便的查詢平臺(tái)上已設(shè)計(jì)好的各類模板，并且可以使用客戶關(guān)系圖譜、互聯(lián)網(wǎng)輿情分析等可視化查詢工具。

最終效果

1、降低數(shù)據(jù)挖掘分析的門檻

BI平臺(tái)的使用使得數(shù)據(jù)分析的門檻大為降低，數(shù)據(jù)分析工作可以下沉到最基層。不需要了解數(shù)據(jù)庫(kù)，甚至不需要懂太多數(shù)理統(tǒng)計(jì)的專業(yè)知識(shí)，只要了解業(yè)務(wù)的人員，都可以根據(jù)自己的一個(gè)關(guān)注點(diǎn)自定義分析和挖掘，并可以分享給其他員工。

2、實(shí)現(xiàn)離散式管理

傳統(tǒng)模式的報(bào)表開(kāi)發(fā)維護(hù)和管理都集中在部分開(kāi)發(fā)和管理人員身上，面對(duì)日益增長(zhǎng)的數(shù)據(jù)分析需求，這種模式顯露出響應(yīng)能力的不足和資源的瓶頸。平臺(tái)打破原來(lái)總行定制固定報(bào)表，分支機(jī)構(gòu)只能查詢的集中式管理模式，變?yōu)榱巳巳硕伎梢允菆?bào)表開(kāi)發(fā)員的離散式管理模式，實(shí)現(xiàn)千人千創(chuàng)意，讓數(shù)據(jù)發(fā)揮最大價(jià)值。

3、數(shù)據(jù)安全和便捷的平衡

提升數(shù)據(jù)分析便捷性的同時(shí)，數(shù)據(jù)安全問(wèn)題也是銀行關(guān)注的重點(diǎn)。平臺(tái)在權(quán)限管理中也需做到智能化。

首先，對(duì)敏感字段，如客戶名稱、地址、手機(jī)等，在定義報(bào)表的同時(shí)就可實(shí)現(xiàn)自動(dòng)脫敏；

其次，數(shù)據(jù)權(quán)限有報(bào)表和機(jī)構(gòu)兩個(gè)維度，不同分支機(jī)構(gòu)的用戶，即使獲得了同一張報(bào)表的權(quán)限，也僅能查看自己機(jī)構(gòu)的數(shù)據(jù)，避免了數(shù)據(jù)的任意傳播。

---

最后分享一些資源：