作者:劉超

互聯(lián)網(wǎng)這個詞目前已經(jīng)普遍化,這大概也歸功于羅振宇的羅輯思維對于互聯(lián)網(wǎng)概念的極力宣揚,似乎不加上互聯(lián)網(wǎng)三個字,企業(yè)宣傳都張不開嘴。于是互聯(lián)網(wǎng)+這個名詞就隨處可見了。

支撐互聯(lián)網(wǎng)化的" />

国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

18143453325 在線咨詢 在線咨詢
18143453325 在線咨詢
所在位置: 首頁 > 營銷資訊 > 電子商務 > 從互聯(lián)網(wǎng)+角度看云計算的現(xiàn)狀與未來

從互聯(lián)網(wǎng)+角度看云計算的現(xiàn)狀與未來

時間:2023-03-13 04:56:01 | 來源:電子商務

時間:2023-03-13 04:56:01 來源:電子商務

本文由網(wǎng)易云 發(fā)布

作者:劉超

互聯(lián)網(wǎng)這個詞目前已經(jīng)普遍化,這大概也歸功于羅振宇的羅輯思維對于互聯(lián)網(wǎng)概念的極力宣揚,似乎不加上互聯(lián)網(wǎng)三個字,企業(yè)宣傳都張不開嘴。于是互聯(lián)網(wǎng)+這個名詞就隨處可見了。

支撐互聯(lián)網(wǎng)化的一個重要的力量就是云計算。但現(xiàn)在的云已經(jīng)外延被擴大的不知道到哪里去了,什么財務云,發(fā)票云等等,讓我們這些做計算、網(wǎng)絡、存儲、中間件、大數(shù)據(jù)的,都沒辦法和這些外延清晰的區(qū)分出來。

現(xiàn)在人工智能火了,也加入到了云計算的范疇中來,因而各種智慧云都出來了,智慧教育、智慧醫(yī)療、智慧交通等。

傳統(tǒng)行業(yè)中干辛苦活的,眼睜睜的看著互聯(lián)網(wǎng)公司雙十一一天賺了一年的錢,于是紅著眼睛也想紛紛上船,踏上互聯(lián)網(wǎng)化、云化、智慧化的浪潮。

我們來盤點一下當前的現(xiàn)狀,展望一下未來。

一、回望那些火過的互聯(lián)網(wǎng)應用,發(fā)現(xiàn)歷史竟如此相似

互聯(lián)網(wǎng)都火過啥,從最早興起的三大門戶網(wǎng)站,Google退出后大家爭相追逐的搜索引擎、社交網(wǎng)站、電商、微博、團購、互金、視頻網(wǎng)站、O2O、直播、單車等等,一波接著一波,長江后浪推前浪,前浪死在沙灘上。

他們都經(jīng)歷著下面的這個循環(huán)。

首先要有個人有個創(chuàng)意,做一個沒有的產(chǎn)品或發(fā)明一種沒有的商業(yè)模式,當創(chuàng)意得到市場認可的時候,就迎來了市場的爆發(fā),大家紛紛涌入,做同質(zhì)化的產(chǎn)品,將一個新興的市場變成一個紅海,在紅海中進行生死較量,有的退出了,有的倒閉了,有的被兼并,最終只能剩下兩三家,或者成為巨頭,或者被巨頭收購。

前面所說的這樣浪潮,都沒有逃脫這個循環(huán),唯一不同的是,這個循環(huán)越來越快,門戶網(wǎng)站的角逐持續(xù)了好多年,而最近的這些浪潮一般十八個月就會見分曉。創(chuàng)業(yè)公司越來越發(fā)現(xiàn),融的資看起來一輪比一輪大,但是都花不了太久時間。

市場沒有耐心,你不采取激進的市場策略,競爭對手會的,你便宜,對手更便宜,你免費,就有人敢補貼。

投資人沒有耐心,不在短期內(nèi)拿出傲人的成績,你就不會有下一輪,所以不花錢,被對手的聲勢碾壓了,沒有下一輪,是個死,使勁花錢,把對手碾壓了,在勝出之前,沒有下一輪,還是個死。

核心員工沒有耐心,如果想公司有較快的發(fā)展,必須要找到牛的人,牛的人往往很貴,會讓你融的錢花的很快,當然有一部分創(chuàng)業(yè)者可以通過愿景和期權(quán)留住牛人,但是這是有實效的,牛人往往社交面廣,有獨立的思維,不是那么容易被忽悠住的,牛人往往身懷絕技,容易被挖,所以除了畫餅,你還需要不斷的兌現(xiàn)一些餅,例如你的生意要在較短的期限內(nèi)有一個起色,或者到另外一個高度。

所以隨著這個循環(huán)越來越快,留給互聯(lián)網(wǎng)公司的時間越來越少,能勝出的互聯(lián)網(wǎng)公司往往具備快速的迭代速度,對傳統(tǒng)行業(yè)進行沖擊。而傳統(tǒng)行業(yè)的老板們也想通過加上互聯(lián)網(wǎng)能力,獲取相同的競爭優(yōu)勢。那到底什么才叫互聯(lián)網(wǎng)化呢?

二、什么才是互聯(lián)網(wǎng)公司,什么才是AI公司

吳恩達在AI Conference的講座中,提到了他對什么是互聯(lián)網(wǎng)公司,什么是AI公司的理解,我覺得非常的深刻。

(1) 商場 + 網(wǎng)站 ≠ 互聯(lián)網(wǎng)公司

如果你是一個傳統(tǒng)的商場,僅僅是做了一個網(wǎng)站,那不叫互聯(lián)網(wǎng)化。

真正標識一個互聯(lián)網(wǎng)公司的,有以下幾點:

(2) 傳統(tǒng)科技公司 + 機器學習/神經(jīng)網(wǎng)絡 ≠ AI公司

如果你是一家傳統(tǒng)公司,只是其中的一個部門用上了機器學習和神經(jīng)網(wǎng)絡技術(shù),那你不是一家AI公司。

一家真正的AI公司,應該有如下的特點:

在AI公司里,產(chǎn)品經(jīng)理在和工程師溝通的時候,需要學會運用數(shù)據(jù),要求精確的反饋。產(chǎn)品經(jīng)理除了有客戶思維,應該有數(shù)據(jù)思維,就像吳恩達說的一樣,做一個人工對話機器人,產(chǎn)品經(jīng)理畫一個框,里面一個小人,是沒有意義的,要知道數(shù)據(jù)從哪里來,如何獲取這些數(shù)據(jù),如何利用這些數(shù)據(jù),如何定量的評估人工對話機器人的效果是否有提升,這不能感性的來,也是要有數(shù)據(jù)。

三、傳統(tǒng)公司互聯(lián)網(wǎng)化所應該考慮的三大架構(gòu)

要想讓你的公司盡快的實現(xiàn)互聯(lián)網(wǎng)化,需要從三大架構(gòu)考慮。

四、IT架構(gòu)趨勢一:從資源彈性向架構(gòu)彈性轉(zhuǎn)變,互聯(lián)網(wǎng)公司和傳統(tǒng)公司差距越來越大

當前云化已經(jīng)成為業(yè)內(nèi)的共識,但是云計算的目前的狀態(tài)還處于云計算1.0時期,也即僅僅實現(xiàn)了資源層面的彈性。

什么叫彈性呢?

說的通俗一點就是靈活性,主要包含兩個方面的靈活性,一個是時間靈活性,也即想什么時候要就什么時候要,一個是空間靈活性,也即想要多少,就要多少。

人們之所以云化,是因為物理機是無法實現(xiàn)這種靈活性的。物理機有四個方面的不靈活,一是采購不靈活,采購期短則一兩周,長則一兩個月,二是粒度不靈活,無法采購一個1核1G1M帶寬的機器,三是復用不靈活,同樣一臺物理機,一個人用過了,很難復原成原樣,讓另外一個人使用,除非重裝系統(tǒng),四是運維不靈活,很多事情要去機房才能搞定,而機房往往在最偏的地方。

虛擬化技術(shù)解決了這個問題,點即可得解決采購靈活性問題,可大可小解決粒度靈活性問題,即創(chuàng)即銷解決復用靈活性問題,界面運維解決運維靈活性問題。唯一沒有解決的問題是調(diào)度靈活性,需要手動運維,因而規(guī)模有限。

云計算的調(diào)度技術(shù)使得集群規(guī)模非常的大,并且可以自動調(diào)度,從而從客戶的角度,真正實現(xiàn)資源彈性。

但如果云計算不管應用,則會是什么樣呢?例如平時我們只需要十臺虛擬機,但是雙11的秒殺場景,我們需要一百臺虛擬機,有了云計算資源層面的彈性,我們只要在云平臺上一點,很快90臺虛擬機就創(chuàng)建出來了,但是里面的應用呢?

還是需要我們的運維人員一臺一臺去安裝,實在是太復雜了,無法實現(xiàn)真正的彈性。

于是我們開始想云計算如何來管理應用。

我們把應用分成兩種,一種叫做通用的應用,例如這里面寫的Spark,Mysql,Hadoop,這些應用的特點是通用,誰安裝都一樣,但是運維起來又相對比較復雜,應該交給云平臺去運維和擴容。另一種叫自己的應用,這些應用的安裝云平臺無法幫到你,因為你自己的應用只有你自己知道怎么安裝,所以云平臺往往提供了一些基于腳本的工具來做這些事情,例如Chef、Puppet、Ansible等。但是腳本有一個最大的弱點,一旦環(huán)境有差異,腳本就很難順利運行成功,所以導致基于腳本的安裝工具,實現(xiàn)跨云遷移非常困難。

于是容器應運而生。

容器的英文是Container,Container另一個意思是集裝箱,其實容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點,一是打包,二是標準。

在沒有集裝箱的時代,假設將貨物從A運到B,中間要經(jīng)過三個碼頭、換三次船。每次都要將貨物卸下船來,擺的七零八落,然后搬上船重新整齊擺好。因此在沒有集裝箱的時候,每次換船,船員們都要在岸上待幾天才能走。

有了集裝箱以后,所有的貨物都打包在一起了,并且集裝箱的尺寸全部一致,所以每次換船的時候,一個箱子整體搬過去就行了,小時級別就能完成,船員再也不能上岸長時間耽擱了。

這是集裝箱“打包”、“標準”兩大特點在生活中的應用。

部署任何一個應用,也包含很多零零散散的東西,權(quán)限,用戶,路徑,配置,應用環(huán)境等!這就像很多零碎地貨物,如果不打包,就需要在開發(fā)、測試、生產(chǎn)的每個環(huán)境上重新查看以保證環(huán)境的一致,有時甚至要將這些環(huán)境重新搭建一遍,就像每次將貨物卸載、重裝一樣麻煩。中間稍有差池,都可能導致程序的運行失敗。

那么容器如何對應用打包呢?還是要學習集裝箱,首先要有個封閉的環(huán)境,將貨物封裝起來,讓貨物之間互不干擾,互相隔離,這樣裝貨卸貨才方便。

另外就是如何將這個集裝箱標準化,從而在哪艘船上都能運輸。這里的標準一個是鏡像,一個是容器的運行環(huán)境。

所謂的鏡像,就是將你焊好集裝箱的那個時刻,將集裝箱的狀態(tài)保存下來,就像孫悟空說定,集裝箱里面就定在了那一刻,然后將這一刻的狀態(tài)保存成一系列文件。這些文件的格式是標準的,誰看到這些文件,都能還原當時定住的那個時刻。將鏡像還原成運行時的過程(就是讀取鏡像文件,還原那個時刻的過程)就是容器的運行的過程。

有了容器,云計算才真正實現(xiàn)了應用層和資源層的完全彈性。

在這里暫時總結(jié)一下,雖然從技術(shù)角度來講,容器已經(jīng)成為一個趨勢,然而在真正的實施過程中,云計算1.0時代,將應用云化的過程,很多傳統(tǒng)公司尚未完成。然而,在大型的互聯(lián)網(wǎng)公司,基于容器的云計算2.0技術(shù)實現(xiàn)架構(gòu)的全彈性伸縮,已經(jīng)在大規(guī)模使用。容器的三大平臺戰(zhàn)役已經(jīng)落下帷幕,Kubernetes已經(jīng)全面勝出,現(xiàn)在在互聯(lián)網(wǎng)公司的論壇中,再講容器技術(shù),已經(jīng)感覺是很老套的技術(shù)了,然而在很多傳統(tǒng)企業(yè),云化卻尚未完成,這中間鴻溝巨大,利用容器技術(shù)的快速迭代,將是對還未進行云化的公司的降維打擊。

五、IT架構(gòu)趨勢二:云化容器化不可逆轉(zhuǎn),IT人員越來越貴,只有規(guī)模大才能降低成本,通過自動化和智能化,讓少數(shù)的高薪IT人員管理大規(guī)模集群

也有人會說,你老說云化,云化怎么好,能夠降低成本,可真正實踐下來,云的技術(shù)雖然在不斷的進行迭代,然而我的運維成本,還越來越高。

原來用物理機的時候,其實我只需要懂基本的Linux知識就可以運維了,后來你們忽悠我上虛擬化軟件,虛擬化軟件非常非常的貴,能夠會使用虛擬化軟件證書的人更貴。后來虛擬化軟件存在綁定的問題,于是你們忽悠我用開源的虛擬化軟件OpenStack,誰知道開源并沒有免費,如果不進行適配和定制,基本上沒辦法在生產(chǎn)環(huán)境中使用,但如果一旦定制,又變成了一個私有化的軟件,這時候我的運維人員,不但要會用虛擬化軟件,還需要去開發(fā)虛擬化軟件,能開發(fā)虛擬化軟件的實在是非常貴,而且如果自己運維OpenStack沒有五十甚至一百人的團隊,根本搞不定,后來你們說應該用容器,可是用了容器以后,計算網(wǎng)絡存儲的技術(shù)一樣不能少,而且還要懂應用,全棧工程師就更加貴了。

云計算真的能夠降低成本嗎?難道我用了假的云計算?

接下來我們詳細分析一下云計算的使用方式。

最簡單的使用方式,當然是使用公有云,公有云就相當于你買了一個公寓房,成本非常的低廉,同時隔離也是邏輯的,在高峰期的時候,不免有爭搶資源的現(xiàn)象。

如果你想不被爭搶資源,可以使用專屬主機,就相當于買了一整棟單元樓,這臺物理機上的所有的虛擬機都是你的,然而很多PaaS服務如數(shù)據(jù)庫還是在公用集群上的。

于是有很多公司就想建設自己的私有云,把這比喻成為住別墅,其實這頂多是農(nóng)村自建房,因為你可能需要去別人的數(shù)據(jù)中心里面租一塊地,然后或者自建云平臺,或者招標云平臺。沒有人會去想住別墅的時候,自己拿地自己去蓋,自己出了問題自己去修,這樣部署運維更新,成本非常的高,你需要自己養(yǎng)一個專業(yè)的運維團隊來做這件事情。

這種方式往往只能解決心理上的安全問題,真的安全嗎?不一定。就像農(nóng)村自建房,沒有完善的物業(yè),也沒有完善的保安一樣,托管在別人數(shù)據(jù)中心中的云平臺,很難保證不被鄰居機架上不專業(yè)的運維行為威脅你的安全。你搭建了云平臺,你的鄰居機架上直接用物理機,我們經(jīng)常見到有的小公司在公司里面一個VPN,將辦公網(wǎng)絡和機房的物理機連通起來,辦公網(wǎng)的wifi非常不安全,如果有黑客能夠到達鄰居的物理機,很可能就能黑到你的物理機上面來。

除非你是大土豪,例如電信銀行電力,自己拿地,自己建數(shù)據(jù)中心,自己,有成百上千人的運維團隊,有非常完善的機房運維流程,就相當于特朗普自己拿塊地自己蓋別墅,自己招聘物業(yè),自己雇保安,當然是最最安全的??赡艽蟛糠值膫鹘y(tǒng)企業(yè),都不能享受這樣的待遇。

網(wǎng)易云專屬云服務,商業(yè)別墅型云服務。地網(wǎng)易來拿,房子網(wǎng)易來蓋,物業(yè)網(wǎng)易來管,保安網(wǎng)易來招。相當于在網(wǎng)易的機房里面,劃出一塊地方來,這個地方上面部署的云平臺資源全是你自己的,但是硬件、網(wǎng)絡、安全、安裝、升級、修復,你都不用來管,有非常專業(yè)的運維團隊來做這件事情,這些運維操作保證安全合規(guī),你只需要關注自己的應用就可以了。

網(wǎng)易為什么要推出專屬云呢?因為我們認為云化容器化的趨勢是一定的,前面所敘述的道路本身沒有錯誤,能懂OpenStack和Docker的技術(shù)牛人越來越貴是必然的,只有規(guī)模越來越大,才能體現(xiàn)云的成本優(yōu)勢。例如谷歌,谷歌里面的運維工程師相當相當貴,有幾十萬,甚至上百萬美金的年薪,他們掌握這些最先進的技術(shù)是沒有任何問題的,但是他們會通過各種自動化,甚至智能化的技術(shù),管理全球的幾百萬臺機器,這樣成本攤下來就不是很高了,所以谷歌完全養(yǎng)得起。如果你只是運維一個幾十個節(jié)點,最多幾百個節(jié)點的云平臺,同樣需要招一些這么貴的人,一般的企業(yè)肯定受不了,所以對于大部分企業(yè)來說,應該將IT架構(gòu)交給最專業(yè)的牛人。

我個人甚至認為,將來只有兩種云平臺,一個是大規(guī)模公有云平臺,一個是土豪的自建云平臺,其他的形式都會隨著技術(shù)的越來越先進,運維人員的要求越來越高,運維人員的年薪越來越貴,而消失。

六、業(yè)務架構(gòu)趨勢一:互聯(lián)網(wǎng)沖擊已成必然,快速變更成為核心競爭力,DevOps重構(gòu)組織架構(gòu),流程,文化是必然選擇

在業(yè)務架構(gòu)方面,我這里強調(diào)的是服務化。是解決如何避免開發(fā)和運維的黑天鵝問題。

所謂黑天鵝,就是遇到了原來沒有遇到過的問題,原來我們想象應用不改,從而穩(wěn)定,已經(jīng)因為互聯(lián)網(wǎng)的沖擊而成為了泡影。

互聯(lián)網(wǎng)要求你的應用變化快,所以你不得不改。你的傳統(tǒng)的應用,例如傳統(tǒng)的刷卡支付,一旦對接到互聯(lián)網(wǎng)平臺,例如在線支付,你所面臨的吞吐量,比原來大很多倍,這是一個新問題,不改比改風險更大。

所以,如上面那個圖中所說,因為變化快,所以我們要把應用,拆成微服務,每一個模塊獨立迭代,獨立發(fā)布,這樣才能應對變化。因為扛不住,所以我們還是要用微服務,原來一個程序去扛,現(xiàn)在多個應用一起去扛,才可能扛住。

然而拆成了微服務,服務多了,版本也多了,運維就變成了一個大難題,一般的傳統(tǒng)公司,開發(fā)和運維的比例相當高,讓如此少的運維去運維如此多的服務和版本,運維壓力非常大,而且會非常的不穩(wěn)定。

所以這個時候是應該使用容器,使得對于環(huán)境的部署這件事情提前到開發(fā)階段來做,開發(fā)人員不能做甩手掌柜,而從開發(fā)完代碼的時候,就要關心環(huán)境的配置,生成容器鏡像。

這個時候,雖然每個開發(fā)都多了一些工作,但是每個模塊的開發(fā)人員,僅僅維護自己模塊的容器鏡像,工作量不是特別大,而如果把所有的環(huán)境部署全部交給少數(shù)的運維,則非常容易出錯,這其實是相當于每個開發(fā)多了5%的工作量,從而減少了運維人員200%的工作量。

有人說這樣運維部開心了,開發(fā)部不愿意打鏡像怎么辦呢,所以這就需要DevOps的文化,將開發(fā)和運維中間的墻打通,才能加快迭代速度,保障系統(tǒng)的穩(wěn)定性。

網(wǎng)易有一個專門做DevOps的質(zhì)量管理平臺,將整個過程打通。

這里面還有一個故障演練平臺,是利用故意的方式,模擬一些系統(tǒng)錯誤,從而測試系統(tǒng)的穩(wěn)定性和容錯性,只有經(jīng)過了故障演練系統(tǒng)還不出問題,才是真正的穩(wěn)定,而不是不動它,因為你不動它,不知道什么原因,突然他掛了整個系統(tǒng)就不可用了,如果你時常故障演練,在演練的過程中,還能保持系統(tǒng)可用,這才是避免黑天鵝的主動出擊的方法。

所以互聯(lián)網(wǎng)化的沖擊,使得原來所有不變就相當于穩(wěn)定的幻想破滅了,快速變更,成為核心競爭力,DevOps的文化成為必然的選擇,這就是我們常說的高頻打低頻。

七、業(yè)務架構(gòu)趨勢二:服務化形成能力復用中心,快速推出產(chǎn)品,打通數(shù)據(jù)平臺,占領新產(chǎn)業(yè)生物鏈的高端

服務化的第二個作用,就是可以形成能力復用的中心。

如果像原來那樣煙囪式的系統(tǒng)建設,會使得信息之間彼此是獨立的,而且每當開發(fā)一個新應用,成本都會非常的高,每個系統(tǒng)都有自己的用戶管理,每個系統(tǒng)都有自己的商品管理。其實應該有一個用戶中心,有一個商品中心,并且用戶中心和商品中心全部做成服務,這樣當你要開發(fā)一個新的系統(tǒng)的時候,你只要調(diào)用用戶中心的接口就可以了,不需要重新開發(fā)一個用戶中心系統(tǒng),當這樣的能力復用的中心越來越多的時候,你創(chuàng)新出來的新的應用會越來越薄,越來越輕便,推出的越來越快。而且這樣信息也是彼此互通的,一個用戶聽了音樂,買了商品,坐了公交,買了海鮮,上了在線課程,這樣一個完整的用戶的畫像,就能夠勾勒出來。

只有數(shù)據(jù)打通,數(shù)據(jù)才能成為你的核心競爭力之一,只有能力復用,才能盡快推出新的產(chǎn)品。

現(xiàn)在所謂的新零售,和第四方物流,都是要建立這樣的數(shù)據(jù)中心和能力中心。最苦最累的活兒,比如說最終端的送快遞,平臺不會去做,然而物流怎么流通,到底送到哪里,倉儲如何分配,這個卻在能力中心和數(shù)據(jù)中心已完成。新零售也是同樣的道理,你的供應鏈,到底應該進哪些貨,進多少,什么時候送到哪里,這些統(tǒng)一的數(shù)據(jù)中心和能力中心都會幫你計算,你只要老老實實開你自己的小店就可以。這樣,無論你是一個開店的,還是一個終端物流,你的喉嚨就在別人的手中,苦活都是你來干,鈔票都是別人賺。

八、數(shù)據(jù)架構(gòu)趨勢一:戰(zhàn)略性的數(shù)據(jù)收集,整合,反饋使得公司成為AI時代牌桌上的競爭者的基礎

對于數(shù)據(jù)的收集和數(shù)據(jù)的應用的頻率和實時性,是互聯(lián)網(wǎng)公司和傳統(tǒng)公司的一大區(qū)別。很多傳統(tǒng)的公司也有自己的運營平臺,然而它的運營工作是從各個終端收集數(shù)據(jù),然后用Excel表格進行整理,每兩周做一次整合,寫成報告,然后反饋給高層,高層根據(jù)這些報告,作出下一個階段的運營策略,從而指導下一個階段的運營。

這種運營方式在傳統(tǒng)行業(yè)是沒有問題的,然而對于互聯(lián)網(wǎng)公司是不可能的。大家可能想象,對于一家電商來講,618和雙11是多么的重要,一年中大部分的營業(yè)額都是在這兩天完成的,而最關鍵的就是凌晨過后的四個小時,在雙11的凌晨的四個小時中,所有的運營都要在現(xiàn)場,他們看著大數(shù)據(jù)平臺發(fā)出來的實時數(shù)據(jù),需要迅速的推出營銷策略,保證在這四個小時之內(nèi)能夠大賣,如果這四個小時完不成,很可能他一年的業(yè)績指標就會完不成,這種實時性和靈敏度是傳統(tǒng)行業(yè)無法想象的。

所以戰(zhàn)略性的數(shù)據(jù)整合,是數(shù)字化運營的一個前提,所以說你的所有的終端的數(shù)據(jù)都要收集起來,這里面有交易的數(shù)據(jù),可以存放在數(shù)據(jù)庫里面,也有埋點的瀏覽的數(shù)據(jù),可以放在日志庫里面,另外還有客服的數(shù)據(jù),也可以統(tǒng)一收集起來,放到大數(shù)據(jù)平臺中,進行統(tǒng)一的分析,并通過BI實時反饋給運營。

今年有一個非常火的節(jié)目,就是羅永浩和羅振宇進行了九個小時的長談,在這里面,羅永浩說了一個牌桌理論,就是他想從事最大的計算平臺——手機,使得下一次浪潮的時候,先不說勝出,至少能上牌桌。這個理論同樣適用于AI,先不談AI時代的勝出問題,戰(zhàn)略性的收集數(shù)據(jù),實時的反饋數(shù)據(jù),還能成為AI公司牌桌上的競爭者。

九、數(shù)據(jù)架構(gòu)趨勢二:人工智能雖然如火如荼,概念多,落地少,人工智能模型通用性差,試用范圍小,需要場景化落地,通用人工智能任重道遠。

人工智能主要經(jīng)歷了三個階段,第一個階段,我們稱為專家系統(tǒng)階段,希望專家能夠把一些知識總結(jié)出來,告訴機器。但是知識這個事兒,一般人可能就做不來了,可能專家可以,比如語言領域的專家,或者財經(jīng)領域的專家。語言領域和財經(jīng)領域知識能不能表示成像數(shù)學公式一樣稍微嚴格點呢?例如語言專家可能會總結(jié)出主謂賓定狀補這些語法規(guī)則,主語后面一定是謂語,謂語后面一定是賓語,將這些總結(jié)出來,并嚴格表達出來不久行了嗎?后來發(fā)現(xiàn)這個不行,太難總結(jié)了,語言表達千變?nèi)f化。就拿主謂賓的例子,很多時候在口語里面就省略了謂語,別人問:你誰?。课一卮穑何覄⒊?。但是你不能規(guī)定在語音語義識別的時候,要求對著機器說標準的書面語,這樣還是不夠智能,就像羅永浩在一次演講中說的那樣,每次對著手機,用書面語說:請幫我呼叫某某某,這是一件很尷尬的事情。

人工智能這個階段叫做專家系統(tǒng)。專家系統(tǒng)不易成功,一方面是知識比較難總結(jié),另一方面總結(jié)出來的知識難以教給計算機。因為你自己還迷迷糊糊,似乎覺得有規(guī)律,就是說不出來,就怎么能夠通過編程教給計算機呢?

于是人們想到,看來機器是和人完全不一樣的物種,干脆讓機器自己學習好了。機器怎么學習呢?既然機器的統(tǒng)計能力這么強,基于統(tǒng)計學習,一定能從大量的數(shù)字中發(fā)現(xiàn)一定的規(guī)律。

其實在娛樂圈有很好的一個例子,可見一斑。

有一位網(wǎng)友統(tǒng)計了知名歌手在大陸發(fā)行的 9 張專輯中 117 首歌曲的歌詞,同一詞語在一首歌出現(xiàn)只算一次,形容詞、名詞和動詞的前十名如下表所示(詞語后面的數(shù)字是出現(xiàn)的次數(shù)):

如果我們隨便寫一串數(shù)字,然后按照數(shù)位依次在形容詞、名詞和動詞中取出一個詞,連在一起會怎么樣呢?

例如取圓周率 3.1415926,對應的詞語是:堅強,路,飛,自由,雨,埋,迷惘。稍微連接和潤色一下:

堅強的孩子,
依然前行在路上,
張開翅膀飛向自由,
讓雨水埋葬他的迷惘。
是不是有點感覺了?當然真正基于統(tǒng)計的學習算法比這個簡單的統(tǒng)計復雜的多。

然而統(tǒng)計學習比較容易理解簡單的相關性,例如一個詞和另一個詞總是一起出現(xiàn),兩個詞應該有關系,而無法表達復雜的相關性,并且統(tǒng)計方法的公式往往非常復雜,為了簡化計算,常常做出各種獨立性的假設,來降低公式的計算難度,然而現(xiàn)實生活中,具有獨立性的事件是相對較少的。

于是人類開始從機器的世界,反思人類的世界是怎么工作的。

人類的腦子里面不是存儲著大量的規(guī)則,也不是記錄著大量的統(tǒng)計數(shù)據(jù),而是通過神經(jīng)元的觸發(fā)實現(xiàn)的,每個神經(jīng)元有從其他神經(jīng)元的輸入,當接收到輸入的時候,會產(chǎn)生一個輸出來刺激其他的神經(jīng)元,于是大量的神經(jīng)元相互反應,最終形成各種輸出的結(jié)果。例如當人們看到美女瞳孔放大,絕不是大腦根據(jù)身材比例進行規(guī)則判斷,也不是將人生中看過的所有的美女都統(tǒng)計一遍,而是神經(jīng)元從視網(wǎng)膜觸發(fā)到大腦再回到瞳孔。在這個過程中,其實很難總結(jié)出每個神經(jīng)元對最終的結(jié)果起到了哪些作用,反正就是起作用了。

于是人們開始用一個數(shù)學單元模擬神經(jīng)元:

這個神經(jīng)元有輸入,有輸出,輸入和輸出之間通過一個公式來表示,輸入根據(jù)重要程度不同(權(quán)重),影響著輸出。

于是將n個神經(jīng)元通過像一張神經(jīng)網(wǎng)絡一樣連接在一起,n這個數(shù)字可以很大很大,所有的神經(jīng)元可以分成很多列,每一列很多個排列起來,每個神經(jīng)元的對于輸入的權(quán)重可以都不相同,從而每個神經(jīng)元的公式也不相同。當人們從這張網(wǎng)絡中輸入一個東西的時候,希望輸出一個對人類來講正確的結(jié)果。例如上面的例子,輸入一個寫著2的圖片,輸出的列表里面第二個數(shù)字最大,其實從機器來講,它既不知道輸入的這個圖片寫的是2,也不知道輸出的這一系列數(shù)字的意義,沒關系,人知道意義就可以了。正如對于神經(jīng)元來說,他們既不知道視網(wǎng)膜看到的是美女,也不知道瞳孔放大是為了看的清楚,反正看到美女,瞳孔放大了,就可以了。

對于任何一張神經(jīng)網(wǎng)絡,誰也不敢保證輸入是2,輸出一定是第二個數(shù)字最大,要保證這個結(jié)果,需要訓練和學習。畢竟看到美女而瞳孔放大也是人類很多年進化的結(jié)果。學習的過程就是,輸入大量的圖片,如果結(jié)果不是想要的結(jié)果,則進行調(diào)整。如何調(diào)整呢,就是每個神經(jīng)元的每個權(quán)重都向目標進行微調(diào),由于神經(jīng)元和權(quán)重實在是太多了,所以整張網(wǎng)絡產(chǎn)生的結(jié)果很難表現(xiàn)出非此即彼的結(jié)果,而是向著結(jié)果微微的進步,最終能夠達到目標結(jié)果。當然這些調(diào)整的策略還是非常有技巧的,需要算法的高手來仔細的調(diào)整。正如人類見到美女,瞳孔一開始沒有放大到能看清楚,于是美女跟別人跑了,下次學習的結(jié)果是瞳孔放大一點點,而不是放大鼻孔。

聽起來也沒有那么有道理,但是的確能做到,就是這么任性。

神經(jīng)網(wǎng)絡的普遍性定理是這樣說的,假設某個人給你某種復雜奇特的函數(shù),f(x):

不管這個函數(shù)是什么樣的,總會確保有個神經(jīng)網(wǎng)絡能夠?qū)θ魏慰赡艿妮斎離,其值f(x)(或者某個能夠準確的近似)是神經(jīng)網(wǎng)絡的輸出。

如果在函數(shù)代表著規(guī)律,也意味著這個規(guī)律無論多么奇妙,多么不能理解,都是能通過大量的神經(jīng)元,通過大量權(quán)重的調(diào)整,表示出來的。

這讓我想到了經(jīng)濟學,于是比較容易理解了。

我們把每個神經(jīng)元當成社會中從事經(jīng)濟活動的個體。于是神經(jīng)網(wǎng)絡相當于整個經(jīng)濟社會,每個神經(jīng)元對于社會的輸入,都有權(quán)重的調(diào)整,做出相應的輸出,比如工資漲了,菜價也漲了,股票跌了,我應該怎么辦,怎么花自己的錢。這里面沒有規(guī)律么?肯定有,但是具體什么規(guī)律呢?卻很難說清楚。

基于專家系統(tǒng)的經(jīng)濟屬于計劃經(jīng)濟,整個經(jīng)濟規(guī)律的表示不希望通過每個經(jīng)濟個體的獨立決策表現(xiàn)出來,而是希望通過專家的高屋建瓴和遠見卓識總結(jié)出來。專家永遠不可能知道哪個城市的哪個街道缺少一個賣甜豆腐腦的。于是專家說應該產(chǎn)多少鋼鐵,產(chǎn)多少饅頭,往往距離人民生活的真正需求有較大的差距,就算整個計劃書寫個幾百頁,也無法表達隱藏在人民生活中的小規(guī)律。

基于統(tǒng)計的宏觀調(diào)控就靠譜的多了,每年統(tǒng)計局都會統(tǒng)計整個社會的就業(yè)率,通脹率,GDP等等指標,這些指標往往代表著很多的內(nèi)在規(guī)律,雖然不能夠精確表達,但是相對靠譜。然而基于統(tǒng)計的規(guī)律總結(jié)表達相對比較粗糙,比如經(jīng)濟學家看到這些統(tǒng)計數(shù)據(jù)可以總結(jié)出長期來看房價是漲還是跌,股票長期來看是漲還是跌,如果經(jīng)濟總體上揚,房價和股票應該都是漲的。但是基于統(tǒng)計數(shù)據(jù),無法總結(jié)出股票,物價的微小波動規(guī)律。

基于神經(jīng)網(wǎng)絡的微觀經(jīng)濟學才是對整個經(jīng)濟規(guī)律最最準確的表達,每個人對于從社會中的輸入,進行各自的調(diào)整,并且調(diào)整同樣會作為輸入反饋到社會中。想象一下股市行情細微的波動曲線,正是每個獨立的個體各自不斷交易的結(jié)果,沒有統(tǒng)一的規(guī)律可循。而每個人根據(jù)整個社會的輸入進行獨立決策,當某些因素經(jīng)過多次訓練,也會形成宏觀上的統(tǒng)計性的規(guī)律,這也就是宏觀經(jīng)濟學所能看到的。例如每次貨幣大量發(fā)行,最后房價都會上漲,多次訓練后,人們也就都學會了。

網(wǎng)易將人工智能這個強大的技術(shù),應用于反垃圾工作中,從網(wǎng)易1997年推出郵箱產(chǎn)品開始,我們的反垃圾技術(shù)就在不停的進化升級,并且成功應用到各個億量級用戶的產(chǎn)品線中,包括影音娛樂,游戲,社交,電商等產(chǎn)品線。比如網(wǎng)易新聞、博客相冊、云音樂、云閱讀、有道、BOBO、考拉、游戲等產(chǎn)品??偟膩碚f,反垃圾技術(shù)在網(wǎng)易已經(jīng)積累了19年的實踐經(jīng)驗,一直在背后默默的為網(wǎng)易產(chǎn)品保駕護航?,F(xiàn)在作為云平臺的SaaS服務開放出來。

回顧網(wǎng)易反垃圾技術(shù)發(fā)展歷程,大致上我們可以把他分為三個關鍵階段,也基本對應著人工智能發(fā)展的三個時期:

第一階段主要是依賴關鍵詞,黑白名單和各種過濾器技術(shù),來做一些內(nèi)容的偵測和攔截,這也是最基礎的階段,受限于當時計算能力瓶頸以及算法理論的發(fā)展,第一階段的技術(shù)也能勉強滿足使用。

第二個階段時,基于計算機行業(yè)里有一些更新的算法,比如說貝葉斯過濾(基于概率論的算法),一些膚色的識別,紋理的識別等等,這些比較優(yōu)秀成熟的論文出來,我們可以基于這些算法做更好的特征匹配和技術(shù)改造,達到更優(yōu)的反垃圾效果。

最后,隨著人工智能算法的進步和計算機運算能力的突飛猛進,反垃圾技術(shù)進化到第三個階段:大數(shù)據(jù)和人工智能的階段。我們會用海量大數(shù)據(jù)做用戶的行為分析,對用戶做畫像,評估用戶是一個垃圾用戶還是一個正常用戶,增加用戶體驗更好的人機識別手段,以及對語義文本進行理解。還有基于人工智能的圖像識別技術(shù),更準確識別是否是色情圖片,廣告圖片以及一些違禁品圖片等等。

網(wǎng)易人工智能的第二個應用就是七魚全智能云客服,也是從第一代的關鍵字匹配,到后來基于概率的NLP,和基于深度學習神經(jīng)網(wǎng)絡的第三代,逐漸發(fā)展到今天的。

AlphaGo事件,讓人工智能開始如火如荼,我們發(fā)現(xiàn)很多領域都是這樣子的,當大牛沒有拿出相應的方案來講,大部分都是干看著沒有辦法,自從TensorFlow出來,大大降低了機器學習和人工智能的門檻,所以說很多號稱人工智能的公司開始冒了出來,這里面往往概念多,落地少,外延無限擴大。

其實目前深度學習形成的模型,適用范圍非常小,通用性相對比較差,往往只能干某一件特殊的事情,例如我們?nèi)绻泻芏嚯娚痰臄?shù)據(jù),我們就可以用來做客服,但是客服性質(zhì)的模型不能用來反垃圾,我們有很多郵箱反垃圾的數(shù)據(jù),可以訓練出檢測垃圾數(shù)據(jù)的模型,但是這個模型就不能用于推薦音樂,所以通用的人工智能還任重道遠,當前在工業(yè)界需要找到非常聚焦的場景化落地,才能讓人工智能盡快應用起來

網(wǎng)易云計算基礎服務為您提供容器服務,歡迎點擊免費試用。

了解 網(wǎng)易云

網(wǎng)易云官網(wǎng):https://www.163yun.com/

新用戶大禮包:https://www.163yun.com/gift

網(wǎng)易云社區(qū):https://sq.163yun.com/

關鍵詞:未來,角度

74
73
25
news

版權(quán)所有? 億企邦 1997-2025 保留一切法律許可權(quán)利。

為了最佳展示效果,本站不支持IE9及以下版本的瀏覽器,建議您使用谷歌Chrome瀏覽器。 點擊下載Chrome瀏覽器
關閉