時間：2022-02-20 16:10:01 | 來源：行業(yè)動態(tài)
時間：2022-02-20 16:10:01 來源：行業(yè)動態(tài)
在LinkedIn有很多數(shù)據(jù)產(chǎn)品，比如People you may like、Job you may be interested。你的用戶訪問來源，甚至你的career path都可以挖掘出來。Linkedin也大量用到了開源技術(shù)，我這里就說一個最成功的Kafka。Kafka是一個分布式的消息隊列，可以用在tracking、機(jī)器內(nèi)部metrics、數(shù)據(jù)傳輸上。數(shù)據(jù)在前端后端會經(jīng)過不同的存儲或者平臺，每個平臺都有自己的格式，如果沒有一個unified log，會出現(xiàn)災(zāi)難型的O(m*n)的數(shù)據(jù)對接復(fù)雜度。如果你設(shè)定的格式一旦發(fā)生變化，也要修改所有相關(guān)的格式。所以這里提出的中間橋梁就是Kafka，大家約定用一個格式作為傳輸標(biāo)準(zhǔn)，然后在接受端可以任意定制你想要的數(shù)據(jù)源（topics），最后實現(xiàn)線性的O(m n)復(fù)雜度。對應(yīng)的設(shè)計細(xì)節(jié)，還是要參考設(shè)計文檔 ，這里面主要作者Jay Kreps、Rao Jun成立了Kafka作為獨立發(fā)展的公司。關(guān)鍵詞：數(shù)據(jù),技術(shù),采用
微信公眾號
版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。
在線咨詢