構(gòu)建Amazon DynamoDB的初衷及其過去十年的演進Swami

時間：2022-03-07 21:27:02 | 來源：行業(yè)動態(tài)

時間：2022-03-07 21:27:02 來源：行業(yè)動態(tài)

：Amazon DynamoDB背后的想法來自于與SmugMug、Flickr等客戶首席執(zhí)行官的對話和討論。他們是最早帶有互聯(lián)網(wǎng)屬性的公司，而在當時類似這樣的互聯(lián)網(wǎng)公司正在快速走向市場。他們的典型特征包括在線用戶數(shù)量呈爆炸式增長、數(shù)據(jù)模式不固定，追求快速交付和輕運維等。傳統(tǒng)關(guān)系型數(shù)據(jù)庫將所有數(shù)據(jù)存儲在一個盒子中，無法高效地擴展，這迫使用戶需要對其數(shù)據(jù)庫重新分片，然后還需要管理所有的分區(qū)和重新分區(qū)等，這讓用戶面臨巨大的運維挑戰(zhàn)和壓力。

這對我們來說并不新鮮，構(gòu)建原始Amazon Dynamo的初衷正是應(yīng)對這些挑戰(zhàn)。當時，Amazon Dynamo還不是一項服務(wù)，而是一個由亞馬遜工程師構(gòu)建的軟件系統(tǒng)。在一次客戶咨詢會議上，時任Flickr 首席執(zhí)行官Don MacAskill表示：你們已經(jīng)啟用了 Amazon Dynamo，驗證了可擴展非關(guān)系型數(shù)據(jù)庫系統(tǒng)的可行性，為什么不能把它作為外部服務(wù)提供給我們使用？

當時，所有亞馬遜云科技的相關(guān)管理人員都在場，實際上，這也是我們問自己的一個問題。Flickr并不是唯一需要它的客戶，越來越多的客戶想要可擴展的數(shù)據(jù)庫，無需處理分區(qū)和重新分區(qū)等復(fù)雜的運維工作，同時他們還需要極高的可用性。于是，我們開始認真思考構(gòu)建一個不受SQL API限制的、可擴展的云數(shù)據(jù)庫。

Amazon DynamoDB與原始Amazon Dynamo不盡相同，它實際上是通過幾個原始Amazon Dynamo組件搭建的一項易于使用的云服務(wù)?？蛻舨辉傩枰渲眉?，只需創(chuàng)建一個表存儲數(shù)據(jù)，即可輕松實現(xiàn)無縫縮放。管理員不必執(zhí)行任何操作，甚至無需安裝單個庫來操作數(shù)據(jù)庫。

Amazon Dynamo到Amazon DynamoDB的演變非常重要，亞馬遜真正以前所未有的方式擁抱云，獲得它的彈性和可擴展性。

我們在2012年1月18日正式發(fā)布Amazon DynamoDB，該服務(wù)一經(jīng)推出就大受歡迎，F(xiàn)lickr等公司率先使用該服務(wù)。Amazon DynamoDB強大的彈性、個位數(shù)毫秒的延遲性能等深受客戶青睞。我們進行了大量創(chuàng)新，從協(xié)議層一直到SSD存儲的底層存儲層等各項功能。

這里不得不提的一個有趣的用例，也是最早將DynamoDB投入生產(chǎn)的客戶之一，他們做的是超級碗（Super Bowl：全國橄欖球聯(lián)盟決賽全美直播的體育界春晚）廣告投放。因為Amazon DynamoDB具備強大的彈性，可以無縫地擴展到每秒100,000次寫入，并在超級碗活動結(jié)束后縮減，這樣客戶就不會擔心產(chǎn)生額外的成本。當年，這在技術(shù)領(lǐng)域是個大事?，F(xiàn)在大家習(xí)以為常的橫向擴展與彈性，對當時的數(shù)據(jù)庫而言，那是無法想象的。

那是一個大膽的設(shè)想。Amazon DynamoDB專為云而構(gòu)建的架構(gòu)讓所有橫向擴展用例成為可能?，F(xiàn)在，Amazon DynamoDB正為多個高流量Amazon站點和系統(tǒng)提供支持，包括 Alexa、亞馬遜全球電商網(wǎng)站和所有亞馬遜運營中心。2021年，在亞馬遜長達66小時的Prime會員日大促期間，上述站點和系統(tǒng)進行了數(shù)萬億次API調(diào)用，Amazon DynamoDB以低至個位數(shù)毫秒延遲的高性能表現(xiàn)，無感支持峰值達每秒8,920萬個請求，同時確保系統(tǒng)的高可用性。

Amazon DynamoDB自2012年問世以來，我們?yōu)槠湓黾恿舜罅縿?chuàng)新功能，不僅涉及底層可用性、持久性、安全性和規(guī)模等特性，還包括易用性等。

Amazon DynamoDB不止步于鍵值存儲，還支持基于哈希的分區(qū)和基于范圍的分區(qū)，并且增加了對二級索引的支持，支持更復(fù)雜的查詢功能，同時不影響規(guī)模或可用性。

現(xiàn)在，Amazon Kinesis Data Streams也適用于Amazon DynamoDB，捕獲可擴展的流式數(shù)據(jù)。我認為任何數(shù)據(jù)庫都不應(yīng)該是孤島，更不能是死胡同。它應(yīng)該支持生成變化的數(shù)據(jù)流，然后將這些數(shù)據(jù)流連接到分析應(yīng)用程序或其他數(shù)據(jù)存儲。

同時，我們也針對備份和恢復(fù)等功能全面創(chuàng)新。對于像Amazon DynamoDB 這樣具有數(shù)百萬個分區(qū)的大型數(shù)據(jù)庫系統(tǒng)而言，備份和恢復(fù)并非易事，我們致力于通過創(chuàng)新讓客戶獲得更好的體驗。

我們還為Amazon DynamoDB添加了創(chuàng)建全局表的功能，以便客戶可在輕松實現(xiàn)數(shù)據(jù)庫負載全球覆蓋的同時，獲得近乎本地運行的讀寫性能。此外，Amazon DynamoDB還擴展了事務(wù)處理能力。所有這些創(chuàng)新都致力于不斷提升Amazon DynamoDB的可用性和可擴展性。

我們同時致力于為客戶提供更高的成本效益?？蛻敉ǔＰ枰L期存儲數(shù)據(jù)，雖然這些舊數(shù)據(jù)可能很少被訪問，但它必須保持高度可用，以便不時之需。例如，社交媒體用戶很少訪問舊的內(nèi)容和圖片，但一旦有這類訪問請求，需要確?？梢粤⒓礊橛脩籼峁┻@些內(nèi)容。這種不經(jīng)常訪問的數(shù)據(jù)可能會給客戶帶來高昂的存儲費用，而且這類數(shù)據(jù)的數(shù)量還在不斷增長。過去，為了優(yōu)化成本，客戶會通過編寫代碼的方式，將舊的、訪問頻率較低的數(shù)據(jù)從Amazon DynamoDB 移動到存儲成本較低的如Amazon S3中。

在2021 re:Invent全球大會上，我們推出了Amazon DynamoDB Standard-Infrequent Access表類，一種新的經(jīng)濟高效的表類，用于存儲不經(jīng)常訪問的數(shù)據(jù)，同時保持Amazon DynamoDB的高可用性和性能。

不忘初心，我們始終將DynamoDB的最初愿景作為指引，持續(xù)創(chuàng)新，為客戶提供更易于查詢的用例，支持進行復(fù)雜全局事務(wù)復(fù)制等，不斷擴展能力范圍，同時持續(xù)優(yōu)化管理成本。