騰訊云數(shù)據(jù)庫TDSQL兩篇論文入選數(shù)據(jù)庫頂會SIGMOD，產(chǎn)學研結(jié)合助力國產(chǎn)數(shù)據(jù)庫生

時間：2023-03-13 10:08:01 | 來源：電子商務

時間：2023-03-13 10:08:01 來源：電子商務

6月20日-25日，數(shù)據(jù)庫頂會2021 ACM SIGMOD 在西安舉行，騰訊云數(shù)據(jù)庫TDSQL團隊兩篇論文入選。



SIGMOD數(shù)據(jù)管理國際會議是數(shù)據(jù)庫領(lǐng)域具有最高學術(shù)地位的國際性學術(shù)會議。騰訊云數(shù)據(jù)庫兩篇入選論文涉及多級緩沖管理器Spitfire概念的首次提出和多種級別強一致性的創(chuàng)新突破，致力于從基礎(chǔ)理論層面推動數(shù)據(jù)庫技術(shù)創(chuàng)新突破。在本次大會中，騰訊云數(shù)據(jù)庫技術(shù)總監(jiān)邱敏分享了騰訊云原生數(shù)據(jù)庫發(fā)展過程中遇到的挑戰(zhàn)和技術(shù)創(chuàng)新點。



在今年的研究類論文“Spitfire : A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory"中，騰訊云原生數(shù)據(jù)庫TDSQL-C首次提出了多級緩沖管理器Spitfire的概念，通過一種新穎、低代價且有效的熱數(shù)據(jù)識別方法，將熱數(shù)據(jù)頁面保持在DRAM緩存中，同時將暖數(shù)據(jù)保存在非易失存儲NVM中，有效提升了系統(tǒng)整體性能與性價比。



SIGMOD評委對Spitfire的創(chuàng)新性給予了很高的評價，文中關(guān)于NVM硬件和數(shù)據(jù)庫架構(gòu)體系結(jié)合的研究和建議，都是此前的研究工作尚未充分涉及到的。該成果應用在TDSQL-C產(chǎn)品上，在不顯著增加成本的情況下，對讀性能提升超過100%，是數(shù)據(jù)庫軟硬結(jié)合可行性探索上堅實而重要的一步。軟硬協(xié)同作為TDSQL-C核心技術(shù)布局之一，攜手星星海實驗室，持續(xù)釋放新型存儲介質(zhì)、網(wǎng)絡、計算紅利，為騰訊云客戶提供領(lǐng)先的云原生數(shù)據(jù)庫服務。



另一篇論文是騰訊云數(shù)據(jù)庫與中國人民大學合作的成果："Efficiently Supporting Adaptive MultiLevel Serializability Models in Distributed Database Systems"。論文基于多種級別強一致性的創(chuàng)新，實現(xiàn)了分布式數(shù)據(jù)庫領(lǐng)域高性能的強一致性工程系統(tǒng)，即在實現(xiàn)分布式數(shù)據(jù)庫“雙一致性（事務一致性、分布式一致性）”的同時，極大地提高了分布式事務型集群的處理效率。該創(chuàng)新突破是國產(chǎn)數(shù)據(jù)庫團隊再一次攻堅突破全球分布式系統(tǒng)、數(shù)據(jù)庫領(lǐng)域核心難題的最佳實踐。



事實上，此前TDSQL就曾多次亮相數(shù)據(jù)庫三大頂會SIGMOD、ICDE、VLDB，以及數(shù)據(jù)科學領(lǐng)域的頂級期刊IEEE TKDE等。



比如騰訊云數(shù)據(jù)庫與華中科技大學合作，在SIGMOD 2019上發(fā)布論文 《An End-to-End Automatic Cloud Database Tuning System Using Deep Reinforcement Learning》，實現(xiàn)了基于AI技術(shù)的數(shù)據(jù)庫性能自調(diào)優(yōu)結(jié)果首次全面超越數(shù)據(jù)庫專家。截至目前，基于聯(lián)合實驗室平臺，雙方已經(jīng)在SIGMOD、DAC、USENIX ATC等國際頂會聯(lián)合發(fā)表21篇高質(zhì)量論文，聯(lián)合輸出創(chuàng)新技術(shù)專利14余項。



2019年，騰訊云數(shù)據(jù)庫團隊與中國人民大學合作，創(chuàng)新性地提出并實現(xiàn)了全時態(tài)數(shù)據(jù)庫系統(tǒng)T-TDSQL。該系統(tǒng)在保證OLTP性能的前提下，提供了輕量級的全時態(tài)數(shù)據(jù)管理功能和全時態(tài)數(shù)據(jù)的事務處理能力，以及集當前態(tài)數(shù)據(jù)于生產(chǎn)系統(tǒng)、集歷史態(tài)數(shù)據(jù)于分析型系統(tǒng)的集群架構(gòu)，構(gòu)成了全時態(tài)數(shù)據(jù)的完備解決方案，實現(xiàn)了混合OLTP和OLAP的架構(gòu)，為HTAP系統(tǒng)實現(xiàn)提供了解決方案基礎(chǔ)。該研發(fā)成果論文被VLDB 2019收錄。



騰訊云數(shù)據(jù)庫TDSQL一直致力于進一步推動AI、新硬件、云計算等技術(shù)和數(shù)據(jù)庫技術(shù)的深度融合創(chuàng)新，并加大對數(shù)據(jù)庫基礎(chǔ)研究創(chuàng)新、數(shù)據(jù)庫產(chǎn)學研合作生態(tài)的建設(shè)投入，充分釋放領(lǐng)先技術(shù)的紅利，助力國產(chǎn)數(shù)據(jù)庫學術(shù)人才培養(yǎng)和技術(shù)創(chuàng)新生態(tài)建設(shè)發(fā)展。