BlueSky高性能時(shí)序數(shù)據(jù)庫技術(shù)/問題

趨勢方面了解完之后，我們細(xì)致地看看現(xiàn)在的時(shí)序數(shù)據(jù)庫有哪些特點(diǎn)、如何分類、有哪些技術(shù)。首先，我們從存儲(chǔ)架構(gòu)角度，看看時(shí)序數(shù)據(jù)庫的分類情況。類就是是基于關(guān)系數(shù)據(jù)庫的時(shí)序數(shù)據(jù)庫，比如timescale。第二類就是基于KV的時(shí)序數(shù)據(jù)庫，比如OpenTSDB。第三類就是專門面向時(shí)序數(shù)據(jù)場景的原生時(shí)序數(shù)據(jù)庫，比如InfluxDB,Io和Tengine等。

BlueSky高性能時(shí)序數(shù)據(jù)庫時(shí)序數(shù)據(jù)庫有什么不一樣？

如今在萬物互聯(lián)（IoT）興起的推動(dòng)下，時(shí)間序列數(shù)據(jù)（衡量事物隨時(shí)間變化的數(shù)據(jù)）應(yīng)用和場景激增，是增長快的數(shù)據(jù)類型之一，比如監(jiān)控指標(biāo)數(shù)據(jù)，傳感器數(shù)據(jù)，日志，財(cái)務(wù)分析等等；時(shí)間序列數(shù)據(jù)具有特定的特征，例如通常以時(shí)間順序形式出現(xiàn)，數(shù)據(jù)只能附加，并且查詢總是在一個(gè)時(shí)間間隔內(nèi)進(jìn)行。雖然關(guān)系數(shù)據(jù)庫可以存儲(chǔ)這些數(shù)據(jù)，但是它們在處理這些數(shù)據(jù)時(shí)效率低下，因?yàn)樗鼈內(nèi)狈?yōu)化，例如按時(shí)間間隔存儲(chǔ)和檢索數(shù)據(jù)。在這個(gè)時(shí)序數(shù)據(jù)庫項(xiàng)目列表頁有超 50種方案，比如 Apache Kudu/Cassandra，ClickHouse, Druid, EasticSearch, Hbase, InfluxDB,Prometheus,TimescaleDB，Amazon Redshift/Timestream(預(yù)覽)，Google BigQuery，F(xiàn)acebook Scuba 等等；

BlueSky高性能時(shí)序數(shù)據(jù)庫關(guān)注的技術(shù)點(diǎn)在哪里？

快速聚合能力。時(shí)序業(yè)務(wù)一個(gè)通用的需求是聚合統(tǒng)計(jì)報(bào)表查詢，比如哨兵系統(tǒng)中需要查看近一天某個(gè)接口出現(xiàn)異常的總次數(shù)，或者某個(gè)接口執(zhí)行的大耗時(shí)時(shí)間。這樣的聚合實(shí)際上就是簡單的count以及max，問題是如何能快速的在那么大的數(shù)據(jù)量的基礎(chǔ)上將滿足條件的原始數(shù)據(jù)查詢出來并聚合，要知道統(tǒng)計(jì)的原始值可能因?yàn)闀r(shí)間比較久遠(yuǎn)而不在內(nèi)存中哈，因此這可能是一個(gè)非常耗時(shí)的操作。目前業(yè)界比較成熟的方案是使用預(yù)聚合，就是在數(shù)據(jù)寫進(jìn)來的時(shí)候就完成基本的聚合操作。

未來技術(shù)點(diǎn)：異常實(shí)時(shí)檢測、未來預(yù)測等等。異常實(shí)時(shí)監(jiān)測主要用來監(jiān)測實(shí)時(shí)異常點(diǎn)，比如服務(wù)器監(jiān)控中對延遲響應(yīng)慢的請求都會(huì)實(shí)時(shí)監(jiān)控報(bào)警，再比如運(yùn)動(dòng)手環(huán)對心跳異常監(jiān)測報(bào)警等；未來預(yù)測是另一個(gè)非常重要的領(lǐng)域，能夠預(yù)測未來是一個(gè)很有用的事情，試想，如果在交通堵塞前3分鐘預(yù)測到這個(gè)路段要堵并向發(fā)送報(bào)警，就可以一定程度上緩解交通堵塞的問題。而根據(jù)時(shí)間序列來預(yù)測未來時(shí)間會(huì)發(fā)生的事情是一件看起來水到渠成的事情，這里面會(huì)涉及到機(jī)器學(xué)習(xí)的相關(guān)知識。