首先,簡單了解一下大數(shù)據(jù)時代下的數(shù)據(jù)檢索。
在如今的大數(shù)據(jù)時代,信息量爆炸、數(shù)據(jù)增長迅猛,如何在動輒上T、上P的數(shù)據(jù)量上實現(xiàn)信息的快速查詢檢索成為大數(shù)據(jù)技術(shù)中的核心命題之一。
在大數(shù)據(jù)的技術(shù)體系下信息管理部門一般會選擇使用主流的開源組件ELK作為非結(jié)構(gòu)數(shù)據(jù)的查詢檢索渠道,ELK由Elasticsearch、Logstash和Kibana三部分組件組成;
Elasticsearch,簡稱ES,是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發(fā)現(xiàn),索引自動分片,索引副本機制,restful風格接口,多數(shù)據(jù)源,自動搜索負載等。
Logstash是一個完全開源的工具,它可以對你的日志進行收集、分析,并將其存儲供以后使用。
kibana 是一個開源和免費的工具,它可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。
簡單了解了大數(shù)據(jù)體系下的數(shù)據(jù)檢索情況后,我們回到文章標題所涉及的內(nèi)容,針對傳統(tǒng)數(shù)據(jù)庫,一般情況下我們會采用SQL語句對數(shù)據(jù)庫中的信息進行查詢、統(tǒng)計、聚合,這項技術(shù)在大學(xué)的基礎(chǔ)課程數(shù)據(jù)庫原理中就開始進行授業(yè)布道了,對于IT人來說,采用SQL語句和數(shù)據(jù)庫進行交互變得自然而天經(jīng)地義。
然而,我們設(shè)想一下,很多情況下當我們?nèi)フ乙粋€數(shù)據(jù)的時候,我們會怎么做?
1、我要知道數(shù)據(jù)在哪個數(shù)據(jù)表里,然后我寫sql語句查詢
2、忘了表名怎么辦?我要去找文檔,查看數(shù)據(jù)庫結(jié)構(gòu)
3、假如文檔也沒有怎么辦?我會用select * from tab where TABLE_NAME like ‘%%’ 能想到點什么就先過濾點什么。
4、假如都不知道,我該怎么辦?找服務(wù)商、找開發(fā)商幫我找,找不到?找不到不行,接著找,不過這個時候可能一周時間已經(jīng)過去了。
5、假如我找到了我想找的那條數(shù)據(jù),可是發(fā)現(xiàn)數(shù)據(jù)相關(guān)的字段都是各種代碼,我看不懂?。看a怎么翻譯?那么,我們必須順著1、2、3、4再來一遍。
現(xiàn)在,假如有一個針對數(shù)據(jù)庫所有表名、字段名、字段內(nèi)容、關(guān)聯(lián)表信息的搜索引擎,在搜索引擎上隨意輸入你要模糊查詢的內(nèi)容,有可能是你記得的某個字段大概的名字,也有可能是一個人名,搜索后的結(jié)果則是跟你搜索關(guān)鍵詞相關(guān)的所有匹配的數(shù)據(jù)表、數(shù)據(jù)字段、字段內(nèi)容、關(guān)聯(lián)數(shù)據(jù)信息。
聽起來是不是很智能?
現(xiàn)在我們實現(xiàn)了,秉承著對數(shù)據(jù)技術(shù)的執(zhí)著,秉承著為客戶創(chuàng)造價值的理念,我們將主數(shù)據(jù)管理、數(shù)據(jù)庫與搜索引擎結(jié)合在一起,為數(shù)據(jù)管理員提供最簡單、最直接的數(shù)據(jù)庫查詢方式,我們希望能夠讓數(shù)據(jù)管理更簡單,能讓數(shù)據(jù)管理員的工作更輕松。
搜索結(jié)果
關(guān)聯(lián)數(shù)據(jù)查詢
我們將延續(xù)在數(shù)據(jù)技術(shù)方面的探索,也期待您能持續(xù)關(guān)注我們公司。
做最專業(yè)的數(shù)據(jù)技術(shù)團隊,讓世界變得更清晰