作者：陸興海彭華盛編著來源：大數(shù)據(jù)DT（ID：hzdashuju）人們對(duì)新事物的認(rèn)知過程總是螺旋式迭代演進(jìn)的，對(duì)于智能運(yùn)維也是如此，智能運(yùn)維是運(yùn)維發(fā)展的方向，而且是一個(gè)長(zhǎng)期的過程—從經(jīng)驗(yàn)主義到數(shù)據(jù)驅(qū)動(dòng)，再回歸到業(yè)務(wù)驅(qū)動(dòng)的過程。從2016年對(duì)于Gartner的概念的理解，到之后每一年不斷的探索與實(shí)踐，到2020年，在筆者參加的智能運(yùn)維國家標(biāo)準(zhǔn)編寫組會(huì)議上，行業(yè)內(nèi)達(dá)成了高度的、更加面向現(xiàn)實(shí)的共識(shí)：以數(shù)據(jù)為基礎(chǔ)、以場(chǎng)景為導(dǎo)向、以算法為支撐，如圖2-1所示。▲圖2-1行業(yè)對(duì)智能運(yùn)維發(fā)展演進(jìn)的理解智能運(yùn)維一定來源于非常好的數(shù)據(jù)基礎(chǔ)，同時(shí)，如果沒有明確的業(yè)務(wù)場(chǎng)景，或者需求，或者功能方面的落腳點(diǎn)，所謂的智能化就是為了AI而AI，也沒有意義。工程化算法是要擬合數(shù)據(jù)的，根據(jù)數(shù)據(jù)和場(chǎng)景需求才能選擇或研發(fā)合適的算法。只有具備上述三個(gè)條件，才能真正形成一個(gè)工程化落地的智能運(yùn)維，如圖2-2所示。▲圖2-2“三架馬車”工程化落地的智能運(yùn)維需要著重提及的是，以往很多用戶忽略了作為智能業(yè)務(wù)運(yùn)維“基石”的運(yùn)維數(shù)據(jù)的重要性。為切實(shí)落地企業(yè)的智能業(yè)務(wù)運(yùn)維規(guī)劃，一方面要強(qiáng)調(diào)運(yùn)維數(shù)據(jù)的基礎(chǔ)作用，另一方面要形成運(yùn)維數(shù)據(jù)治理與應(yīng)用的全局體系。數(shù)據(jù)采集可以幫助企業(yè)進(jìn)行精確的銷售預(yù)測(cè)和庫存管理，降低成本和風(fēng)險(xiǎn)。數(shù)據(jù)采集大概多少錢

    大數(shù)據(jù)敞開了一個(gè)大規(guī)模生產(chǎn)、分享和運(yùn)用數(shù)據(jù)的時(shí)期，它給技術(shù)和商貿(mào)帶來了龐大的變化。麥肯錫研究說明，在診療、零售和制造業(yè)領(lǐng)域，大數(shù)據(jù)每年可以提高勞動(dòng)生產(chǎn)率。大數(shù)據(jù)技術(shù)，就是從各種種類的數(shù)據(jù)中迅速獲取有價(jià)值信息的技術(shù)。大數(shù)據(jù)領(lǐng)域早就涌現(xiàn)出了大量新的技術(shù)，它們成為大數(shù)據(jù)采集、存儲(chǔ)、處置和顯現(xiàn)的有力兵器。大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用（大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等）。然而調(diào)查顯示，未被用到的信息百分比高達(dá)，很大程度都是由于高價(jià)值的信息無法得到采集。如何從大數(shù)據(jù)中收集出有用的信息早就是大數(shù)據(jù)發(fā)展的關(guān)鍵因素之一。因此在大數(shù)據(jù)時(shí)期背景下，如何從大數(shù)據(jù)中收集出有用的信息早已是大數(shù)據(jù)發(fā)展的關(guān)鍵因素之一，數(shù)據(jù)采集才是大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)。那么什么是大數(shù)據(jù)采集技術(shù)呢？什么是數(shù)據(jù)采集？?數(shù)據(jù)采集(DAQ)：又稱數(shù)據(jù)得到，是指從傳感器和其它待測(cè)裝置等模擬和數(shù)字被測(cè)單元中自動(dòng)搜集信息的過程。數(shù)據(jù)分類下一代數(shù)據(jù)體系中，將傳統(tǒng)數(shù)據(jù)體系中并未考慮過的新數(shù)據(jù)源展開歸納與分類，可將其分成線上行為數(shù)據(jù)與內(nèi)容數(shù)據(jù)兩大類。數(shù)據(jù)采集大概多少錢數(shù)據(jù)采集可以幫助企業(yè)了解客戶需求，從而更好地滿足市場(chǎng)需求。

    這種情況作決定的依據(jù)是，考慮以后可能會(huì)出現(xiàn)功能改動(dòng)，勢(shì)必會(huì)對(duì)現(xiàn)有系統(tǒng)造成影響，選擇受變動(dòng)影響比較小的方案。2）確定方案，編碼3）編碼結(jié)束，進(jìn)入測(cè)試、調(diào)試階段4）交付使用接口對(duì)接方式的數(shù)據(jù)可靠性較高，一般不存在數(shù)據(jù)重復(fù)的情況，且都是客戶業(yè)務(wù)大數(shù)據(jù)平臺(tái)需要的有價(jià)值的數(shù)據(jù)；同時(shí)數(shù)據(jù)是通過接口實(shí)時(shí)傳遞過來，完全滿足了大數(shù)據(jù)平臺(tái)對(duì)于實(shí)時(shí)性的要求。但是接口對(duì)接方式需花費(fèi)大量人力和時(shí)間協(xié)調(diào)各個(gè)軟件廠商做數(shù)據(jù)接口對(duì)接；同時(shí)其擴(kuò)展性不高，比如：由于業(yè)務(wù)需要各軟件系統(tǒng)開發(fā)出新的業(yè)務(wù)模塊，其和大數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)接口也需要做相應(yīng)的修改和變動(dòng)，甚至要**以前的所有數(shù)據(jù)接口編碼，工作量很大且耗時(shí)長(zhǎng)。2、開放數(shù)據(jù)庫方式一般情況，來自不同公司的系統(tǒng)，不太會(huì)開放自己的數(shù)據(jù)庫給對(duì)方連接，因?yàn)檫@樣會(huì)有安全性的問題。為實(shí)現(xiàn)數(shù)據(jù)的采集和匯聚，開放數(shù)據(jù)庫是**直接的一種方式。兩個(gè)系統(tǒng)分別有各自的數(shù)據(jù)庫，同類型的數(shù)據(jù)庫之間是比較方便的：1）如果兩個(gè)數(shù)據(jù)庫在同一個(gè)服務(wù)器上，只要用戶名設(shè)置的沒有問題，就可以直接相互訪問，需要在from后將其數(shù)據(jù)庫名稱及表的架構(gòu)所有者帶上即可。select*from2）如果兩個(gè)系統(tǒng)的數(shù)據(jù)庫不在一個(gè)服務(wù)器上。

    播放器退出后臺(tái)音樂繼續(xù)播放，這樣可以算做“啟動(dòng)”嗎？也有人說，用使用時(shí)長(zhǎng)來定義“App啟動(dòng)”，那么在當(dāng)用戶在“京東”有支付需求，跳轉(zhuǎn)到“微信”完成支付后又跳轉(zhuǎn)回“京東”內(nèi)，可以計(jì)算為微信的“啟動(dòng)”嗎？或者使用“微信”期間有*擾電話來電，用戶立馬掛斷但中間仍持續(xù)了兩秒，在這兩秒的時(shí)間從“微信”跳轉(zhuǎn)到“來電”又轉(zhuǎn)回“微信”，算“啟動(dòng)”嗎？在前幾年，手機(jī)功能非常多，App、H5等都是一座座孤島，隨著技術(shù)的發(fā)展，這些孤島在當(dāng)前環(huán)境中相互之間建立了連接，實(shí)現(xiàn)了打通。那么，我們實(shí)現(xiàn)“App啟動(dòng)”也就會(huì)有很多方式：***，用戶點(diǎn)擊圖標(biāo)完成App啟動(dòng)，這是我們**常見的啟動(dòng)方式。第二，通過后臺(tái)喚醒，也即所謂的“熱啟動(dòng)”。第三，通過H5喚醒啟動(dòng)，例如朋友通過微信給你分享了京東的商品，你點(diǎn)擊鏈接后一般情況下會(huì)在右上角提示“使用App打開”，如果你的手機(jī)里安裝了京東App，那么就會(huì)實(shí)現(xiàn)京東App的啟動(dòng)。第四，通過一個(gè)App喚醒另外一個(gè)App，比如地圖跳轉(zhuǎn)、支付跳轉(zhuǎn)、推送跳轉(zhuǎn)、小程序跳轉(zhuǎn)等。明確了“App啟動(dòng)”的定義之后，如何采集App啟動(dòng)就是接下來的重要工作，在這個(gè)過程中面臨如下挑戰(zhàn)：挑戰(zhàn)一：是否***啟動(dòng)***啟動(dòng)指的是用戶安裝App后的***次啟動(dòng)。通過數(shù)據(jù)采集，企業(yè)可以更好地了解產(chǎn)品的使用情況和用戶反饋，進(jìn)行產(chǎn)品優(yōu)化和改進(jìn)。

    就是說在你的操作系統(tǒng)開機(jī)的時(shí)候，計(jì)數(shù)器從0開始計(jì)數(shù)，這也是我們從手機(jī)“設(shè)置”里能看到的手機(jī)開機(jī)時(shí)長(zhǎng)，因此，用這個(gè)時(shí)間來計(jì)算用戶的App使用時(shí)長(zhǎng)，得到的數(shù)據(jù)100%是正確的。挑戰(zhàn)三：退出事件補(bǔ)發(fā)前些年有人提出這個(gè)場(chǎng)景：假如用戶的手機(jī)掉水里了，神策能否采集到退出事件？我的回答是，如果用戶的手機(jī)能從水里拿出來，能正常開機(jī)并正常啟動(dòng)App，那么就可以實(shí)現(xiàn)退出事件補(bǔ)發(fā)。什么叫補(bǔ)發(fā)？因?yàn)橛脩粼谑褂肁pp的時(shí)候，可能會(huì)隨時(shí)退出，針對(duì)此，我們?cè)谟脩魡?dòng)頁面的時(shí)候，完成計(jì)數(shù)，每隔一定時(shí)間記錄一次，如果在用戶下一次啟動(dòng)App的時(shí)候，我們發(fā)現(xiàn)這個(gè)時(shí)間戳還在，但是沒有觸發(fā)啟動(dòng)事件，那么我們就會(huì)立即把上一次的退出事件補(bǔ)發(fā)。不管是“啟動(dòng)”還是“退出”，都是我們?cè)趯?shí)際數(shù)據(jù)采集與業(yè)務(wù)分析時(shí)的常見場(chǎng)景。神策面對(duì)客戶的每一個(gè)場(chǎng)景、每一個(gè)挑戰(zhàn)都能迎難而上，這是秉承對(duì)客戶負(fù)責(zé)的責(zé)任感，更是神策追求***的表現(xiàn)。作者介紹王灼洲先生是《Android全埋點(diǎn)解決方案》《iOS全埋點(diǎn)解決方案》作者，神策數(shù)據(jù)治理研發(fā)部負(fù)責(zé)人。有10+年Android&iOS相關(guān)開發(fā)經(jīng)驗(yàn)，是國內(nèi)***批從事Android研發(fā)工作，開發(fā)和維護(hù)國內(nèi)***個(gè)商用的開源Android&iOS數(shù)據(jù)埋點(diǎn)SDK。數(shù)據(jù)有測(cè)試數(shù)據(jù)，有內(nèi)容數(shù)據(jù)，有歷史數(shù)據(jù)，通過對(duì)數(shù)據(jù)的采集，能夠讓抽象的數(shù)據(jù)具體化。馬鞍山制造業(yè)數(shù)據(jù)采集參考價(jià)

數(shù)據(jù)采集的結(jié)果可以用于制定營銷策略、產(chǎn)品研發(fā)和業(yè)務(wù)決策。數(shù)據(jù)采集大概多少錢

    因此對(duì)數(shù)據(jù)的實(shí)時(shí)處理有著較高的要求。如果將數(shù)據(jù)上傳到云端，云端分析后再繞一圈回來，指導(dǎo)下一步動(dòng)作，一來一回產(chǎn)生的時(shí)延，很多時(shí)候?qū)⒆兊貌豢山邮?。上述業(yè)務(wù)場(chǎng)景將在靠近數(shù)據(jù)源頭的現(xiàn)場(chǎng)對(duì)數(shù)據(jù)進(jìn)行即時(shí)處理，實(shí)時(shí)分析，提取特征量，然后基于分析的結(jié)果進(jìn)行本地決策，指導(dǎo)下一步動(dòng)作，同時(shí)將分析結(jié)果上傳到云端，數(shù)據(jù)量經(jīng)過本地處理后**減小了。圖3-2所示是實(shí)時(shí)振動(dòng)信號(hào)狀態(tài)監(jiān)測(cè)和數(shù)據(jù)分析。▲圖3-2實(shí)時(shí)振動(dòng)信號(hào)狀態(tài)監(jiān)測(cè)和數(shù)據(jù)分析03工業(yè)數(shù)據(jù)采集的體系結(jié)構(gòu)工業(yè)數(shù)據(jù)采集體系包括設(shè)備接入、協(xié)議轉(zhuǎn)換、邊緣計(jì)算。設(shè)備接入是工業(yè)數(shù)據(jù)采集建立物理世界和數(shù)字世界連接的起點(diǎn)。設(shè)備接入利用有線或無線通信方式，實(shí)現(xiàn)工業(yè)現(xiàn)場(chǎng)和工廠外智能產(chǎn)品/移動(dòng)裝備的泛在連接，將數(shù)據(jù)上報(bào)到云端。工業(yè)數(shù)據(jù)采集發(fā)展了這么多年，存在設(shè)備接入的復(fù)雜性和多樣性。數(shù)據(jù)接入后，將對(duì)數(shù)據(jù)進(jìn)行解析、轉(zhuǎn)換，并通過標(biāo)準(zhǔn)應(yīng)用層協(xié)議如MQTT、HTTP上傳到物聯(lián)網(wǎng)平臺(tái)。部分工業(yè)物聯(lián)網(wǎng)應(yīng)用場(chǎng)景，在協(xié)議轉(zhuǎn)換后，可能在本地做即時(shí)數(shù)據(jù)分析和預(yù)處理，再上傳到云端，提升即時(shí)性并降低網(wǎng)絡(luò)帶寬壓力。邊緣計(jì)算近幾年發(fā)展迅速，大家越來越意識(shí)到數(shù)據(jù)就近處理的優(yōu)勢(shì)，無論是實(shí)效性還是出于數(shù)據(jù)安全性考慮。數(shù)據(jù)采集大概多少錢