對事件里的屬性內(nèi)容進行二次加工,甚至是修正。一方面保證數(shù)據(jù)采集的準(zhǔn)確性,另一方面保證數(shù)據(jù)的完整性。因為神策客戶大多數(shù)采用私有化部署,神策難以統(tǒng)計用戶數(shù)據(jù)丟失率,但是在業(yè)界普遍標(biāo)準(zhǔn)是“App的數(shù)據(jù)丟失率在1%左右,H5和Web的數(shù)據(jù)丟失率在5%左右”,之所以有5倍差異,是因為H5的本地緩存是有限的,數(shù)據(jù)上傳失敗就意味著丟失;另外,大多情況下H5在App中以單頁面形式存在,H5發(fā)送網(wǎng)絡(luò)請求之后,如果用戶退出頁面,其網(wǎng)絡(luò)請求隨之被取消,沒有辦法實現(xiàn)完全同步,這種情況下數(shù)據(jù)“打通”便朝著更高要求、高標(biāo)準(zhǔn)邁進——如何“打通”App與H5降低數(shù)據(jù)丟失率?App采集的事件并非實時同步,因為App內(nèi)事件多、頻率高,每次采集后立即同步會給服務(wù)器帶來很大的壓力,所以一般情況下,App內(nèi)會增加本地緩存,所有采集到的事件先存入本地緩存,達到一定條件后再進行同步。也就是說,根據(jù)緩存制定相應(yīng)的數(shù)據(jù)同步策略。如果按照以上方案,將H5的事件傳給App進行二次加工,進入App端的本地緩存,走App端事件同步策略,就能**降低H5事件丟失的概率。這是我們在App與H5打通的第二版中著重處理的內(nèi)容,在該解決方案中,不管是用戶標(biāo)識、數(shù)據(jù)準(zhǔn)確性,還是數(shù)據(jù)完整性,都能得到解決。數(shù)據(jù)采集可以通過社交媒體平臺獲取用戶生成的內(nèi)容和互動信息。湖州制造業(yè)數(shù)據(jù)采集二次開發(fā)
組織的管理者應(yīng)在適當(dāng)時,通過對以下問題的分析,評估其有效性:[6]①提供決策的信息是否充分、可信,是否存在因信息不足、失準(zhǔn)、滯后而導(dǎo)致決策失誤的問題;[6]②信息對持續(xù)改進質(zhì)量管理體系、過程、產(chǎn)品所發(fā)揮的作用是否與期望值一致,是否在產(chǎn)品實現(xiàn)過程中有效運用數(shù)據(jù)分析;[6]③收集數(shù)據(jù)的目的是否明確,收集的數(shù)據(jù)是否真實和充分,信息渠道是否暢通;[6]④數(shù)據(jù)分析方法是否合理,是否將風(fēng)險控制在可接受的范圍;[6]⑤數(shù)據(jù)分析所需資源是否得到保障。[6]數(shù)據(jù)分析案例編輯1、沃爾瑪經(jīng)典營銷案例:啤酒與尿布“啤酒與尿布”的故事產(chǎn)生于20世紀(jì)90年代的美國沃爾瑪超市中,沃爾瑪?shù)某泄芾砣藛T分析**時發(fā)現(xiàn)了一個令人難于理解的現(xiàn)象:在某些特定的情況下,“啤酒”與“尿布”兩件看上去毫無關(guān)系的商品會經(jīng)常出現(xiàn)在同一個購物籃中,這種獨特的銷售現(xiàn)象引起了管理人員的注意,經(jīng)過后續(xù)調(diào)查發(fā)現(xiàn),這種現(xiàn)象出現(xiàn)在年輕的父親身上。[7]在美國有嬰兒的家庭中,一般是母親在家中照看嬰兒,年輕的父親前去超市購買尿布。父親在購買尿布的同時,往往會順便為自己購買啤酒,這樣就會出現(xiàn)啤酒與尿布這兩件看上去不相干的商品經(jīng)常會出現(xiàn)在同一個購物籃的現(xiàn)象。紹興靠譜的數(shù)據(jù)采集售價數(shù)據(jù)采集可以通過智能農(nóng)業(yè)系統(tǒng)實現(xiàn)對農(nóng)作物病蟲害和防治的實時監(jiān)測。
TimeSeriesDataBase,TSDB)專門從時間維度進行設(shè)計和優(yōu)化,數(shù)據(jù)按時間順序組織管理。圖3-1所示為典型的時間序列數(shù)據(jù),存儲于關(guān)系型數(shù)據(jù)庫中,當(dāng)數(shù)據(jù)規(guī)模急劇增大時,關(guān)系型數(shù)據(jù)庫的處理能力變得吃緊,需要性能更優(yōu)的數(shù)據(jù)庫。工業(yè)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)存在很大差別,前者通常是結(jié)構(gòu)化的,而后者以非結(jié)構(gòu)化數(shù)據(jù)為主?!鴪D3-1時間序列數(shù)據(jù)示例3.實時性工業(yè)數(shù)據(jù)采集的一個很大特點是實時性,包括數(shù)據(jù)采集的實時性以及數(shù)據(jù)處理的實時性。例如基于傳感器的數(shù)據(jù)采集,其中一個重要指標(biāo)為采樣率,即每秒采集多少個點。采樣率低的如溫濕度采集,采樣間隔在分鐘級;采樣率高一些的如振動信號,每秒鐘采集幾萬個點甚至更多,方便后續(xù)信號分析處理以獲得高階諧波分量。有些大的科學(xué)裝置,例如粒子加速器的束流監(jiān)測系統(tǒng),采樣率達數(shù)兆每秒。采樣率越高意味著單位時間數(shù)據(jù)量越大,如此大的數(shù)據(jù)量,如果不加處理直接通過網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)中心或云端,對于網(wǎng)絡(luò)的帶寬要求非常之高,而且如此大的帶寬下,很難保證網(wǎng)絡(luò)傳輸?shù)目煽啃?,可能會產(chǎn)生非常大的傳輸時延。而部分工業(yè)物聯(lián)網(wǎng)應(yīng)用,如設(shè)備故障診斷、多機器人協(xié)作、狀態(tài)監(jiān)測等,由于要求在數(shù)據(jù)采集(感知)、分析、決策執(zhí)行之間,完成快速閉環(huán)。
二是各種網(wǎng)絡(luò)標(biāo)準(zhǔn)統(tǒng)一后才能實現(xiàn)設(shè)備系統(tǒng)間的互聯(lián)互通,而多種工業(yè)協(xié)議并存是目前工業(yè)數(shù)據(jù)采集的現(xiàn)狀。廣義上,工業(yè)數(shù)據(jù)采集分為工業(yè)現(xiàn)場數(shù)據(jù)采集和工廠外智能產(chǎn)品/移動裝備的數(shù)據(jù)采集(工業(yè)數(shù)據(jù)采集并不局限于工廠,工廠之外的智慧樓宇、城市管理、物流運輸、智能倉儲、橋梁隧道和公共交通等都是工業(yè)數(shù)據(jù)采集的應(yīng)用場景),以及對ERP、MES、APS等傳統(tǒng)信息系統(tǒng)的數(shù)據(jù)采集。如果按傳輸介質(zhì)劃分,工業(yè)數(shù)據(jù)采集可分為有線網(wǎng)絡(luò)數(shù)據(jù)采集和無線網(wǎng)絡(luò)數(shù)據(jù)采集。02工業(yè)數(shù)據(jù)采集的特點工業(yè)數(shù)據(jù)采集具有一些鮮明的特征,在面對具體需求時,不同場景會對技術(shù)選型產(chǎn)生影響,例如設(shè)備的組網(wǎng)方式、數(shù)據(jù)傳輸方式、數(shù)據(jù)本地化處理、數(shù)據(jù)匯聚和管理等。1.多種工業(yè)協(xié)議并存工業(yè)領(lǐng)域使用的通信協(xié)議有很多,如PROFIBUS、Modbus、CAN、HART、EtherCAT、EthernetIP、Modbus/TCP、PROFINET、OPCUA,以及大量的廠商私有協(xié)議。這種狀況出現(xiàn),很大程度上是因為工業(yè)軟硬件系統(tǒng)存在較強的封閉性和復(fù)雜性。設(shè)想在工業(yè)現(xiàn)場,不同廠商生產(chǎn)的設(shè)備,采用不同的工業(yè)協(xié)議,要實現(xiàn)所有設(shè)備的互聯(lián),需要對各種協(xié)議做解析并進行數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)采集可以通過智能農(nóng)業(yè)系統(tǒng)實現(xiàn)對農(nóng)業(yè)生產(chǎn)和市場的實時管理。
然后將采集得到的數(shù)據(jù),通過實時或者批量的方式,向后進行傳輸;對于這些傳輸過來的數(shù)據(jù),選擇合適的數(shù)據(jù)模型進行ETL和建模,并且根據(jù)后續(xù)的應(yīng)用選擇合適的存儲方案;在數(shù)據(jù)完成建模并且存儲下來之后,就可以對數(shù)據(jù)進行統(tǒng)計、分析和挖掘等數(shù)據(jù)應(yīng)用;而這些數(shù)據(jù)應(yīng)用的結(jié)果,一方面,可以通過數(shù)據(jù)可視化的方式,直接展現(xiàn),并幫助我們做出各種產(chǎn)品、運營和商業(yè)等方面的決策;另一方面,這些數(shù)據(jù)應(yīng)用的結(jié)果,也可以直接反饋給產(chǎn)品,以類似于「猜你喜歡」的產(chǎn)品形態(tài),直接作用在產(chǎn)品上。很顯然,在一個典型的數(shù)據(jù)應(yīng)用上,數(shù)據(jù)采集是***個環(huán)節(jié),是源頭,是一切數(shù)據(jù)應(yīng)用的起點。如果數(shù)據(jù)采集沒有做好,影響了整體的數(shù)據(jù)質(zhì)量,那么,在后面環(huán)節(jié)再想進行彌補,其代價會很大,效果也會大打折扣。**終的數(shù)據(jù)應(yīng)用,以及基于應(yīng)用得到的決策與反饋的質(zhì)量也必然會受到影響。從這個意義上來講,無論我們?nèi)绾螐娬{(diào)數(shù)據(jù)采集的重要性,也都不為過。正是因為我們意識到了數(shù)據(jù)采集的重要性,神策數(shù)據(jù)的愿景隨之誕生,即“幫助中國三千萬企業(yè)重構(gòu)數(shù)據(jù)根基,實現(xiàn)數(shù)字化經(jīng)營”,希望通過我們的努力,能夠幫助我們的客戶和合作伙伴更好、更***地采集數(shù)據(jù),從而**大化地發(fā)揮數(shù)據(jù)的價值。通過數(shù)據(jù)采集,企業(yè)可以識別和利用新的商機,發(fā)現(xiàn)潛在的增長點,并及時調(diào)整業(yè)務(wù)策略。紹興如何數(shù)據(jù)采集二次開發(fā)
數(shù)據(jù)采集可以通過智能體育系統(tǒng)實現(xiàn)對運動員訓(xùn)練和比賽表現(xiàn)的實時監(jiān)測。湖州制造業(yè)數(shù)據(jù)采集二次開發(fā)
數(shù)據(jù)采集是數(shù)據(jù)應(yīng)用的源頭,指導(dǎo)企業(yè)在產(chǎn)品、運營和業(yè)務(wù)等多方面決策。本文作者王灼洲從數(shù)據(jù)采集需求出發(fā),詳細解讀了如何實現(xiàn)高效、可用的數(shù)據(jù)采集方案。主要內(nèi)容如下:數(shù)據(jù)采集的定義和重要性業(yè)內(nèi)常見的數(shù)據(jù)采集方案數(shù)據(jù)采集的原則數(shù)據(jù)采集案例分析一、數(shù)據(jù)采集的定義和重要性所謂數(shù)據(jù)采集,即為了滿足數(shù)據(jù)統(tǒng)計、分析和挖掘的需要,搜集和獲取各種數(shù)據(jù)的過程。通常情況下,數(shù)據(jù)采集指的是采集企業(yè)內(nèi)部的數(shù)據(jù)。在當(dāng)前互聯(lián)網(wǎng)領(lǐng)域,隨著流量紅利的衰退,越來越多的企業(yè)通過精細化運營,深度挖掘每一位用戶的價值。當(dāng)下流行的數(shù)據(jù)驅(qū)動、精細化運營等方法論和實踐方式,也變得越來越重要,并且被越來越多的企業(yè)所接受和采納。而數(shù)據(jù)驅(qū)動、精細化運營都要基于數(shù)據(jù)來做各種決策。數(shù)據(jù)采集,正是它們的基礎(chǔ)和前提條件。數(shù)據(jù)采集,本質(zhì)上是為了數(shù)據(jù)應(yīng)用。如果我們沒有任何數(shù)據(jù)上的應(yīng)用需求,投入再大的精力,去做好數(shù)據(jù)采集其實也是沒有任何意義的。而數(shù)據(jù)應(yīng)用,其實是一個比較大的范疇,包含**簡單的統(tǒng)計報表,復(fù)雜的交互式在線分析,當(dāng)下非常熱門的個性化推薦等。不管哪一類數(shù)據(jù)應(yīng)用,都可以在大體上分成五個環(huán)節(jié),如下圖:在進行數(shù)據(jù)應(yīng)用的時候,我們首先要通過各種方式采集數(shù)據(jù)。湖州制造業(yè)數(shù)據(jù)采集二次開發(fā)