依托互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合的現(xiàn)實(shí)環(huán)境，數(shù)字化賦能農(nóng)民生活改善和農(nóng)村全面發(fā)展。數(shù)字鄉(xiāng)村建設(shè)發(fā)展過程中，數(shù)據(jù)成為農(nóng)業(yè)生產(chǎn)的新要素，信息技術(shù)成為農(nóng)民生產(chǎn)經(jīng)營的新工具，互聯(lián)網(wǎng)成為農(nóng)村全面發(fā)展的新載體。數(shù)字技術(shù)正穿透所有經(jīng)濟(jì)和社會(huì)場域，作為應(yīng)用場景，鄉(xiāng)村正成為城市之后的必然選擇，構(gòu)成了“數(shù)字中國”的戰(zhàn)略要沖。數(shù)字鄉(xiāng)村建設(shè)通過科技創(chuàng)新，將大數(shù)據(jù)、人工智能、區(qū)塊鏈、云計(jì)算等數(shù)字技術(shù)與農(nóng)業(yè)全產(chǎn)業(yè)鏈以及生態(tài)保護(hù)進(jìn)行深度融合，推動(dòng)農(nóng)業(yè)綠色發(fā)展，形成高質(zhì)量且穩(wěn)定的生態(tài)系統(tǒng)，形成良好的人居環(huán)境，為新發(fā)展格局提供基礎(chǔ)保障。
隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，鄉(xiāng)村數(shù)據(jù)呈爆炸式增長，如何對(duì)鄉(xiāng)村數(shù)據(jù)資源進(jìn)行有效的管理并提供共享服務(wù)，是數(shù)字鄉(xiāng)村建設(shè)亟待解決的問題。根據(jù)以往的數(shù)據(jù)集成思路，借助統(tǒng)一的數(shù)據(jù)平臺(tái)可以快速響應(yīng)用戶的各種需求，滿足多種業(yè)務(wù)場景的應(yīng)用。數(shù)據(jù)中臺(tái)技術(shù)是指運(yùn)用統(tǒng)一的標(biāo)準(zhǔn)和技術(shù)，對(duì)海量的異構(gòu)數(shù)據(jù)進(jìn)行采集、加工、存儲(chǔ)、管理等一系列數(shù)據(jù)集成與管理，為各類應(yīng)用提供數(shù)據(jù)共享服務(wù)。通過數(shù)據(jù)中臺(tái)，數(shù)字鄉(xiāng)村所涉及的各類用戶、政府、農(nóng)民、企業(yè)等對(duì)內(nèi)對(duì)外建立統(tǒng)一的業(yè)務(wù)系統(tǒng)和管理平臺(tái)，減少各種業(yè)務(wù)系統(tǒng)信息孤島現(xiàn)象，打通各部門間的數(shù)據(jù)墻，形成統(tǒng)一的數(shù)據(jù)規(guī)范。
一、數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源數(shù)據(jù)中臺(tái)架構(gòu)
數(shù)據(jù)中臺(tái)設(shè)計(jì)原則。數(shù)據(jù)中臺(tái)的建設(shè)要保證來源于不同系統(tǒng)的同類數(shù)據(jù)具有一致性，要遵循相應(yīng)的行業(yè)數(shù)據(jù)庫設(shè)計(jì)標(biāo)準(zhǔn)，以及農(nóng)業(yè)農(nóng)村領(lǐng)域的數(shù)據(jù)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn)。數(shù)據(jù)中臺(tái)設(shè)計(jì)時(shí)要在充分考慮數(shù)據(jù)實(shí)用性的基礎(chǔ)上整合數(shù)據(jù)資源，要通過不斷變化的需求進(jìn)行數(shù)據(jù)資源的重組，滿足數(shù)據(jù)實(shí)用性原則；要考慮數(shù)據(jù)的獨(dú)立性，能夠使數(shù)據(jù)獨(dú)立于具體應(yīng)用之外，不隨各類系統(tǒng)的變化而改變。同時(shí)，數(shù)據(jù)庫的設(shè)計(jì)要有可擴(kuò)展性，當(dāng)新的需求出現(xiàn)時(shí)，可以在原有基礎(chǔ)上進(jìn)行擴(kuò)展，不必完全重新設(shè)計(jì)數(shù)據(jù)庫。此外，數(shù)據(jù)中臺(tái)還應(yīng)該有數(shù)據(jù)的安全設(shè)計(jì)，進(jìn)行有效的備份和數(shù)據(jù)恢復(fù)，確保發(fā)生事故時(shí)能夠快速恢復(fù)，并且要有安全授權(quán)設(shè)計(jì)，避免非法用戶的訪問。
數(shù)據(jù)中臺(tái)技術(shù)和層次架構(gòu)。數(shù)據(jù)結(jié)構(gòu)總體可以分為三種，結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及其他半結(jié)構(gòu)化數(shù)據(jù)。對(duì)于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)目前主要用關(guān)系型數(shù)據(jù)庫處理；非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)主要在非關(guān)系型數(shù)據(jù)庫中，例如文件管理系統(tǒng)，存儲(chǔ)一些圖片、視頻、文檔等數(shù)據(jù)；半結(jié)構(gòu)化數(shù)據(jù)實(shí)質(zhì)是一種結(jié)構(gòu)化數(shù)據(jù)的形式，包括一些相關(guān)的標(biāo)記用以區(qū)分不同的語義元素。數(shù)據(jù)中臺(tái)建設(shè)過程中要能夠處理這三種類型的數(shù)據(jù)資源。
數(shù)據(jù)中臺(tái)建設(shè)數(shù)據(jù)資源采集、數(shù)據(jù)資源融合、數(shù)據(jù)資源共享等數(shù)據(jù)服務(wù)體系。在整個(gè)體系建設(shè)中，將數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)標(biāo)準(zhǔn)納入其中。經(jīng)過數(shù)據(jù)中臺(tái)的不斷應(yīng)用，推進(jìn)數(shù)據(jù)的采集接入、分析、挖掘和治理能力的提升，從而完善數(shù)據(jù)中臺(tái)服務(wù)。總體來看數(shù)據(jù)中臺(tái)主要包括數(shù)據(jù)的統(tǒng)一采集接入平臺(tái)、數(shù)據(jù)集中處理平臺(tái)、數(shù)據(jù)管理平臺(tái)、大數(shù)據(jù)分析與數(shù)據(jù)挖掘平臺(tái)、統(tǒng)一管理平臺(tái)以及數(shù)據(jù)可視化平臺(tái)等多個(gè)平臺(tái)。
數(shù)據(jù)中臺(tái)數(shù)據(jù)架構(gòu)。數(shù)據(jù)中臺(tái)的數(shù)據(jù)架構(gòu)按數(shù)據(jù)庫的處理內(nèi)容不同分為原始庫、資源庫、主題庫、業(yè)務(wù)庫等。原始庫是存儲(chǔ)未經(jīng)處理的原始數(shù)據(jù)，主要存放和原系統(tǒng)一致的數(shù)據(jù)；資源庫的建設(shè)是基于原始庫，按資源類型的不同將原始庫中的數(shù)據(jù)規(guī)范化處理，形成不同主題的數(shù)據(jù)；主題庫基于原始庫和資源庫，構(gòu)建數(shù)據(jù)的邏輯關(guān)系，形成實(shí)體關(guān)系模型，完成知識(shí)圖譜的建設(shè)等；業(yè)務(wù)庫面向不同業(yè)務(wù)的場景，建立起相關(guān)的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)中臺(tái)同時(shí)應(yīng)建立起索引庫和資源目錄，對(duì)數(shù)字鄉(xiāng)村數(shù)據(jù)資源進(jìn)行整合，對(duì)相應(yīng)的元數(shù)據(jù)進(jìn)行管理，比如業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)。
采用分層分類方法將數(shù)字鄉(xiāng)村數(shù)據(jù)指標(biāo)按照其屬性及其數(shù)據(jù)來源分為農(nóng)村基礎(chǔ)信息數(shù)據(jù)指標(biāo)、農(nóng)業(yè)基礎(chǔ)信息數(shù)據(jù)指標(biāo)、農(nóng)民基礎(chǔ)信息數(shù)據(jù)指標(biāo)三大類，在每一大類里，業(yè)務(wù)關(guān)聯(lián)度高的數(shù)據(jù)歸入同一小類。數(shù)據(jù)指標(biāo)采用名稱、代碼、數(shù)據(jù)類型、是否為空、注釋來描述數(shù)字鄉(xiāng)村相關(guān)數(shù)據(jù)。
二、數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系建設(shè)路徑
數(shù)據(jù)資源統(tǒng)一采集接入。數(shù)據(jù)資源的采集是數(shù)據(jù)擁有價(jià)值的第一步，同時(shí)也決定了數(shù)據(jù)潛在的意義。目前基于大數(shù)據(jù)技術(shù)的數(shù)字鄉(xiāng)村數(shù)據(jù)資源采集方式有以下幾種：一是利用農(nóng)村農(nóng)業(yè)各個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行信息采集，通過部署各類非關(guān)系型數(shù)據(jù)庫負(fù)載均衡和分片完成海量數(shù)據(jù)的采集。二是通過查看各個(gè)業(yè)務(wù)系統(tǒng)的系統(tǒng)日志采集數(shù)據(jù)，利用在線分析和離線分析方式分析系統(tǒng)日志文件獲得數(shù)據(jù)。三是利用網(wǎng)頁數(shù)據(jù)的爬取技術(shù)采集網(wǎng)頁、論壇、交易平臺(tái)等數(shù)據(jù)信息。四是利用智慧終端各類傳感器、監(jiān)測平臺(tái)、監(jiān)控設(shè)備等來獲取圖片、視頻等信息。
數(shù)據(jù)集中處理。數(shù)據(jù)集中處理主要是對(duì)數(shù)據(jù)的提取、清洗、關(guān)聯(lián)、對(duì)比、標(biāo)識(shí)、對(duì)象化等操作。數(shù)字鄉(xiāng)村建設(shè)涉及的業(yè)務(wù)領(lǐng)域眾多、數(shù)據(jù)復(fù)雜多樣，采集獲取的數(shù)據(jù)往往不能直接用于數(shù)據(jù)分析，所以需要對(duì)獲取的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等數(shù)據(jù)資源預(yù)處理，篩選出與主題相關(guān)的數(shù)據(jù)。數(shù)字鄉(xiāng)村建設(shè)中采集的數(shù)據(jù)源多來自不同的業(yè)務(wù)平臺(tái)，要將相關(guān)聯(lián)的異構(gòu)數(shù)據(jù)源合并放入一個(gè)一致的數(shù)據(jù)存儲(chǔ)中完成數(shù)據(jù)的集成。
鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源存儲(chǔ)。目前，農(nóng)業(yè)農(nóng)村相關(guān)業(yè)務(wù)平臺(tái)的后臺(tái)數(shù)據(jù)存儲(chǔ)多采用結(jié)構(gòu)化關(guān)系型數(shù)據(jù)庫軟件存儲(chǔ)。大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)方式應(yīng)該發(fā)生轉(zhuǎn)變，為海量多樣化數(shù)據(jù)分析提供支持，而主流的大數(shù)據(jù)存儲(chǔ)是支持海量數(shù)據(jù)讀寫，支持上億行、上百萬列的，面向列的分布式非關(guān)系型數(shù)據(jù)庫。鄉(xiāng)村業(yè)務(wù)系統(tǒng)中的政務(wù)文件、政策規(guī)定等非結(jié)構(gòu)化數(shù)據(jù)可以用大數(shù)據(jù)平臺(tái)的分布式文件系統(tǒng)存儲(chǔ)；網(wǎng)絡(luò)輿情、業(yè)務(wù)日志等半結(jié)構(gòu)化數(shù)據(jù)可采用列式存儲(chǔ)的分布式數(shù)據(jù)庫存儲(chǔ)；溫度、土壤、濕度自動(dòng)監(jiān)測等小時(shí)、分鐘級(jí)數(shù)據(jù)提供時(shí)序數(shù)據(jù)庫實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)。
數(shù)據(jù)組織管理。根據(jù)中臺(tái)數(shù)據(jù)架構(gòu)進(jìn)行數(shù)據(jù)的組織管理，建立原始庫、資源庫、主題庫、知識(shí)庫、業(yè)務(wù)庫、數(shù)據(jù)資源目錄。原始庫可以進(jìn)行數(shù)據(jù)的原始加工，抽取數(shù)據(jù)的關(guān)鍵信息、對(duì)數(shù)據(jù)進(jìn)行分級(jí)分類標(biāo)簽管理，同時(shí)提供查詢、推送、對(duì)比、訂閱等服務(wù)。資源庫是經(jīng)由原始庫中的數(shù)據(jù)整合和清洗過后形成的，可以提供數(shù)據(jù)的檢索、統(tǒng)計(jì)分析、訂閱服務(wù)等。主題庫具有相似特征的不同數(shù)據(jù)分類進(jìn)行歸集，構(gòu)建不同實(shí)體間知識(shí)圖譜，能夠提供數(shù)據(jù)分析和統(tǒng)計(jì)服務(wù)。業(yè)務(wù)庫提供專題類業(yè)務(wù)分析，構(gòu)建實(shí)體庫中的業(yè)務(wù)相關(guān)模型，基于資源庫建設(shè)而形成。
數(shù)字鄉(xiāng)村元數(shù)據(jù)管理。為了更有效地完成數(shù)據(jù)的管理，方便數(shù)據(jù)的擴(kuò)展，實(shí)現(xiàn)對(duì)鄉(xiāng)村數(shù)據(jù)資源的便捷訪問，設(shè)計(jì)使用元數(shù)據(jù)進(jìn)行數(shù)據(jù)管理。元數(shù)據(jù)是用來描述數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)和數(shù)據(jù)本身構(gòu)成了不同層次的數(shù)據(jù)，對(duì)于信息系統(tǒng)而言要能適應(yīng)元數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容結(jié)構(gòu)。元數(shù)據(jù)管理可以進(jìn)行元數(shù)據(jù)的自動(dòng)修改，例如當(dāng)系統(tǒng)應(yīng)用需求發(fā)生改變或擴(kuò)展時(shí)，元數(shù)據(jù)管理能自動(dòng)識(shí)別變化，從而修改元數(shù)據(jù)，信息應(yīng)用系統(tǒng)不需要進(jìn)行數(shù)據(jù)的整體修改。
（來源：《當(dāng)代縣域經(jīng)濟(jì)》）
2025年03月20日
企業(yè)視頻
