數據時代的數據挖掘技術與應用范文

本站小編為你精心準備了數據時代的數據挖掘技術與應用參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要：

隨著科技的進一步發展，已經帶動著各大領域的創新和發展。而我國在近年來，城市信息化的普及也在不斷推進，網絡技術的改革和發展也顯得格外重要。而特別很多企業對于自身的信息和數據儲存、共享以及處理都格外注重，要求技術本身要包含安全性、便捷性以及可靠性。，而是在大數據提出后，數據挖掘技術已經成為了一種新的主流技術，而研究數據挖掘技術的理念、方法以及應用領域，將對我國工程施工領域的未來帶來更多的機遇和挑戰。

關鍵詞：

大數據時代數據挖掘技術分析和研究運用數據挖掘技術，也被稱為數字處理技術，顧名思義，就是對于目前各大企業的內部數據，進行整理、調整、挖掘實施以及評估等一系列處理操作，其主要的目標是保證全局數據都能夠得到充分的優化。而大數據則是區分于以往抽樣調查的方法，而是對于全局數據進行分析，從而保證分析的全面以及完成。而大數據技術也包含4個優點，即高數量、高速度、多元化以及高價值。而筆者將通過本文，就大數據時代的數據挖掘技術與應用進行分析和探討。

1相關概念的簡介

1.1大數據的概念關于大數據的理念提出，可以追溯到麥肯錫研究院于2011年的《大數據:創新、競爭和生產力的下一個新領域》，其中闡述的觀念就涵蓋數據方面，即數據已經融入到了人們的日常生活中，也是生產運作的一個重要因素。而大數據的運用，對于消費以及生產水平都是一種有效的提升提升，根據美國曾經的《大數據研究和發展倡議》資料，截至2011年一年，全球總的數據就增加了1.8ZB,而進行人均計算，相當于每個人都具有至少200GB的數據資源，而且這一數據還在呈現出日益增長的趨勢，根據統計計算，這一數值將會按照約為50%/年的速度增長。

1.2數據挖掘作為一個新型學科，數據挖掘技術源于20世紀的80年代，那時其效用與目前存在本質差異，科學家最初研究大數據，主要是用于一些人工智能技術的開發。簡而言之，技術層面上，數據挖掘就是一個對數據進行發掘創新的過程，即要求目標數據具有隱蔽性、挖掘價值以及挖掘潛力，而且需要操作者在一堆冗雜的、隨機的、模糊的數據庫中進行挖掘；而對于商業層面上來說，數據挖掘就是在一些大量的數據信息中獲得規律以及價值信息，從而為決策提供重要的知識憑據。

2數據挖掘的研究手段

對于數據挖掘而言，不同的研究手段將是其開展的重要基礎，而研究手段的決定，主要需要依靠科學的計算為依據，分析和對比數據中存在的一些不為人知的規則，然后通過研究手段的改變去應付不同的問題，對于實際操作來說，就是針對不同的數據找出不同的解決方法，而常見數據挖掘的研究手段主要可以分為四類，即聚類研究、分類和預測以及關聯研究。

2.1聚類研究將抽選的數據或者對象的庫進行類似“分類”的聚類劃分，然后再將其中的相同或者相近的數據劃分為一個組類，由此建立起多個組類開展研究的過程。整個過程突出的是一種無知識基礎、無監督管控的學習過程。而整個過程由于分類研究有本質的差異，因為聚類研究在事先根本無法得到目標的重要屬性數據，而這種分析方法主要可以用于多個區域，例如心理、統計、醫藥、銷售以及數據識別等，而根據其隸屬度的取值，有能將其分為兩種研究方法，即硬聚類與模糊聚類，對于前者來說，就是將目標按照影響標準進行劃分，即目標如果屬于某類，必定不屬于其他類；而對于后者來說，主要取決與隸屬度的取值不同。而劃分過程可能會將目標劃分入多個聚類中。此外聚類的計算方法也能分為多種，即包含密度算法、層次算法、劃分算法、網格算法以及模型算法等等。

2.2分類與估測對于分類與數值估測來說，都是屬于是問題預測方式，其中前者要求估測各個類中的標號，這些標號都是分散且無規律的，而估測方法可以采用函數模型，要求模型類型為連續值函數。分類估測作為數據挖掘的起始工作，主要需要反應已經獲知的訓練數據庫的特點，從而根據以上基礎完成其中對每一類的情況以及特點完成相應的分類操作，而整個操作也是受到督促的，對于一般的分類算法可以有決策樹、粗糙集、貝葉斯、遺傳等算法，而估測主要是基于分類以及回歸基礎，估測數據將來的動向，即包含局勢外推、時間序列以及回歸分析幾類。

2.3關聯研究關聯研究是源于自然生物間微妙的關系，而某事情的發生和發展也會引發連鎖的事情發展，也就類似所謂“蝴蝶效應”的定義。而關聯研究的研究目標即是研究物與物之間的微妙關系，包含一些依賴關系等等，從而找出其中的規則，基于規則，分析將來的動向。以購物為例，分析購物者的心理規律以及習慣，可以從他們對于購物的一系列表現，例如購物籃的物品類型、放置規律、購物消費理念、購物環境需求等等，而掌握這些規律，足以讓一個銷售企業獲得巨大的消費市場以及商機。

3大數據時代的數據挖掘的運用

3.1數據準備準備流程需要依附于研究者已經建立起長期且豐富數據資源的數據庫，而根據這些無規則的原始數據進行相應的挖掘前的準備的工作，例如數據的處理、擇取、清除、推敲以及轉變，作為基礎的流程，數據準備操作在整個流程中起到重要的基礎作用。

3.2數據挖掘開展數據挖掘操作，需要根據挖掘對象的情況擇選最優的計算方法，從而獲取其中的規律性，例如對應采用決策樹算法、分類算法、神經網絡算法以及Apriori算法等。

3.3數據挖掘的模式評估研究模式評估的對象主要是通過數據挖掘處理過程數據，而評估流程是了解、研究且取得其中數據的規則，然后對數據進行轉變“翻譯”成通俗易懂的語言，供人們去研究和思考。

3.4數據挖掘的知識應用知識應用是數據挖掘的最后一步，通常知識運用就是一種現實運用的過程，通過數據準備、挖掘、研究評估，最后將結果數據或者規律用于現實中，從而體現數據的本身的價值，這就是知識應用的內涵。

4大數據時代的數據挖掘的運用

4.1市場營銷方面市場營銷行業已經是目前數據挖掘采用最多的行業，數據挖掘的作用主要體現在的對于消費者群體的消費習慣以及行為進行解析，從而改變銷售方法，提升產品的銷售量，此外，除了一些購物消費以外，數據挖掘技術以及拓展到了各大金融行業，例如保險行業、銀行行業以及電子商務行業等等。例如：在市場營銷方面，采用數據挖掘中的聚類研究，即客戶一系列無規則、無意識的行為數據，對他們進行識別，即根據客戶的忠誠度、消費意識進行分類，幫助企業尋找其中的潛在客戶以及固定客戶群。

4.2數據挖掘的科學分析科學本身就是一個尋找規律、發現規律以及利用規律的過程，而且任何科學研究都是需要基于數據作為基礎，所以數據挖掘對于科學領域也具有重要的意義和價值，特別是針對一些未知的事物、領域或者知識，通過數據挖掘可以有效展示數據規則。例如對于太空行星的分析，遺傳基因DNA的數據以及遺傳規律等。

4.3制造業與其他行業不同，制造業運用數據挖掘的目的主要是產品質量檢查方面，例如研究產品的數據，找出其中規則。分析整體生產流程，解析其中過程，找出影響生產質量以及效率的問題，然后通過對這些問題進行解決，提升企業經濟效益。對于制造業而言，數據挖掘運用主要體現在決策方面，即首先通過數據篩選，獲取有用的知識和數據，然后采用決策樹算法，統計決策，然后選擇其中正確的決策，即像根據目前產品的流行情況，預測目前生產產品的受歡迎度，然后決策生產的時間以及周期。

4.4教育方面對于教育行業來說，最重要的除了教師的教學方法以外，學生的學習情況、心理動向以及教學評估都是十分重要的，采用數據挖掘技術，則可以有效將這些數據通過分類、篩選以及處理，得出有效的數據規則，供學校教學改革時進行參考。例如：教學質量評估數據挖掘模塊的開發，即將教學質量相關的項目通過QSLSevrer進行整合和存儲，例如教學準備、教學內容、教學方式以及教學態度等，最后學生可以進行自行瀏覽并且完成評估，而評估結果則會上傳系統進行最后通過數據挖掘，篩選其中有用的信息，再通過Apr1ori算法挖掘其中關聯規律。

5結語

雖然數據挖掘技術不是一項新興的技術，但是其還具有較大的研究價值與運用前景，特別是在特殊領域的運用，對于一系列數據進行科學冗雜的處理，然后分析其中規則價值，可以有效提升各大行業的經濟效益。

參考文獻

[1]趙倩倩,程國建,冀乾宇,戎騰學.大數據崛起與數據挖掘芻議[J].電腦知識與技術,2014,11(33):7831-7833.

[2]韓英.淺析大數據時代的數據挖掘與精細管理[J].成都航空職業技術學院學報,2013,12(04):63-71.

[3]李平榮.大數據時代的數據挖掘技術與應用[J].重慶三峽學院學報,2014,05(05):45-47.

作者：何波 單位：重慶燃氣集團股份有限公司