數(shù)據(jù)挖掘技術(shù)分析論文范文

前言：我們精心挑選了數(shù)篇優(yōu)質(zhì)數(shù)據(jù)挖掘技術(shù)分析論文文章，供您閱讀參考。期待這些文章能為您帶來啟發(fā)，助您在寫作的道路上更上一層樓。

第1篇

關(guān)鍵詞 技術(shù)情報分析；數(shù)據(jù)挖掘

中圖分類號TP392 文獻標識碼A 文章編號 1674-6708（2013）92-0211-02

1 概述

在面對海量的情報信息資源時，如何高效、準確的開展分析工作，為管理決策人員提供支持，已成為當今科技工作的重要組成部分。可以說，情報分析方法和相關(guān)工具的合理使用決定了情報獲取的準確性和有效性，并將直接影響制定戰(zhàn)略決策的有效性和科學(xué)性。

技術(shù)情報分析系統(tǒng)主要進行與技術(shù)相關(guān)科技論文、專利、互聯(lián)網(wǎng)情報數(shù)據(jù)的分析，實現(xiàn)分析方法、算法、分析結(jié)果的表現(xiàn)形式以及分析報告自動生成等技術(shù)。該情報分析系統(tǒng)除了基本的維度統(tǒng)計分析外，更多的側(cè)重于利用知識發(fā)現(xiàn)、數(shù)據(jù)挖掘等技術(shù)進行情報數(shù)據(jù)的深度處理與分析。通過情報分析系統(tǒng)開發(fā)設(shè)計，結(jié)合數(shù)據(jù)挖掘等技術(shù)的合理使用，使得系統(tǒng)使用者能夠快速、有效、全面地獲取技術(shù)的情報信息。

2 系統(tǒng)的設(shè)計與功能描述

2.3 數(shù)據(jù)挖掘技術(shù)設(shè)計

2.3.1數(shù)據(jù)文本特征表示

在進行文本挖掘時，對文本特征進行處理，實現(xiàn)對非結(jié)構(gòu)化的文本向結(jié)構(gòu)化轉(zhuǎn)換。情報分析系統(tǒng)采用向量空間模型（Vector Space Model，VSM）進行文本的表示，并利用倒排文檔頻率TFIDF進行專利文本的特征提取，以此作為論文、專利文本挖掘的基礎(chǔ)。

2.3.2關(guān)聯(lián)算法

在挖掘論文專利作者之間、機構(gòu)之間、國家之間的研究內(nèi)容關(guān)聯(lián)性上，采用了基于文本挖掘的關(guān)聯(lián)算法。通過對技術(shù)關(guān)鍵詞的共生關(guān)系（Terms Co-occurrences）計算來識別、確定一組文獻內(nèi)部所包含的技術(shù)組（群）。

2.3.3 層次結(jié)構(gòu)可視化算法

情報分析系統(tǒng)中關(guān)于論文和專利的引證分析、專利同族分析采用了層次結(jié)構(gòu)可視化算法Hyperbolic Tree，即雙曲樹算法。其主要原理是將樹結(jié)構(gòu)在雙曲空間進行布局，然后映射到歐式空間的龐萊卡圓盤進行顯示。歐式空間中兩個相同大小的區(qū)域離龐萊卡圓盤中心越近，在雙曲空間中所占用的空間越小；反之，雙曲空間中兩個大小相同的區(qū)域離原點越近在龐萊卡圓盤中所占用的空間越大。

4 結(jié)論

本文提出運用數(shù)據(jù)挖掘方法實現(xiàn)對大量數(shù)據(jù)的分析和判斷，可有效幫助科技情報機構(gòu)和人員提高綜合情報分析能力和決策的質(zhì)量。同時，該方法可按照不同需要進行功能拓展，實現(xiàn)向更多的技術(shù)情報領(lǐng)域延伸。

參考文獻

[1]Dongpeng Yang. Application of Data Mining in the Evaluation of Credibility， 第十一屆亞太地區(qū)知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議（PAKDD），IOS Press出版， 2007.

[2]樂明揚.公安情報分析中的數(shù)據(jù)挖掘應(yīng)用研究.信息與電腦.2012（8）.

[3]蒲群瑩.基于數(shù)據(jù)挖掘的競爭情報系統(tǒng)模型[J].情報雜志.2005，1.

第2篇

數(shù)據(jù)挖掘技術(shù)是近些年發(fā)展起來的一門新興學(xué)科，它涉及到數(shù)據(jù)庫和人工智能等多個領(lǐng)域。隨著計算機技術(shù)的普及數(shù)據(jù)庫產(chǎn)生大量數(shù)據(jù)，能夠從這些大量數(shù)據(jù)中抽取出有價值信息的技術(shù)稱之為數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)挖掘方法有統(tǒng)計學(xué)方法、關(guān)聯(lián)規(guī)則挖掘、決策樹方法、聚類方法等八種方法，關(guān)聯(lián)規(guī)則是其中最常用的研究方法。關(guān)聯(lián)規(guī)則算法是1993年由R.Atal,Inipusqi,Sqtm三人提出的Apriori算法，是指從海量數(shù)據(jù)中挖掘出有價值的能夠揭示實體和數(shù)據(jù)項間某些隱藏的聯(lián)系的有關(guān)知識，其中描述關(guān)聯(lián)規(guī)則的兩個重要概念分別是Suppor（t支持度）和Confi-dence（可信度）。只有當Support和Confidence兩者都較高的關(guān)聯(lián)規(guī)則才是有效的、需要進一步進行分析和應(yīng)用的規(guī)則。

二、使用Weka進行關(guān)聯(lián)挖掘

Weka的全名是懷卡托智能分析環(huán)境（WaikatoEnviron-mentforKnowledgeAnalysis），是一款免費的、非商業(yè)化的、基于JAVA環(huán)境下開源的機器學(xué)習(xí)以及數(shù)據(jù)挖掘軟件[2]。它包含了許多數(shù)據(jù)挖掘的算法，是目前最完備的數(shù)據(jù)挖掘軟件之一。Weka軟件提供了Explorer、Experimenter、Knowledge-Flow、SimpleCLI四種模塊[2]。其中Explorer是用來探索數(shù)據(jù)環(huán)境的，Experimenter是對各種實驗計劃進行數(shù)據(jù)測試，KnowledgeFlow和Explorer類似，但該模塊通過其特殊的接口可以讓使用者通過拖動的形式去創(chuàng)建實驗方案，Simple-CLI為簡單的命令行界面。以下數(shù)據(jù)挖掘任務(wù)主要用Ex-plorer模塊來進行。

（一）數(shù)據(jù)預(yù)處理

數(shù)據(jù)挖掘所需要的所有數(shù)據(jù)可以由系統(tǒng)排序模塊生成并進行下載。這里我們下載近兩年的教師科研信息。為了使論文總分、學(xué)術(shù)著作總分、科研獲獎總分、科研立項總分、科研總得分更有利于數(shù)據(jù)挖掘計算，在這里我們將以上得分分別確定分類屬性值。

（二）數(shù)據(jù)載入

點擊Explorer進入后有四種載入數(shù)據(jù)的方式，這里采用第一種Openfile形式。由于Weka所支持的標準數(shù)據(jù)格式為ARFF，我們將處理好的xls格式另存為csv，在weka中找到這個文件并重新保存為arff文件格式來實現(xiàn)數(shù)據(jù)的載入。由于所載入的數(shù)據(jù)噪聲比較多，這里應(yīng)根據(jù)數(shù)據(jù)挖掘任務(wù)對數(shù)據(jù)表中與本次數(shù)據(jù)任務(wù)不相關(guān)的屬性進行移除，只將學(xué)歷、職稱、論文等級、學(xué)術(shù)著作等級、科研獲獎等級、科研立項等級、科研總分等級留下。

（三）關(guān)聯(lián)挖掘與結(jié)果分析

WeakExplorer界面中提供了數(shù)據(jù)挖掘多種算法，在這里我們選擇“Associate”標簽下的Apriori算法。之后將“l(fā)owerBoundMinSupprot”（最小支持度）參數(shù)值設(shè)為0.1，將“upperBoundMinSupprot”（最大支持度）參數(shù)值設(shè)為1，在“metiricType”的參數(shù)值選項中選擇lift選項，將“minMetric”參數(shù)值設(shè)為1.1，將“numRules”（數(shù)據(jù)集數(shù)）參數(shù)值設(shè)為10，其它選項保存默認值，這樣就可以挖掘出支持度在10%到100%之間并且lift值超過1.1且排名前10名的關(guān)聯(lián)規(guī)則。其挖掘參數(shù)信息和關(guān)聯(lián)挖掘的部分結(jié)果。

三、挖掘結(jié)果與應(yīng)用

以上是針對教師基本情況和科研各項總分進行的反復(fù)的數(shù)據(jù)挖掘工作，從挖掘結(jié)果中找到最佳模式進行匯總。以下列出了幾項作為參考的關(guān)聯(lián)數(shù)據(jù)挖掘結(jié)果。

1、科研立項得分與論文、科研總得分關(guān)聯(lián)度高，即科研立項為A級的論文也一定是A。這與實際也是相符的，因為科研立項得A的教師應(yīng)該是主持了省級或是國家級的立項的同時也參與了其他教師的科研立項，在課題研究的過程中一定會有國家級論文或者省級論文進行發(fā)表來支撐立項，所以這類教師的論文得分也會很高。針對這樣的結(jié)果，在今后的科研工作中，科研處要鼓勵和幫助教師搞科研，為教師的科研工作提供精神上的支持和物質(zhì)上的幫助，這樣在很大程度上能夠帶動整個學(xué)校科研工作的進展。

2、副教授類的教師科研立項得分很高，而講師類教師和助教類教師的科研立項得分很低，這樣符合實際情況。因為副教授類的教師有一定的教學(xué)經(jīng)驗，并且很多副教授類的教師還想晉職稱，所以大多數(shù)副教授類教師都會申請一些課題。而對于講師類和助教類的教師，由于教學(xué)經(jīng)驗不足很少能進行省級以上的課題研究，因此這兩類教師的科研立項分數(shù)不高。針對這樣的結(jié)果，在今后的科研工作中，科研處可以采用一幫一、結(jié)對子的形式來幫助年輕教師，這樣可以使青年教師參與到老教師的科研課題研究工作中去，在課題研究工程中提高科研能力和教學(xué)能力。

第3篇

統(tǒng)計學(xué)論文2000字(一)：影響民族院校統(tǒng)計學(xué)專業(yè)回歸分析成績因素的研究論文

摘要：學(xué)習(xí)成績是評價學(xué)生素質(zhì)的重要方面，也是教師檢驗教學(xué)能力、反思教學(xué)成果的重要標準。利用大連民族大學(xué)統(tǒng)計學(xué)專業(yè)本科生有關(guān)數(shù)據(jù)（專業(yè)基礎(chǔ)課成績、平時成績和回歸分析期末成績），建立多元線性回歸模型，對影響回歸分析期末成績的因素進行深入研究，其結(jié)果對今后的教學(xué)方法改進和教學(xué)質(zhì)量提高具有十分重要的指導(dǎo)意義。

關(guān)鍵詞：多元線性回歸；專業(yè)基礎(chǔ)課成績；平時成績；期末成績

為了實現(xiàn)教學(xué)目標，提高教學(xué)質(zhì)量，有效提高學(xué)生學(xué)習(xí)成績是很有必要的。我們知道專業(yè)基礎(chǔ)課成績必定影響專業(yè)課成績，而且平時成績也會影響專業(yè)課成績，這兩類成績與專業(yè)課成績基本上是呈正相關(guān)的，但它們之間的關(guān)系密切程度有多大？它們之間又存在怎樣的內(nèi)在聯(lián)系呢？就這些問題，本文主要選取了2016級統(tǒng)計專業(yè)50名學(xué)生的四門專業(yè)基礎(chǔ)課成績以及回歸分析的平時成績和期末成績，運用SPSS統(tǒng)計軟件進行分析研究，尋求回歸分析期末成績影響因素的變化規(guī)律，擬合出關(guān)系式，從而為強化學(xué)生的后續(xù)學(xué)習(xí)和提高老師的教學(xué)質(zhì)量提供了有利依據(jù)。

一、數(shù)據(jù)選取

回歸分析是統(tǒng)計專業(yè)必修課，也是統(tǒng)計學(xué)中的一個非常重要的分支，它在自然科學(xué)、管理科學(xué)和社會、經(jīng)濟等領(lǐng)域應(yīng)用十分廣泛。因此研究影響統(tǒng)計學(xué)專業(yè)回歸分析成績的相關(guān)性是十分重要的。

選取了統(tǒng)計專業(yè)50名學(xué)生的專業(yè)基礎(chǔ)課成績（包括數(shù)學(xué)分析、高等代數(shù)、解析幾何和概率論）、回歸分析的平時成績和期末成績，結(jié)合多元線性回歸的基礎(chǔ)理論知識[1-2]，建立多元回歸方程，進行深入研究，可以直觀、高效、科學(xué)地分析各種因素對回歸分析期末成績造成的影響。

二、建立多元線性回歸模型1及數(shù)據(jù)分析

運用SPSS統(tǒng)計軟件對回歸分析期末成績的影響因素進行研究，可以得到準確、科學(xué)合理的數(shù)據(jù)結(jié)果，全面分析評價學(xué)生考試成績，對教師以后的教學(xué)工作和學(xué)生的學(xué)習(xí)會有較大幫助。自變量x1表示數(shù)學(xué)分析成績，x2表示高等代數(shù)成績，x3表示解析幾何成績，x4表示概率論成績，x5表示平時成績；因變量y1表示回歸分析期末成績，根據(jù)經(jīng)驗可知因變量y1和自變量xi，i=1，2，3，4，5之間大致成線性關(guān)系，可建立線性回歸模型：

（1）

線性回歸模型通常滿足以下幾個基本假設(shè)，

1.隨機誤差項具有零均值和等方差，即

（2）

這個假定通常稱為高斯-馬爾柯夫條件。

2.正態(tài)分布假定條件

由多元正態(tài)分布的性質(zhì)和上述假定可知，隨機變量y1服從n維正態(tài)分布。

從表1描述性統(tǒng)計表中可看到各變量的平均值1=79.68，2=74.66，3=77.22，4=78.10，5=81.04，1=75.48；xi的標準差分別為10.847，11.531，8.929，9.018，9.221，y1的標準差為8.141；有效樣本量n=50。

回歸分析期末成績y1的多元回歸模型1為：

y1=-5.254+0.221x1-0.4x2+0.154x3

+0.334x4+0.347x5

從表2中可以看到各變量的|t|值，在給定顯著水平？琢=0.05的情況下，通過t分布表可以查出，自由度為44的臨界值t？琢/2（44）=2.015，由于高等代數(shù)x2的|t|值為0.651小于t？琢/2（44），因此x2對y1的影響不顯著，其他自變量對y1都是線性顯著的。下面利用后退法[3]剔除自變量x2。

三、后退法建立多元線性回歸模型2及數(shù)據(jù)分析

從模型1中剔除了x2變量，多元回歸模型2為：

y1=-5.459+0.204x1+0.149x3+0.377x4+0.293x5（5）

在表4中，F(xiàn)統(tǒng)計量為90.326，在給定顯著水平？琢=0.05的情況下，查F分布表可得，自由度為p=4和n-p-1=45的臨界值F0.05（4，45）=2.579，所以F>F0.05（4，45），在表5中，所有自變量的|t|值都大于t？琢/2（45）=2.014，因此，多元回歸模型2的線性關(guān)系是顯著的。

四、結(jié)束語

通過對上述模型進行分析，即各個自變量對因變量的邊際影響，可以得到以下結(jié)論：在保持其他條件不變的情況下，當數(shù)學(xué)分析成績提高一分，則回歸分析成績可提高0.242分[4-5]；同理，當解析幾何成績、概率論成績和平時成績每提高一分，則回歸分析成績分別提高0.149分、0.377分和0.293分。

通過對學(xué)生專業(yè)基礎(chǔ)課成績、平時成績與回歸分析期末成績之間相關(guān)關(guān)系的研究，一方面有利于教師把控回歸分析教學(xué)課堂，提高教師意識，注重專業(yè)基礎(chǔ)課教學(xué)的重要性，同時，當學(xué)生平時成績不好時，隨時調(diào)整教學(xué)進度提高學(xué)生平時學(xué)習(xí)能力；另一方面使學(xué)生認識到，為了更好地掌握回歸分析知識，應(yīng)加強專業(yè)基礎(chǔ)課的學(xué)習(xí)，提高平時學(xué)習(xí)的積極性。因此，通過對回歸分析期末成績影響因素的研究能有效的解決教師教學(xué)和學(xué)生學(xué)習(xí)中的許多問題。

統(tǒng)計學(xué)畢業(yè)論文范文模板(二)：大數(shù)據(jù)背景下統(tǒng)計學(xué)專業(yè)“數(shù)據(jù)挖掘”課程的教學(xué)探討論文

摘要：互聯(lián)網(wǎng)技術(shù)、物聯(lián)網(wǎng)技術(shù)、云計算技術(shù)的蓬勃發(fā)展，造就了一個嶄新的大數(shù)據(jù)時代，這些變化對統(tǒng)計學(xué)專業(yè)人才培養(yǎng)模式的變革起到了助推器的作用，而數(shù)據(jù)挖掘作為拓展和提升大數(shù)據(jù)分析方法與思路的應(yīng)用型課程，被廣泛納入統(tǒng)計學(xué)本科專業(yè)人才培養(yǎng)方案。本文基于數(shù)據(jù)挖掘課程的特點，結(jié)合實際教學(xué)經(jīng)驗，對統(tǒng)計學(xué)本科專業(yè)開設(shè)數(shù)據(jù)挖掘課程進行教學(xué)探討，以期達到更好的教學(xué)效果。

關(guān)鍵詞：統(tǒng)計學(xué)專業(yè)；數(shù)據(jù)挖掘；大數(shù)據(jù)；教學(xué)

一、引言

通常人們總結(jié)大數(shù)據(jù)有“4V”的特點：Volume（體量大），Variety（多樣性），Velocity（速度快）和Value（價值密度低）。從這樣大量、多樣化的數(shù)據(jù)中挖掘和發(fā)現(xiàn)內(nèi)在的價值，是這個時代帶給我們的機遇與挑戰(zhàn)，同時對數(shù)據(jù)分析技術(shù)的要求也相應(yīng)提高。傳統(tǒng)教學(xué)模式并不能適應(yīng)和滿足學(xué)生了解數(shù)據(jù)處理和分析最新技術(shù)與方法的迫切需要。對于常常和數(shù)據(jù)打交道的統(tǒng)計學(xué)專業(yè)的學(xué)生來說，更是如此。

二、課程教學(xué)探討

針對統(tǒng)計學(xué)本科專業(yè)的學(xué)生而言，“數(shù)據(jù)挖掘”課程一般在他們?nèi)昙壔蛘咚哪昙壦_設(shè)，他們在前期已經(jīng)學(xué)習(xí)完統(tǒng)計學(xué)、應(yīng)用回歸分析、多元統(tǒng)計分析、時間序列分析等課程，所以在“數(shù)據(jù)挖掘”課程的教學(xué)內(nèi)容選擇上要有所取舍，同時把握好難度。不能把“數(shù)據(jù)挖掘”課程涵蓋了的所有內(nèi)容不加選擇地要求學(xué)生全部掌握，對學(xué)生來說是不太現(xiàn)實的，需要為統(tǒng)計學(xué)專業(yè)本科生“個性化定制”教學(xué)內(nèi)容。

（1）“數(shù)據(jù)挖掘”課程的教學(xué)應(yīng)該偏重于應(yīng)用，更注重培養(yǎng)學(xué)生解決問題的能力。因此，教學(xué)目標應(yīng)該是：使學(xué)生樹立數(shù)據(jù)挖掘的思維體系，掌握數(shù)據(jù)挖掘的基本方法，提高學(xué)生的實際動手能力，為在大數(shù)據(jù)時代，進一步學(xué)習(xí)各種數(shù)據(jù)處理和定量分析工具打下必要的基礎(chǔ)。按照這個目標，教學(xué)內(nèi)容應(yīng)以數(shù)據(jù)挖掘技術(shù)的基本原理講解為主，讓學(xué)生了解和掌握各種技術(shù)和方法的來龍去脈、功能及優(yōu)缺點；以算法講解為輔，由于有R語言、python等軟件，學(xué)生了解典型的算法，能用軟件把算法實現(xiàn)，對軟件的計算結(jié)果熟練解讀，對各種算法的改進和深入研究則不作要求，有興趣的同學(xué)可以自行課下探討。

（2）對于已經(jīng)學(xué)過的內(nèi)容不再詳細講解，而是側(cè)重介紹它們在數(shù)據(jù)挖掘中的功能及綜合應(yīng)用。在新知識的講解過程中，注意和已學(xué)過知識的融匯貫通，既復(fù)習(xí)鞏固了原來學(xué)過的知識，同時也無形中降低了新知識的難度。比如，在數(shù)據(jù)挖掘模型評估中，把混淆矩陣、ROC曲線、誤差平方和等知識點就能和之前學(xué)過的內(nèi)容有機聯(lián)系起來。

（3）結(jié)合現(xiàn)實數(shù)據(jù)，讓學(xué)生由“被動接收”式的學(xué)習(xí)變?yōu)椤爸鲃犹骄俊毙偷膶W(xué)習(xí)。在講解每種方法和技術(shù)之后，增加一個或幾個案例，以加強學(xué)生對知識的理解。除了充分利用已有的國內(nèi)外數(shù)據(jù)資源，還可以鼓勵學(xué)生去搜集自己感興趣的或者國家及社會大眾關(guān)注的問題進行研究，提升學(xué)生學(xué)習(xí)的成就感。

（4）充分考慮前述提到的三點，課程內(nèi)容計劃安排見表1。

（5）課程的考核方式既要一定的理論性，又不能失掉實踐應(yīng)用性，所以需要結(jié)合平時課堂表現(xiàn)、平時實驗項目完成情況和期末考試來綜合評定成績。采取期末閉卷理論考試占50%，平時實驗項目完成占40%，課堂表現(xiàn)占10%，這樣可以全方位的評價學(xué)生的表現(xiàn)。

三、教學(xué)效果評估

經(jīng)過幾輪的教學(xué)實踐后，取得了如下的教學(xué)效果：

（1）學(xué)生對課程的興趣度在提升，課下也會不停地去思考數(shù)據(jù)挖掘有關(guān)的方法和技巧，發(fā)現(xiàn)問題后會一起交流與討論。

（2）在大學(xué)生創(chuàng)新創(chuàng)業(yè)項目或者數(shù)據(jù)分析的有關(guān)競賽中，選用數(shù)據(jù)挖掘方法的人數(shù)也越來越多，部分同學(xué)的成果還能在期刊上正式發(fā)表，有的同學(xué)還能在競賽中取得優(yōu)秀的成績。

（3）統(tǒng)計學(xué)專業(yè)本科生畢業(yè)論文的選題中利用數(shù)據(jù)挖掘有關(guān)方法來完成的論文越來越多，論文的完成質(zhì)量也在不斷提高。

（4）本科畢業(yè)生的就業(yè)崗位中從事數(shù)據(jù)挖掘工作的人數(shù)有所提高，說明滿足企業(yè)需求技能的人數(shù)在增加。繼續(xù)深造的畢業(yè)生選擇數(shù)據(jù)挖掘研究方向的人數(shù)也在逐漸增多，表明學(xué)生的學(xué)習(xí)興趣得以激發(fā)。

教學(xué)實踐結(jié)果表明，通過數(shù)據(jù)挖掘課程的學(xué)習(xí)，可以讓學(xué)生在掌握理論知識的基礎(chǔ)上，進一步提升分析問題和解決實際問題的能力。