Python知識(shí)分享網(wǎng) - 專(zhuān)業(yè)的Python學(xué)習(xí)網(wǎng)站 學(xué)Python,上Python222
數(shù)據(jù)挖掘數(shù)據(jù)分析面試題 DOC 下載
匿名網(wǎng)友發(fā)布于:2023-12-11 09:54:37
(侵權(quán)舉報(bào))
(假如點(diǎn)擊沒(méi)反應(yīng),多刷新兩次就OK!)

數(shù)據(jù)挖掘數(shù)據(jù)分析面試題 DOC 下載   圖1

 

 

 

資料內(nèi)容:

 

 

一、異常值是指什么?請(qǐng)列舉1種識(shí)別連續(xù)型變量異常值的方法?

異常值(Outlier) 是指樣本中的個(gè)別值,其數(shù)值明顯偏離所屬樣本的其余觀(guān)測(cè)值。在數(shù)理統(tǒng)計(jì)里一般是指一組觀(guān)測(cè)值中與平均值的偏差超過(guò)兩倍標(biāo)準(zhǔn)差的測(cè)定值。
Grubbs’ test(是以Frank E.Grubbs命名的),又叫maximumnormed residual test,是一種用于單變量數(shù)據(jù)集異常值識(shí)別的統(tǒng)計(jì)檢測(cè),它假定數(shù)據(jù)集來(lái)自正態(tài)分布的總體。
未知總體標(biāo)準(zhǔn)差σ,在五種檢驗(yàn)法中,優(yōu)劣次序?yàn)椋?/span>t檢驗(yàn)法、格拉布斯檢驗(yàn)法、峰度檢驗(yàn)法、狄克遜檢驗(yàn)法、偏度檢驗(yàn)法。

二、什么是聚類(lèi)分析?聚類(lèi)算法有哪幾種?請(qǐng)選擇一種詳細(xì)描述其計(jì)算原理和步驟。

聚類(lèi)分析(clusteranalysis)是一組將研究對(duì)象分為相對(duì)同質(zhì)的群組(clusters)的統(tǒng)計(jì)分析技術(shù)。聚類(lèi)分析也叫分類(lèi)分析(classification analysis)或數(shù)值分類(lèi)(numerical taxonomy)。聚類(lèi)與分類(lèi)的不同在于,聚類(lèi)所要求劃分的類(lèi)是未知的。
聚類(lèi)分析計(jì)算方法主要有: 層次的方法(hierarchical method)、劃分方法(partitioning method)、基于密度的方法(density-based method)、基于網(wǎng)格的方法(grid-based method)、基于模型的方法(model-based method)等。其中,前兩種算法是利用統(tǒng)計(jì)學(xué)定義的距離進(jìn)行度量。

k-means 算法的工作過(guò)程說(shuō)明如下:首先從n個(gè)數(shù)據(jù)對(duì)象任意選擇 k 個(gè)對(duì)象作為初始聚類(lèi)中心;而對(duì)于所剩下其它對(duì)象,則根據(jù)它們與這些聚類(lèi)中心的相似度(距離),分別將它們分配給與其最相似的(聚類(lèi)中心所代表的)聚類(lèi);然后再計(jì)算每個(gè)所獲新聚類(lèi)的聚類(lèi)中心(該聚類(lèi)中所有對(duì)象的均值);不斷重復(fù)這一過(guò)程直到標(biāo)準(zhǔn)測(cè)度函數(shù)開(kāi)始收斂為止。一般都采用均方差作為標(biāo)準(zhǔn)測(cè)度函數(shù). k個(gè)聚類(lèi)具有以下特點(diǎn):各聚類(lèi)本身盡可能的緊湊,而各聚類(lèi)之間盡可能的分開(kāi)。
其流程如下:
1)從 n個(gè)數(shù)據(jù)對(duì)象任意選擇 k 個(gè)對(duì)象作為初始聚類(lèi)中心;     
2)根據(jù)每個(gè)聚類(lèi)對(duì)象的均值(中心對(duì)象),計(jì)算每個(gè)對(duì)象與這些中心對(duì)象的距離;并根據(jù)最小距離重新對(duì)相應(yīng)對(duì)象進(jìn)行劃分;  
3)重新計(jì)算每個(gè)(有變化)聚類(lèi)的均值(中心對(duì)象);
4)循環(huán)(2)、(3)直到每個(gè)聚類(lèi)不再發(fā)生變化為止(標(biāo)準(zhǔn)測(cè)量函數(shù)收斂)。
優(yōu) 點(diǎn):本算法確定的K 個(gè)劃分到達(dá)平方誤差最小。當(dāng)聚類(lèi)是密集的,且類(lèi)與類(lèi)之間區(qū)別明顯時(shí),效果較好。對(duì)于處理大數(shù)據(jù)集,這個(gè)算法是相對(duì)可伸縮和高效的,計(jì)算的復(fù)雜度為 O(NKt),其中N是數(shù)據(jù)對(duì)象的數(shù)目,t是迭代的次數(shù)。一般來(lái)說(shuō),K<<N,t<<N
缺點(diǎn):1. K 是事先給定的,但非常難以選定;2. 初始聚類(lèi)中心的選擇對(duì)聚類(lèi)結(jié)果有較大的影響。

三、根據(jù)要求寫(xiě)出SQL
A結(jié)構(gòu)如下:
Member_ID (用戶(hù)的ID,字符型)
Log_time (用戶(hù)訪(fǎng)問(wèn)頁(yè)面時(shí)間,日期型(只有一天的數(shù)據(jù)))
URL (訪(fǎng)問(wèn)的頁(yè)面地址,字符型)
要求:提取出每個(gè)用戶(hù)訪(fǎng)問(wèn)的第一個(gè)URL(按時(shí)間最早),形成一個(gè)新表(新表名為B,表結(jié)構(gòu)和表A一致)

create table B as select Member_ID,min(Log_time), URL from A group by Member_ID ;