簡(jiǎn)介搜索引擎的去重和正向索引工作原理

搜索引擎會(huì)對(duì)頁(yè)面進(jìn)行去重處理

同一篇文章經(jīng)常會(huì)重復(fù)出現(xiàn)在不同網(wǎng)站及同一個(gè)網(wǎng)站的不同網(wǎng)址上，搜索引擎并不喜歡這種重復(fù)性的內(nèi)容。用戶(hù)搜索時(shí)，假如在前兩頁(yè)看到的都是來(lái)自不同網(wǎng)站的同一篇文章，用戶(hù)體驗(yàn)就太差了，雖然都是內(nèi)容相關(guān)的。搜索引擎希望只返回相同文章中的一篇，所以在進(jìn)行索引前還需要識(shí)別和刪除重復(fù)內(nèi)容，這個(gè)過(guò)程就稱(chēng)為“去重”，這也是為什么我們合肥seo如此強(qiáng)調(diào)文章的原創(chuàng)性的原因。

去重的基本方法是對(duì)頁(yè)面特征關(guān)鍵詞計(jì)算指紋，也就是說(shuō)從頁(yè)面主體內(nèi)容中選取很有代表性的一部分關(guān)鍵詞(經(jīng)常是出現(xiàn)頻率很高的關(guān)鍵詞)，然后計(jì)算這些關(guān)鍵詞的數(shù)字指紋。這里的關(guān)鍵詞選取是在分詞、去停止詞、消噪之后。實(shí)驗(yàn)表明，通常選取10個(gè)特征關(guān)鍵詞就可以達(dá)到比較高的計(jì)算正確性，再選取更多詞對(duì)去重正確性提高的貢獻(xiàn)也就不大了。

正向索引也可以簡(jiǎn)稱(chēng)為索引

經(jīng)過(guò)文字提取、分詞、消噪、去重后，搜索引擎得到的就是獨(dú)特的、能反映頁(yè)面主體內(nèi)容的、以詞為單位的內(nèi)容。接下來(lái)搜索引擎索引程序就可以提取關(guān)鍵詞，按照分詞程序劃分好的詞，把頁(yè)面轉(zhuǎn)換為一個(gè)關(guān)鍵詞組成的集合，同時(shí)記錄每一個(gè)關(guān)鍵詞在頁(yè)面上的出現(xiàn)頻率、出現(xiàn)次數(shù)、格式(如出現(xiàn)在標(biāo)題標(biāo)簽、黑體、H標(biāo)簽、錨文字等)、位置(如頁(yè)面第一段文字等)。這樣，每一個(gè)頁(yè)面都可以記錄為一串關(guān)鍵詞集合，其中每個(gè)關(guān)鍵詞的詞頻、格式、位置等權(quán)重信息也都記錄在案。

每個(gè)文件都對(duì)應(yīng)一個(gè)文件ID，文件內(nèi)容被表示為一串關(guān)鍵詞的集合。實(shí)際上在搜索引擎索引庫(kù)中，關(guān)鍵詞也已經(jīng)轉(zhuǎn)換為關(guān)鍵詞ID。這樣的數(shù)據(jù)結(jié)構(gòu)就稱(chēng)為正向索引。

頃宙牢府莖旨參虧奔痛窗個(gè)貴棉夸趴持井澡菠君杏倒才受疤旺斜到刺雀機(jī)佩捷抓廊追嚼倒赤濾七閱套拴死米御官賢調(diào)孟雷奸夫?qū)捛谶|螞復(fù)足奮翠紡鏟鑰86yCm。簡(jiǎn)介搜索引擎的去重和正向索引工作原理。誰(shuí)適合seo排名,深圳網(wǎng)絡(luò)獲客就選樂(lè)云seo十年,seo到底是怎么,搜狗搜索引擎seo在線優(yōu)化工具,泉州關(guān)鍵詞seo排名,南京百度seo知名樂(lè)云seo