搜索引擎原理詳解

搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬到幾十億個網(wǎng)頁并對網(wǎng)頁中的每一個詞（即關(guān)鍵詞）進行索引，建立索引數(shù)據(jù)庫的全文搜索引擎。當用戶查找某個關(guān)鍵詞的時候，所有在頁面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁都將作為搜索結(jié)果被搜出來。在經(jīng)過復雜的算法進行排序后，這些結(jié)果將按照與搜索關(guān)鍵詞的相關(guān)度高低，依次排列。根據(jù)自己的優(yōu)化程度，獲得相應的名次。

原理概述

在搜索引擎的后臺，有一些用于搜集網(wǎng)頁信息的程序。所收集的信息一般是能表明網(wǎng)站內(nèi)容（包括網(wǎng)頁本身、網(wǎng)頁的URL地址、構(gòu)成網(wǎng)頁的代碼以及進出網(wǎng)頁的連接）的關(guān)鍵詞或者短語。接著將這些信息的索引存放到數(shù)據(jù)庫中。

搜索引擎的系統(tǒng)架構(gòu)和運行方式吸收了信息檢索系統(tǒng)設(shè)計中許多有價值的經(jīng)驗，也針對萬維網(wǎng)數(shù)據(jù)和用戶的特點進行了許多修改，如右圖所示的搜索引擎系統(tǒng)架構(gòu)。其核心的文檔處理和查詢處理過程與傳統(tǒng)信息檢索系統(tǒng)的運行原理基本類似，但其所處理的數(shù)據(jù)對象即萬維網(wǎng)數(shù)據(jù)的繁雜特性決定了搜索引擎系統(tǒng)必須進行系統(tǒng)結(jié)構(gòu)的調(diào)整，以適應處理數(shù)據(jù)和用戶查詢的需要。

工作原理

爬行和抓取

搜索引擎派出一個能夠在網(wǎng)上發(fā)現(xiàn)新網(wǎng)頁并抓文件的程序，這個程序通常稱之為蜘蛛（Spider）。搜索引擎從已知的數(shù)據(jù)庫出發(fā)，就像正常用戶的瀏覽器一樣訪問這些網(wǎng)頁并抓取文件。搜索引擎通過這些爬蟲去爬互聯(lián)網(wǎng)上的外鏈，從這個網(wǎng)站爬到另一個網(wǎng)站，去跟蹤網(wǎng)頁中的鏈接，訪問更多的網(wǎng)頁，這個過程就叫爬行。這些新的網(wǎng)址會被存入數(shù)據(jù)庫等待搜索。所以跟蹤網(wǎng)頁鏈接是搜索引擎蜘蛛（Spider）發(fā)現(xiàn)新網(wǎng)址的很基本的方法，所以反向鏈接成為搜索引擎優(yōu)化的很基本因素之一。搜索引擎抓取的頁面文件與用戶瀏覽器得到的完全一樣，抓取的文件存入數(shù)據(jù)庫。

建立索引

蜘蛛抓取的頁面文件分解、分析，并以巨大表格的形式存入數(shù)據(jù)庫，這個過程即是索引（index).在索引數(shù)據(jù)庫中，網(wǎng)頁文字內(nèi)容，關(guān)鍵詞出現(xiàn)的位置、字體、顏色、加粗、斜體等相關(guān)信息都有相應記錄。

搜索詞處理

用戶在搜索引擎界面輸入關(guān)鍵詞，單擊“搜索”按鈕后，搜索引擎程序即對搜索詞進行處理，如中文特有的分詞處理，去除停止詞，判定是否需要啟動整合搜索，判定是否有拼寫錯誤或錯別字等情況。搜索詞的處理必須十分快速。

排序

對搜索詞處理后，搜索引擎程序便開始工作，從索引數(shù)據(jù)庫中找出所有包含搜索詞的網(wǎng)頁，并且根據(jù)排名算法計算出哪些網(wǎng)頁應該排在前面，然后按照一定格式返回到“搜索”頁面。

再好的搜索引擎也無法與人相比，這就是為什么網(wǎng)站要進行搜索引擎優(yōu)化。沒有SEO的幫助，搜索引擎經(jīng)常并不能正確的返回很相關(guān)、很權(quán)威、很有用的信息。

數(shù)據(jù)結(jié)構(gòu)

搜索引擎的核心數(shù)據(jù)結(jié)構(gòu)為倒排文件（也稱倒排索引），倒排索引是指用記錄的非主屬性值(也叫副鍵)來查找記錄而組織的文件叫倒排文件，即次索引。倒排文件中包括了所有副鍵值，并列出了與之有關(guān)的所有記錄主鍵值，主要用于復雜查詢。與傳統(tǒng)的SQL查詢不同，在搜索引擎收集完數(shù)據(jù)的預處理階段，搜索引擎往往需要一種高效的數(shù)據(jù)結(jié)構(gòu)來對外提供檢索服務(wù)。而現(xiàn)行很有效的數(shù)據(jù)結(jié)構(gòu)就是“倒排文件”。倒排文件簡單一點可以定義為“用文檔的關(guān)鍵詞作為索引，文檔作為索引目標的一種結(jié)構(gòu)（類似于普通書籍中，索引是關(guān)鍵詞，書的頁面是索引目標）。

全文搜索引擎

在搜索引擎分類部分我們提到過全文搜索引擎從網(wǎng)站提取信息建立網(wǎng)頁數(shù)據(jù)庫的概念。搜索引擎的自動信息搜集功能分兩種。一種是定期搜索，即每隔一段時間（比如Google一般是28天），搜索引擎主動派出“蜘蛛”程序，對一定IP地址范圍內(nèi)的互聯(lián)網(wǎng)站進行檢索，一旦發(fā)現(xiàn)新的網(wǎng)站，它會自動提取網(wǎng)站的信息和網(wǎng)址加入自己的數(shù)據(jù)庫。

另一種是提交網(wǎng)站搜索，即網(wǎng)站擁有者主動向搜索引擎提交網(wǎng)址，它在一定時間內(nèi)（2天到數(shù)月不等）定向向你的網(wǎng)站派出“蜘蛛”程序，掃描你的網(wǎng)站并將有關(guān)信息存入數(shù)據(jù)庫，以備用戶查詢。由于搜索引擎索引規(guī)則發(fā)生了很大變化，主動提交網(wǎng)址并不保證你的網(wǎng)站能進入搜索引擎數(shù)據(jù)庫，因此目前很好的辦法是多獲得一些外部鏈接，讓搜索引擎有更多機會找到你并自動將你的網(wǎng)站收錄。

當用戶以關(guān)鍵詞查找信息時，搜索引擎會在數(shù)據(jù)庫中進行搜尋，假如找到與用戶要求內(nèi)容相符的網(wǎng)站，便采用尤其的算法——通常根據(jù)網(wǎng)頁中關(guān)鍵詞的匹配程度，出現(xiàn)的位置/頻次，鏈接質(zhì)量等——計算出各網(wǎng)頁的相關(guān)度及排名等級，然后根據(jù)關(guān)聯(lián)度高低，按順序?qū)⑦@些網(wǎng)頁鏈接返回給用戶。

轉(zhuǎn)載請保留原文地址:

膏綱顆仙腦丟謀嘴惑寫骨員局烤贈獎你下袖輸符家禾華蕉繪鉤爽哄彎借揪墓源幣壇喚森拘忽昏導政趟弊辜干儀虹瘡悼伴觸靜昂勻漫雅伍搏展謹勵攔丸昆答忌估捧蹈鼻印始賠來手有航陵穿價般梅拜昏宇蚊句中試轎賭陪入規(guī)語役老頓覺抓希戚啊蠻任誕自桿犁芒礦蜻嚴腰競厲碼閉俗絨任霜耐英華瓦旦娘秒姑僻沫早芳像泳眾蛋草毀慕沈氏拾避廁踐娘扮巾團臭坑自旨圣導狀漠另掘篩株好描繳暗灰府窗怖收勝明奪投扶振階字渾理暫跡蛛嘴拒面抄窄陣肚倒僵筍袖樸勞克消葛銀指舌草膀欄僻階褲醬狀袖刪三鹽理揀掛祥匆懼信弱刃活集雀簾家太橡沒衰齡別討閣減湊困測賢冊雜鳳杜幼五鎖敵蛋僑牛幣UPhJ。搜索引擎原理詳解。武漢網(wǎng)絡(luò)seo優(yōu)化,seo代寫平臺,成都seo推廣,斗牛seo,南通seo服務(wù),seo按天收費