大家好，我是專門從事SEO的，幾個月來一直都在維護和優化按摩器排行榜.yziyuan.這個網站，并從中總結了很多的經驗和知識。今天要分享的是《搜索引擎基礎知識和工作原理》，新都匯商城網站這是最基本的概念吧，　　第一部分：什么是搜索引擎?　　1，定義?　　官方定義：　　搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統。新都匯商城網站百度和谷歌等是搜索引擎的代表�！　∥业睦斫馐牵骸　“凑账阉饕�擎的搜索規則去設置目標網站的內容，等用戶搜索的時候，新都匯優秀商城網站能夠更好的展現給用戶想要的內容!這樣的一個服務過程就是通過一個叫搜索引擎的工具去實現的!　　2，分類　　(1)全文索引：　　從整個互聯網中提取各個網站的信息(以網頁文字為主)，通過自己的檢索程序(Indexer)，俗稱;蜘蛛;(Spider)程序或;機器人;(Robot)程序建立起數據庫，搜索結果直接從自身的數據庫中調用。并能檢索與用戶查詢條件相匹配的記錄，新都匯優秀商城網站按一定的排列順序返回結果。全文搜索引擎是目前廣泛應用的主流搜索引擎，國外代表有Google，國內則有著名的百度�！　�SEO應該對這類搜索引擎的研究重點是：　　關鍵詞的匹配程度、出現的位置、頻次、鏈接質量;　　因為：當用戶以關鍵詞查找信息時，搜索引擎會在數據庫中進行搜尋，如果找到與用戶要求內容相符的網站，便采用特殊的算法;;通常根據網頁中計算出各網頁的相關度及排名等級，然后根據關聯度高低，按順序將這些網頁鏈接返回給用戶。新都匯優秀商城網站這種引擎的特點是搜全率比較高�！　�(2)目錄索引　　用戶完全可以按照分類目錄找到所需要的信息，不依靠關鍵詞(Keywords)進行查詢。雖然有搜索功能，但嚴格意義上不能稱為真正的搜索引擎，只是按目錄分類的網站鏈接列表而已。新都匯商城網站目錄索引中最具代表性是Yahoo、新浪分類目錄搜索，hao123�！　�(3)元搜索引擎　　(METASearchEngine)接受用戶查詢請求后，同時在多個搜索引擎上搜索，并將結果返回給用戶。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索結果排列方面，有的直接按來源排列搜索結果，如Dogpile;有的則按自定的規則將結果重新排列組合，如Vivisimo�！　�(4)垂直搜索引擎　　是2006年后逐步興起的一類搜索引擎。不同于通用的網頁搜索引擎，垂直搜索專注于特定的搜索領域和搜索需求(例如：機票搜索、旅游搜索、生活搜索、小說搜索、視頻搜索等等)，在其特定的搜索領域有更好的用戶體驗。相比通用搜索動輒數千臺檢索服務器，垂直搜索需要的硬件成本低、用戶需求特定、查詢的方式多樣。精準度比較高!　　(5)集合式搜索引擎：該搜索引擎類似元搜索引擎，區別在于它并非同時調用多個搜索引擎進行搜索，而是由用戶從提供的若干搜索引擎中選擇，如HotBot在2002年底推出的搜索引擎�！　�(6)門戶搜索引擎　　比如MSNSearch，特點是自身既沒有分類目錄也沒有網頁數據庫，其搜索結果完全來自其他搜索引擎�！　�(7)免費鏈接列表　　免費鏈接列表(FreeForAllLinks簡稱FFA)：一般只簡單地滾動鏈接條目，少部分有簡單的分類目錄，不過規模要比Yahoo!等目錄索引小很多�！　】偨Y：做SEO離不開搜索引擎，新都匯優秀商城網站從某種意義上來說SEO就是在和搜索引擎博弈的過程!我們做SEO，雖然不需要會寫代碼，也不需要深入的了解搜索引擎的技術細節，但是對搜索引擎的一些基本常識還應該了解一下有利于我們的優化工作!只有了解了搜索引擎的這些基本概念，我們在做起網站優化來才能游刃有余!　　第二部分：搜索引擎的發展史　　如今互聯網的發展速度，網絡上的資源遠遠的超出了人類的想想和掌控，如果沒有搜索引擎我們根本就找不到我們想要的東西!尤其是社交網絡的發展，比如facebook，twitter，微博等，移動應用的火爆增長，無論是從使用人數，網站的流量看?還是社會的影響力遠遠的超過了雅虎，谷歌等曾經的這些互聯網巨頭!那說這些和SEO有什么關系呢?只要有網絡的地方就有搜索，有搜索的地方就從在SEO!　　那么搜索引擎的發展史是什么樣的?對我們做網站優化有什么需求和幫助呢?難道我們不了解搜索引擎的發展史就無法做好SEO嗎?其實不是這樣的，了解搜索引擎的發展史對我們做好網站優化會有更大的幫助!　　搜索引擎的發展史我在這里就不會詳細的去講解了，如果感興趣的同學可以去搜索引擎直通車這個網站上學習一下!　　下面就來看一下搜索引擎增長所帶來的價值：　　這些數據能說明一下幾個問題：　　(1)，搜索市場還在如日中天的火速發著!對于做SEO的從在很大的機會和金礦　　(2)通過搜索引擎的增長，搜索引擎公司很大一部分收入都是來自于網絡廣告，其中SEM占的比例還很高，SEO是自然搜索排名。不需要話費很多錢就可以實現同樣的價值;　　(3)其他的搜索也越來越親近用戶，SEO施展才華的地方多了起來!　　(4)通過不同平臺的競爭，社會的關注，體質不斷的健全，對今后做SEO的企業也是一個很好的福音!　　總結：　　通過搜索引擎的發展速度我們可以很容易的判斷出SEO在未來的重要性!了解搜索引擎的發展歷史有助于SEO優化人員能更深刻的理解SEM的發展和變革!這樣也有利于我們能夠很好的把握住未來的方向!只有與時代同步了，我們才能不斷的進步!搜索引擎的發展速度之快。對SEO來說是好事，只要搜索的地方就會有排名，有排名就會用到SEO技術!我們要做的就是不斷的去關注這些動態變化，以便能更好的發揮SEO的長處!　　大家都知道，互聯網的發展速度不是一般的快!隨著互聯網的發展，搜索引擎的價值在不斷的飆升著。你們為什么會用到這種搜索技術呢?是如何出現的呢?舉個例子來說：我們的圖書館是藏書的寶地，當圖書館里面的書籍和文件隨著時間不斷增多的時候，就必然會出現一個問題，查找困難，管理也很困難，這時候該怎么辦呢?通過目錄管理，我們就可以對圖書館的所以文件實現規律性的管理，其實，我們的搜索引擎原理就是起源于這種傳統的文件檢索技術!那么搜索引擎真正的原理又是怎么一回事兒呢?我們繼續往下看：　　第三部分：搜索引擎的工作原理：　　搜索引擎的工作原理大體上可以分為三個階段：　　(1)爬行和抓�。骸　【褪撬阉饕�擎蜘蛛通過跟蹤鏈接地址訪問網站頁面，把獲取到的網站頁面l代碼放入到自己的數據庫當中�！　∨佬泻妥ト∈撬阉饕�擎工作的第一步，主要是完成數據的收集任務;　　解釋幾個關鍵詞：　　1，蜘蛛：　　(1)定義：我把他它叫做抓取網頁數據時的執行者，其實它就是一個計算機程序，因為這個工作過程與現實中的蜘蛛很相像，專業內就稱它為搜索引擎蜘蛛!　　(2)工作過程：蜘蛛程序向網站頁面發出訪問請求，服務器就會返回L代碼，蜘蛛程序把收到的代碼存入原始頁面的數據庫當中。蜘蛛訪問任何一個網站時，都會最先訪問網站根目錄下的robots.txt文件!如果robots.txt文件禁止搜索引擎抓取某些文件或者目錄，蜘蛛將會遵守這些禁止協議，不抓取那些被禁止的網址�！　�(3)常見的搜索引擎蜘蛛名稱：　　百度蜘蛛、雅虎中國蜘蛛、Google蜘蛛、微軟Bing蜘蛛、搜狗蜘蛛、搜搜蜘蛛、有道蜘蛛等等!　　2，跟蹤鏈接　　大家都知道整個互聯網是由相連接的網站頁面組合成的!頁面和頁面之間是靠鏈接來聯系的，搜索引擎能為了更快速的收集網站數據，就是通過搜索引擎蜘蛛去跟蹤網站頁面上的鏈接，從一個頁面抓取到下一個頁面!這個過程和蜘蛛在蜘蛛網上爬行一樣!就這樣蜘蛛可以快速的可以爬完整個互聯網上的網站頁面!　　根據網站鏈接結構的不同我們可以把蜘蛛的爬行路線分為兩種：深度爬行和廣度爬行　　A：深度爬行：蜘蛛沿著發現的頁面鏈接一直向前爬行，直到前面再也沒有其他鏈接，然后返回到第一個頁面，沿著另為一個鏈接再一直向前爬行!　　B：廣度爬行：蜘蛛在一個頁面上發現多個鏈接時，不順著一個鏈接一直往前爬行，而是把頁面上所有的第一層鏈接都爬行一遍，然后再繼續沿著第二層頁面上發現的鏈接爬向第三層頁面!一直這樣進行下去……　　所以，我們在做網站的時候，對網站的結構一定要有這兩種布局，優化網站頁面的時候也一定要做到兩種鏈接布局!這樣的結構是搜索引擎蜘蛛組喜歡的!　　3，定向優化技術勾引蜘蛛　　A：過讀網站和頁面的權重進行優化提高蜘蛛的來訪次數�！　�B：做好頁面的跟新頻率和內容的質量　　C：增加導入鏈接　　D：距離首頁的點擊距離;距離首頁點擊距離越近，頁面權重越高，蜘蛛爬行的機會越大　　4，地址庫，　　搜索引擎會建立一個存放頁面的地址庫，目的就是為了避免搜索引擎蜘蛛重復爬行和抓取網址，這個地址庫里面有已經被抓取的頁面，也有被發現后還沒有被抓取的頁面!　　這個地址庫中的URL一定是蜘蛛抓取來的嗎?答案是No　　有人工錄入的種子網站地址，也有站長通過搜索引擎網頁提交表格提交進去的網址!　　另為需要注意的是：網址提交了，也不一定就能被收錄，這看你提交頁面的權重如何了!不過搜索引擎蜘蛛還是跟喜歡自己沿著鏈接去抓去頁面!自己得來的更好吃!　　5，文件存儲　　搜索引擎蜘蛛抓取來的頁面就存放在這個原始頁面數據庫中!其中每個URL都有一個獨特的文件編號!　　6，對復制內容的檢測　　有很多站長曾經碰到過這樣的問題：在網站頁面中發現了蜘蛛來爬行過，但是頁面沒有被收錄過，不知道什么回事!其實很簡單，很有可能是蜘蛛在爬行你網頁的時候發現了很多權重比較低的內容，比如：轉載或者偽原創的內容是，蜘蛛就會離開!你的網頁也就沒有被收錄!蜘蛛在爬行抓取頁面內容的時候也會對其進行一定程度的復制內容檢測!　　(2)預處理　　這個過程是指：索引程序對數據庫里蜘蛛抓取來的網站頁面進行處理，主要做文字提取，中文分詞，索引等工作;　　這個過程是起到一個橋梁的作用，由于搜索引擎數據庫中的數據實在是太多了，當用戶在搜索框中輸入關鍵詞后不可能一下就返回排名結果嗎，但是往往我們感覺很快，其實起到關鍵作用的就是預處理這個過程!和爬行抓取過程一樣他也是在后臺提前完成的!　　有些人認為預處理就是索引，其實不是這樣的，索引只是預處理的一個主要步驟，那么什么是索引呢?索引是對數據庫列表中的一列或者多列的值進行排序的一種結構!　　在索引之前要做五個工作：　　1，提取文字：　　我們知道蜘蛛抓取的是含有全部L代碼的頁面，這里面其實包含很多信息：有文字，有CSS屬性，有大量的L格式標簽，javascript程序!但是后面的兩個是無法參與到排名內容中來的，也就是說除了文字之外其它的都給去掉了，這個過程就是去除過程，也叫提取文字的過程，即：提取出可以用于排名處理的網站頁面文字內容!　　注意：搜索引擎除了提取出可見的文字外，還可以提出以下不可見的文字內容;比如：METa標簽中的文字內容，圖片替代文字，FLASH文件的替代文字，鏈接錨文字等!　　2，中文分詞　　大家都知道中文句子和英文句子有一個不同的地方，不是字母和漢字的區別，而是，英文單詞和單詞之間是有空格分開的，中文句子里，字和字沒有之間沒有分隔符，一個句子中的詞都是連在一起的!所以，這時候搜索引擎就必須先分辨一下哪幾個字組成一個詞，哪幾個字本身就是一個詞!比如：;波司登羽絨服;就將其分為;波司登;和;羽絨服;兩個詞;　　中文分詞一般有兩種方法：　　A：詞典匹配：又分為正向和逆向匹配!　　B：根據搜索統計　　這兩者往往混合使用!而且在百度和谷歌中分詞的相關性有時候也不太一樣，例如：搜索引擎優化，在百度中就是一個完整的詞，而在谷歌中將其分成了;搜索;;引擎;;優化;三部分，所以在做優化的時候一定要注意選擇的關鍵詞的特點，后面我們會詳細的講解選詞技巧�！　∽⒁猓喝绻�我們非要讓一個詞組合在一起，不讓搜索引擎的分詞技術把它分開怎么辦?　　我們可以這樣做：在頁面標題，h1標簽，利用黑體表粗出現該關鍵詞!這樣就適當的去提醒了搜索引擎，搜索引擎就會知道我們這個詞是一個組合就不會將其分開了!　　3，去停止詞　　什么是停止詞?就是在頁面中出現次數比較多的，對內容沒有實質性影響的那些詞;比如：;的;，;得;;地;這些助詞，;啊;;哈;;呀;等感嘆詞，;從而;;以;;卻;等副詞或者介詞，這些詞就被稱之為停止詞!英文里有：the，a，an，to，of等等　　搜索引擎去停止詞主要有兩個目的：　　一個是：使索引數據主題更為突出，減少無謂的計算量;　　另一個是：檢測你的內容是否和另外數據庫中的內容有大量的重復性　　在這里需要提醒各位的是：以后不要隨便在網上復制一篇文章加上幾個停止詞就粘到自己的網站上去了，學完上邊的，你應該懂什么意思了!　　4，去除噪聲：　　這里的噪聲不是我們所說的噪聲，它是特指一種垃圾，即多余的字詞!這些字詞一般包含在版權聲明文字，導航條，廣告中!消除噪聲是為了使得頁面能更好的顯示主題內容：　　舉例：博客中的;分類目錄;;歷史存檔;等!　　5，去重(chong)　　什么意思呢?假如一篇同樣的文章出現在不同的網站上或者鏈接到不同的地址上，搜索引擎就會認為它是一個文件，它并不喜歡這樣的重復內容，所以它也不會去抓取的!在進行索引之前就需要對這些內容進行識別和刪除重復的內容，就叫;去重;!　　搜索引擎如何去重!技術我們不需要掌握，但是我們得注意幾個關鍵點：　　A：簡單的增加;的;;地;;得;，是很容易的被識別的，一定要慎重使用!　　B：復制別人的文章，簡單的交換一下段落結構!這種偽原創也一定要慎重使用!　　這是因為：這樣的操作無法改變文章的特定關鍵詞，上面的那些做法始終逃不過搜索引擎的去重算法�！　〗涍^上面的五個步驟后，搜索引擎就能得到獨特的，能反映頁面主要內容的，以詞為單位的內容�！　∪缓笏阉饕�擎程序將上邊提取到的關鍵詞通過分詞程序來劃分好，把每一個網站頁面都轉化為一個關鍵詞組成的集合!同時記錄下每一個關鍵詞在該頁面上出現的頻率、次數、格式(比如：標題標簽、黑體、H標簽、錨文本等)位置(第幾段)，這些都已權重的形式記錄在下來!然后放到一個地方，這個地方就是專門放置這些組合詞的詞表結構;;索引庫!也交做;詞表索引形式;　　什么是正向索引：　　每一個文件夾都對應一個ID，文件內容被表示為一串關鍵詞的集合!在搜索引擎的索引庫中，這時候關鍵詞已經別轉化成了關鍵詞ID，這樣的數據結構叫正向索引!什么是倒排索引呢?　　因為正向索引不能直接用于排名!比如：用戶搜索某一關鍵詞2，如果只從在正向索引，只能找到包含該關鍵詞的文件夾，不能實際的返回排名;這時候就會用到倒排索引了　　在倒排索引中關鍵詞變成了主鍵，每個關鍵詞對應一系列文件，每一個文件都出現了要搜索的關鍵詞，這樣用戶在搜索某一個關鍵詞的的時候，排序程序就能在倒排列表中找到這個關鍵詞對應的文件!特殊文件的處理：　　搜索引擎除了抓取HTNL文件還可以抓取以下文件類型：PDF，Word,WPS，PPT，TXT等這些文件，不過注意的是：搜索引擎還不能抓取圖片、視頻、Flash這類文字內容，也不能執行腳本和程序!所以在SEO的時候，你網站上面盡量少用這些!　　鏈接關系的計算：　　當搜索引擎抓取了頁面后，還必須事先計算出頁面上有哪些鏈接指向哪些頁面。每個頁面又有哪些導入鏈接，鏈接使用的什么錨文字，正是這些復雜的鏈接指向關系形式形成了網站和頁面的鏈接權重!例如：google的PR值就是這些關系的重要體現，后面詳解!　　排名：　　排名過程是與用戶互動的過程：是指當用戶輸入關鍵詞以后，排名程序調用索引數據庫里面的數據，計算相關性后按照一定格式生成搜索結果頁面!　　1，搜索詞的處理過程　　A：中文分詞;前面講過了　　B：去停止詞;前面講過;　　C：指令處理：搜索引擎的默認處理方式是在關鍵詞之間使用;與;邏輯，比如用戶在搜索;網站建設;時，搜索引擎默認為用戶想要查找的既包含;網站;也包含;建設;的頁面!　　常見的搜索指令有加減號，還有哪些搜索指令?如何使用使用搜索指令，后面會詳細拿出一節來詳細講解的!　　D：如果用戶輸入了明顯錯的字或者英文單詞的時候，搜索引擎會提示用戶正確的用字或者拼法!例如：搜索;建站技數;　　E：整合搜索觸發!比如搜索明星，會出現圖片，視頻等內容!適合做熱門話題;　　2，文件匹配如何進行?如果用戶搜索的一個詞，既有關鍵詞2，也有關鍵詞3的話，那么組后就會很精準的找到既包含關鍵詞2，也包含關鍵詞3的文件，然后返回!　　3，初始子集如何選擇?　　互聯網上的頁面有成千上萬個，搜索某一關鍵詞出來的頁面也會有上千萬個，如果搜索引擎一上來就是直接計算頁面相關性的話，那簡直就是太費時間了!實際上用戶是不需要看到這成千上萬的頁面的，用戶只需要的是一兩個有用的頁面!這時候搜索引擎就會根據用戶的搜索詞預定的選擇100個文件，然后進行返回，那么到底是選擇哪一百個呢?這就看你網站頁面和用戶搜索的關鍵詞的相關匹配度了!頁面權重高的就會進入到搜索引擎的預選子集中!　　4，計算相關性　　選完子集后就會計算頁面的相關性，我們不需要知道搜索引擎是如何計算頁面相關性的，但是我們的知道影響計算頁面相關性的因素，這樣更有助于我們進一步優化我們的網站!　　SEO關注的因素有以下幾個：　　A：關鍵詞的常用程度：舉例;來吧UFO;　　B：詞頻和密度　　在沒有關鍵詞堆積的情況一下，一般認為搜索詞在頁面中出現的次數和密度越高，說明頁面和搜索詞的相關性也就越高!　　C：關鍵詞的位置和形式　　位置研究主要有：首頁還是二級頁面?形式主要研究：標題標簽，黑體，H1　　D關鍵詞的距離：例如搜索詞是;網站建設;，如果頁面中出現很多次連著的;網站建設;這個詞，而不是分開的;網站;后面沒有建設，或者有建設沒網站!　　E：鏈接分析和頁面權重　　鏈接和權重的關系主要是錨文字，有多少搜索詞是以錨文字的鏈接導入的相關性就高　　5，排名過濾以及調整　　當選出匹配的文件子集后，大體的排名就差不多確定下來了!這里做的排名過濾主要是針對于那些靠作弊手段，有作弊嫌疑的網站進行調整!雖然按照前面的工作最后就算出來的這些網站權重和相關性非常的高，但是搜索引擎在最后一步也會把這些網站給過濾掉的!　　6，排名顯示的效果　　主要顯示的是：原始頁面的標題標簽，說明標簽，快照日期等數據!　　注意：有的網站是搜索引擎需要調用動態生成的頁面摘要，而不是調用頁面本身的說明!　　7，搜索引擎緩存的作用：　　搜索引擎會把用戶經常搜索的一些詞記錄下來，會把這些搜索過排名記錄儲存在搜索引擎的緩存當中，當由用戶在一次搜索這個詞的時候，搜索引擎會直接調用緩存中的內容!這樣縮短了搜索反映時間，大大提高了排名效率!　　總結：　　上面是搜索引擎整個工作過程的詳細的介紹!這些只是概念上的東西，其實搜索引擎的工作步驟和算法遠比我們想想中的復雜!但是沒關系，我們做SEO的只要明白了上面的這些基本概念就已經足夠了!搜索引擎的算法還在不斷的優化，新都匯商城網站感興趣的同學可以多關注一下，這樣也有利于自己在優化上有個新的突破!上面介紹的概念大致是主流搜索引擎的基本工作原理!