PPCblog.com浮現給我們一幅由Jess Bachman(在WallStats.com工作)精心刻畫的示意圖,這張流程圖展現了天天擁有3億次點擊量的Google搜索按鈕背后搜索引擎在那不到1秒的響應時間內所進行的處理。
這是我剛付印的最新示意圖,這張流程圖演示了在你點擊Google搜索按鈕后,在Google返回查詢成果前那一眨眼的工夫里,Google是如何處理你的搜索懇求的?這可是搜索偉人Google年贏利額高達200億美元的殺手級利用,也是Internet首屈一指的貿易和技巧神話,大家確定都想知道Google這棵搖錢樹背后的機密。
一、Google官方對其搜索技巧的敘述
我們搜索技巧的后端軟件會在服務器側觸發一系列履行時間不到1秒的并行盤算,Google問世前的傳統搜索引擎的搜索成果嚴重依附于關鍵詞在頁面上呈現的頻度,我們應用了200多個指標信號(其中包含我們擁有專利的PageRank頁面等級加權算法)用來檢查萬維網的鏈接結構(佩奇和布林最初的想法是把萬維網的鏈接結構用圖論的有向無環圖來建模)并決定網頁的重要程度,我們假定一個網頁的重要程度取決于別的頁面對它的引用,就像學術論文中的引用指數一樣,重要的論文總是會被很多其他論文引用。然后我們再根據搜索條件進行超文本匹配分析(對bot抓取的頁面內容進行關鍵詞倒排索引檢索)斷定跟搜索懇求最相干的網頁。綜合最重要的網頁和跟搜索懇求最相干的網頁兩個方面,我們就能按重要程度和用戶搜索懇求相干程度把查詢成果排序后浮現給我們的用戶。
二、數據中心:Google用來索引世界的塔
Google的數據中心高度機密,我們能懂得到的未幾:
1. 在美國本土有19個以上的數據中心,其余17個數據中心散布在美國以外的世界各地。
2. 每個數據中心有50萬平方英尺那么大,建造一個數據中心要花費約6億美元。
3. Google數據中心是世界上最高效的設施之一,而且也非常環保,幾乎沒有碳排放。
4. 數據中心應用50到100兆瓦的電力,由于需要冷卻,通常建在便于用水的處所。
5. Google服務器安頓在一個一組容得下1160臺服務器的有屋子那么大的尺度集裝箱容器中。
三、處理流程:
1. 你寫博客、或在Twitter上推微博、更新站點等諸如此類往web上添加內容的把持
2. Google爬蟲(一種作為搜索引擎構件的智能代理程序)抓取你網頁的title和description、keyword等內容
(1) Google bots程序沿鏈接路徑周游萬維網,假如沒有http路徑到你的站點,你的站點將不會被索引
(2) 假如你在robots.txt中設置不許索引,Google bots程序將不會抓取你的網頁
(3) 假如鏈接到你站點的html鏈接上有nofollow標簽,Google bots將不會從這些鏈接路徑周游到你的站點。
(4) Google也能通過blog軟件或xml站點輿圖找到你的網站
(5) 從PageRank越高的網站鏈接到你的網站的鏈接越多,你的網站的PageRank就越高。
(6) Google爬蟲將周游所有未標注為nofollow的鏈接
3. 一旦被Google爬蟲拜訪到,網頁幾秒內就被索引了
(1) 網頁內容被存儲在一個倒排索引中
① 網頁標題和鏈接數據被保留在一個索引中,用于廣度優先搜索
② 網頁內容保留在另一個索引中,以用于檢索頻率不高的長尾、個性化、深度優先搜索
(2) 當你用Google搜索時,你并沒有在檢索時時更新的萬維網,而是在檢索Google的緩存,Google定期更新其索引庫,在Twitter實時搜索等的競爭下,Google的索引庫更新周期趨短。
4. Google基于鏈接評估域名和網頁的總體PageRank值。
5. 檢查網頁以防止作弊行動
(1) Google的搜索質量和反垃圾信息審查和優化算法
(2) 1萬多遠程測試用戶評價搜索成果的質量
(3) Google征請用戶對有PageRank訛詐嫌疑的垃圾信息進行舉報
(4) Google接到 (美國)數字千年版權法案的通知,請求Google把盜版行動記錄備案
6. 在對頁面做了侵害分析后,現在每個頁面都有很多用于幫助用戶搜索的數據片(比如檢索關鍵詞)反向引用著它
7. 用戶發出搜索懇求
(1)Google搜索質量工程師Patrick Riley:在大多數Google搜索中,你的搜索處于很多并行的節制過程或Google實驗室的創新項目組過程中,可以說每一個查詢懇求都會參與一些Google的創意實驗。
8. Google會用同義詞匹配與你的搜索關鍵詞語義相近的查詢成果
9. 天生初步的查詢成果
(1) 也許Google宣言能返回成千上萬數目無限的查詢成果,但一般只顯示不到1000條的查詢成果,出于“少則得,多則惑”的考慮。
(2) 對查詢成果做本地化處理,本土站點在查詢成果中優先呈現
10. 對查詢成果集按權威性和PageRank進行排序,重復的查詢成果被剔除。
(1) Google根據關鍵詞、廣告類型、用戶所處地位找出相干的被競價拍賣的關鍵詞廣告
(2) 關鍵詞廣告必需遵照當地法律條文
① 廣告業主的非法廣告將被取消
② 假如關鍵詞的搜索流量過低或關鍵詞廣告點擊量偏低,則會被主動禁用
③ 出于貿易策略,像亞馬遜這樣的客戶會給予優惠折扣。
(3) 關鍵詞相干廣告按收益潛力(對關鍵詞進行競價拍賣后的廣告質量不斷進行評估)排序
(4) 對廣告業主來說廣告內容一般都是固定的,但有時應用動態關鍵詞使關鍵詞廣告與搜索關鍵詞相干度更高
①一些廣告本身答應增加易變的附屬信息,比如網站鏈接、電話號碼、產品鏈接、地址等
(5) 當廣告擁有了相當高的點擊率,則會顯示在搜索成果列表的上方,以使其更顯眼。
(6) 其余的廣告依序顯示在相應的地位
11. 對查詢成果進行過濾處理
(1) 對通常的查詢(比如在Google首頁上發出的搜索懇求),Google會把相干的專題性垂直搜索成果(比如消息、購物、視頻、書籍、輿圖等)也加到返回的查詢成果中
(2) 個性化方面:用戶拜訪過的網站在查詢成果列表中會更靠上
(3) 大批應用錨點的網站有可能被從查詢成果中刪除
(4) 搜索成果集的聚簇性:假如網頁被其他高PageRank的網站引用,則網頁的重要性會大大提高。
(5) 趨勢分析:對搜索流量爆增或有大批消息的搜索關鍵詞,Google會在新的查詢成果中增加額外的PageRank權值。(Google有反應關鍵詞搜索流量的Google趨勢專題頁面)
(6) 同一個域名下的多個網頁假如具有雷同的PageRank會被回為一組。
12. 終極返回給瀏覽器真個用戶一個人性化的、布局良好的、查詢成果和廣告涇渭分明的有機查詢成果頁面。
所有這些步驟在總共不到1秒的響應時間內完成,天天3億次的點擊量給Google帶來了超過200億美元的年收進。