搜索引擎會不會抓取帶#號(哈希值)的URL

時間：2023-03-06 21:12:01 | 來源：電子商務

時間：2023-03-06 21:12:01 來源：電子商務

在我的網(wǎng)站各個地址中，難免出現(xiàn)一些帶#的URL，一般是通過點擊某個鏈接，跳轉到網(wǎng)頁的某個位置，實現(xiàn)信息內容的快速定位。本站使用的文章內目錄就是這樣做的。但是，這種帶#的URL搜索引擎會被收錄嗎?

1、什么是哈希值?

在阮一峰的博客中有一篇文章可以很好的解釋哈希值，#值不是http請求，而是一個瀏覽器動作。通過#，可以快速定位到網(wǎng)頁中的某個具體位置。例如，就會快速定位到id="comment-121"或這個位置。

2、搜索引擎會不會抓取帶#號(哈希值)的URL

答案是一般不會。搜索引擎抓取頁面首先要遵循h(huán)ttp協(xié)議，可是#不是協(xié)議內的內容。而實際上也是這樣，我們沒有見過搜索引擎的搜索結果中，哪一條記錄可以快速定位到網(wǎng)頁內的某個位置的。因此，希望通過在網(wǎng)站內外添加帶#的錨鏈接來讓搜索引擎第一次訪問時快速定位是不現(xiàn)實的。當然，搜索引擎蜘蛛為了模擬真實用戶，在進入網(wǎng)站之后，會通過一些技術實現(xiàn)模擬鼠標點擊的效果，這個時候，頁面的錨鏈接還是起作用，但任何鏈接在搜索結果中時，都不會帶#。

3、URL 中的 #! 有什么作用?

這是一個違反2中的特例，谷歌會抓取帶有#!的URL。Google規(guī)定，如果你希望Ajax生成的內容被瀏覽引擎讀取，那么URL中可以使用"#!"(這種URL在一般頁面一般不會產生定位效果)，Google會自動將其后面的內容轉成查詢字符串_escaped_fragment_的值。例如/#!/username等效于/?_escaped_fragment_=/username，而帶?的URL是會被抓取的，所以#!的URL會被谷歌收錄。

4、搜索引擎會不會抓取帶#號(哈希值)的URL給我們的啟示

一、不要試圖用robots.txt屏蔽#的網(wǎng)址。我之前翻過一個錯誤，即在嗖錄網(wǎng)的robots.txt中加入了disallow:/*#*規(guī)則，以試圖屏蔽這些帶#的URL被抓取。但實際上，這個做法是錯誤的，首先#在robots.txt是注釋符號，它后面的內容會被注釋掉，所以這條規(guī)則變成了disallow:/*，即阻止收錄本站所有頁面，幸好我在今早發(fā)現(xiàn)，并馬上進行了修改。其次，搜索引擎不會抓取帶#的URL，因此沒有必要加一條這樣的規(guī)則。

二、可以利用#和ajax結合來隱藏不想被抓取的內容。在我們的一些網(wǎng)頁中，可能有些內容是我們不想直接告訴搜索引擎的，或者一些隱私不希望被抓取，因此我們可以采用#來控制這些信息的顯示。例如我們增加一個按鈕，當URL中帶#show-info-123時，顯示123的個人信息，而不帶時不顯示。而對于搜索引擎來說，會自動忽略帶#的URL，因此123的個人信息不會被抓取。

文章來自：嗖錄網(wǎng);原文地址： 歡迎大家來嗖錄網(wǎng)交流SEO經(jīng)驗與技術。