?快速了解robot文件
1、搜索技術(shù)應(yīng)服務(wù)于人類，同時(shí)尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；
2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。
何為robot文件？robots.txt是限制搜索引擎spider（或稱為蜘蛛）收錄或爬取您網(wǎng)站內(nèi)容的一種文件。搜索引擎蜘蛛在網(wǎng)站中首先訪問的文件就是robot文件，當(dāng)然，也可以沒有robot文件，不過spider會(huì)訪問您的網(wǎng)站的所有頁面。
robot文件有何作用？屏蔽您網(wǎng)站的死鏈接，限制spider爬取您的網(wǎng)站內(nèi)容，保護(hù)您網(wǎng)站的隱私內(nèi)容。例如您的后臺(tái)目錄，或者存有您個(gè)人信息的頁面或目錄。
如果您網(wǎng)站的重復(fù)頁面或死鏈接過多，搜索引擎蜘蛛會(huì)認(rèn)為您的網(wǎng)站不行，價(jià)值較低，就會(huì)降低您網(wǎng)站的權(quán)重，網(wǎng)站排名就會(huì)下降，如果創(chuàng)建了robot文件并寫入了相應(yīng)的規(guī)則，那么搜索引擎蜘蛛就不會(huì)爬取您限制的頁面，您網(wǎng)站的權(quán)重與排名也就不會(huì)降低了。
如何構(gòu)建robot文件？robot文件也沒什么特殊的地方，就是一文本文件（txt）。新建一個(gè)文本文件，然后重命名為robots并在此文件中編寫相應(yīng)的規(guī)則，醉后上傳到網(wǎng)站跟目錄就行了，注意一定要放置到跟目錄且文件名一定要小寫，不然就失效了。
如何編寫robot文件規(guī)則？
或許您沒有太多的時(shí)間來了解并學(xué)會(huì)robot文件規(guī)則，那么您可以生成robot文件規(guī)則，當(dāng)然，您需要一定的英語基礎(chǔ)，并了解特定的名詞。假設(shè)您有時(shí)間來學(xué)習(xí)的話，就往下看下面的規(guī)則。
現(xiàn)假設(shè)一個(gè)robot文件里面規(guī)則有：
User-agent: *
Disallow: /admin/
Disallow: /user/
規(guī)則解讀為：所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。
現(xiàn)在你可能就明白了，user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱，*為全部限制，baiduspider為限制百度搜索引擎蜘蛛不可以訪問。
disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。
注意，不管你有多少個(gè)disallow，只要有一個(gè)后面為空或者只有一個(gè)/符號(hào)的，就是所以目錄都可以訪問。符號(hào)一定是英文符號(hào)。
robot文件只是一種規(guī)則，并不是強(qiáng)制約束搜索引擎蜘蛛，需要搜索引擎蜘蛛配合才有用，有些spider會(huì)不顧您的robot文件,擅自訪問您的限制頁面。不過，就目前而且，大部分spider是遵守的robots.txt規(guī)則的。
猜你喜歡
聯(lián)絡(luò)方式：
電話：18905275581
郵箱：1700970777@qq.com
-
HTTPS協(xié)議藏著巨大的秘密
什么是https協(xié)議? https協(xié)議是ssl證書加上http協(xié)議構(gòu)建的可進(jìn)行加密傳輸、身份認(rèn)證的網(wǎng)絡(luò)協(xié)議。 https協(xié)議相比與http協(xié)議的優(yōu)點(diǎn)有哪些? 一、在安全方面上： https是在現(xiàn)在網(wǎng)絡(luò)技術(shù)中，安全的網(wǎng)絡(luò)傳輸協(xié)議。...
-
地?cái)偨?jīng)濟(jì)系統(tǒng)app開發(fā)
近日，地?cái)偨?jīng)濟(jì)一詞徹di火了，相關(guān)微博話題閱讀量過10億，多地紛紛設(shè)攤販規(guī)范點(diǎn)來鼓勵(lì)發(fā)展地?cái)偨?jīng)濟(jì)。“全國各地嘗試放開夜市地?cái)偨?jīng)濟(jì)“，有的地區(qū)為了鼓勵(lì)市民擺地?cái)?，甚至給城管下了“績(jī)效考核指標(biāo)”，那這又...
-
網(wǎng)站和域名和空間是什么關(guān)系
1、域名是你在域名服務(wù)商里注冊(cè)買到的域名,比如百度（xinz56.com 就是它的域名）,這個(gè)在網(wǎng)絡(luò)里都是一個(gè)的.它只是你網(wǎng)站的一個(gè)名稱,別人可以通過這個(gè)進(jìn)入到你的網(wǎng)站，揚(yáng)州網(wǎng)站建設(shè)也可以形象的稱之為你網(wǎng)站的門牌。 2、空間是你的...
-
如何判斷網(wǎng)站是否過度優(yōu)化
網(wǎng)站過度優(yōu)化，是指網(wǎng)站由于不恰當(dāng)?shù)牟僮?，被百度搜索引擎誤判為作弊現(xiàn)象，搜索引擎對(duì)網(wǎng)站的評(píng)級(jí)越來越低，導(dǎo)致用戶不喜歡的頁面，那么我們?cè)谶M(jìn)行網(wǎng)站優(yōu)化的時(shí)候應(yīng)該怎么去避免出現(xiàn)網(wǎng)站過度優(yōu)化呢？ 一、網(wǎng)站過度優(yōu)化...
-
提高網(wǎng)站打開速度的7大秘籍
很多站長(zhǎng)使用虛擬主機(jī)來做網(wǎng)站，網(wǎng)頁內(nèi)容一旦很多，網(wǎng)站打開速度就會(huì)特別慢，如果說服務(wù)器、帶寬、CDN這類硬指標(biāo)我們沒有經(jīng)濟(jì)實(shí)力去做，不妨通過網(wǎng)頁代碼優(yōu)化的方式來提高速度，盧松松總結(jié)了一些可行性的方法。 1: 縮小Javascript和CSS文件 如果你的...
