更新時間：2024-11-07 23:35:00
網站建設
333大家都知道，大概在“百度是”上線之前，淘寶網為了避免百度惡意爬取，直接屏蔽了百度蜘蛛，也就是當時鬧得沸沸揚揚的robots.txt協議。
即使你現在打開淘寶的robots.txt協議，你也能看到淘寶還在屏蔽百度的蜘蛛。
但真的如此嗎？
事實證明，淘寶的robots.txt文件對百度蜘蛛根本沒有作用。
小弟推測，百度之所以這樣做，是因為百度考慮了戰(zhàn)略方向，因為搜索了一下，發(fā)現一些知名的店鋪在百度上的排名非常好。足以證明百度對于淘寶這樣的店鋪的重要性。更戲劇化的是，天貓（淘寶商城）也使用了robots.txt協議。百度蜘蛛也被屏蔽了。
另一種可能是淘寶網和天貓網的權重過高，導致百度蜘蛛不按照搜索引擎協議進行爬取。不過，對于這種事情，大家可以想一想前幾天一淘網惡意抓取京東和新蛋網的商品數據，而且不遵守搜索引擎的規(guī)則。
直到現在，京東商城等也在對一淘網的蜘蛛進行封鎖。
小編想說的是，現在的搜索引擎為了自己的利益，不遵守互聯網協議的規(guī)則，這是值得反思的。我呼吁這樣的大型互聯網公司在整個IT行業(yè)樹立一個好榜樣。
我們專注高端建站，小程序開發(fā)、軟件系統定制開發(fā)、BUG修復、物聯網開發(fā)、各類API接口對接開發(fā)等。十余年開發(fā)經驗，每一個項目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
