meta robots以及robots.txt的工作分别是阻止Google 抓取、索引你的页面。 在这个年头,只是SEO排名/流量高是没有用的,流量必须对企业有价值、必须要能够创造转换,所以用户体验相对重要,如果你有特定页面会伤害用户体验(UX),你可以透过这些方式去阻止该页面出现在Google 搜寻结果中。
了解meta robots以及robots.txt之后,你可以优化网站的抓取及索引状况,阻止特定页面跟被抓到或是被索引。
但有一件很重要的事要注意,Google 官方有很明确的声明,meta robots 以及 robots.txt 确实可以告诉 Google 你希望哪些页面不要被抓取以及索引,Google也会尊重你的决定(毕竟你是网站拥有者),但 Google 官方不保证搜索引擎会完全服从meta robots以及robots.txt(我知道,你现在是不是觉得 what the fuck?),若搜索引擎认为你的网站有很多很多的反向链接、流量很高、内容很优质,是优质网站,他也有可能会执意要抓取、索引你的网站。