robots.txt

中文名:一行代码,让客户侧设备远离搜索引擎魔爪
为了让搜索引擎更好地为我们服务,大家都对SEO有所耳闻吧。然而有时候,卖给客户的设备,并不希望搜索引擎能够搜索到……

历史

我们的设备不应该暴露在搜索引擎头条,但是这个真的出现过,我们公司同事内部发出来的,以及在某些漏洞信息平台上… 客户该不该让某些设备暴露在公网,我们先不予讨论,本文讨论的是:设备暴露在公网之后

robots.txt

我们需要告诉搜索引擎,不要爬我。robots.txt 早已是业界规范,更多信息: http://www.robotstxt.org/

nginx

1
location = /robots.txt {return 200 "User-agent: *\nDisallow: /\n";}

一行代码,需要放在合适的位置即可,配置好的示例:https://23.106.155.32/robots.txt

总结

针对有些设备被搜索引擎搜索到,可能给客户造成一定影响,特写此文,让我们的设备更专业。