扣丁书屋

就因为微信误删了几行字 公众号文章能被别家搜到了?

前天看到一个帖子说, 在 Google 和 Bing 能搜到微信公众号的文章了。怎么可能。嚯,要这样下去,在百度里搜微信文章是不是也快了?想必很多网友应该都挺期待这件事的。毕竟有时候搜资料,在百度和微信之间切来切去还挺麻烦的。谁想到还没乐呵够,腾讯马上就辟谣了:

是公众号的 robots 协议出现漏洞,让搜索平台的爬虫爬到了,现在已经修复了。

嗐,搞半天白高兴一场。

不过,今天还是想就这个 robots 协议和大家探讨一下。

因为说起来你可能不信,我们在百度里前搜不到公众号文章,后搜不到淘宝商品,都是因为 robots 协议。

robots 协议其实很简单,就是一个放在网站根目录的文本,它写明了搜索引擎可以/不可以收录哪些信息。

微信公众号的 robots 协议 ▼

有人可能会说,原来就是这几行字害得互联网不能互联了?

不不,这锅 robots 协议可不背。

robots 协议原本只是帮助搜索引擎更高效地收录信息,只不过现在人们用着用着逐渐变了味。

这事还得从上世纪 90 年代初期说起。

在搜索引擎诞生之前,人们要查资料,只能一个个进入相关网页,效率非常低下。

后来有了搜索引擎,搜索引擎通过释放网络爬虫( 也可以叫蜘蛛 ),抓取各个网页里的信息,并把这些信息收录起来供大家查询,这才极大提高了人们的效率。

但是,那会爬虫就跟小黑胖一样,抓取信息来完全不挑食。

不管是没用的垃圾信息,还是网站重要的内部数据,不分青红皂白地一顿乱抓,全都要。

这种粗暴的抓法不仅降低了用户搜到有用信息的效率,还会让网页的重要数据泄露,服务器过载无法运行。

所以在 1994 年初,荷兰有位网络工程师提出了 robots 协议。

就好比宾馆房间门上挂着的“ 请勿打扰 ”,“ 欢迎打扫 ”牌子,告诉阿姨哪些房间是可以打扫的。

每个网站的根目录下也摆着一份 robots 协议,协议里告诉爬虫:哪些东西你可以抓,哪些东西你不能抓。

虽说这个 robots 协议目前还没被任何国际组织采纳,没有制约性,只能算个君子协议:你不听,就不是个正人君子。

但它毕竟为了帮助搜索爬虫 更有效地抓取对用户有用的信息,更好促进信息共享。

所以在国外不管是早期的 altavista 还是后来的 Google 、必应,大家也都遵守着这一套协议。

同样 2012 年 11 月中国互联网协会发布了《 互联网搜索引擎服务自律公约 》,也规定了:

搜索引擎要遵守网站的 robots 协议,但前提是 robots 协议是合理的。

这个公约对 12 家发起单位生效,成员包括百度、腾讯、奇虎 360、搜狗、网易、新浪等。

图源百度百科 ▼

如今绝大多数 搜索引擎的爬虫在访问网站时,第一件事就先读下网站的 robots 协议。

在了解哪些信息是可以抓取之后,才会行动。

比如淘宝的 robots 协议,虽然只有简单的 4 行字,但写明了: 百度爬虫 ( Baiduspider ) 不允许 ( Disallow ) 抓取任何内容 ( / )

百度爬虫过来看到协议后,就算心里难受,也只能啥也不碰马上离开。

那可能有人说,这既然是君子协议,会不会有人不当“ 君子 ”呢?

当然有,robots 协议只相当于一个告知书,爬虫 ( 背后的人 )可以不听你的。

和大家说两个违背 robots 协议的例子。

第一个例子是 BE 和 eBay 的纠纷。

BE 是一个提供拍卖信息的聚合网站。它利用爬虫抓取 eBay 等拍卖网站的商品信息,然后放在自己网站上赚取流量。

尽管 eBay 早已写好了 robots 协议,告诉 BE 爬虫不准抓取任何内容。

但 BE 认为这类拍卖信息都是大众上传的,eBay 设置 robots 协议不让自己抓取,不合理啊。

后来法院经过多方调查取证, 认为 ebay 网站上内容属于私有财产,它用 robots 协议保护私有财产是合理的。

最后认定 BE 侵权。

想必大家能看出来,法院判定结果并不是单纯看有没有违背robots 协议,最主要还得看这个 robots 协议合不合理。

同样,还有个例子也证明了这点。

大部分人都知道 3Q 大战,但可能没听过 360 和百度的“ 3B 大战 ”。

2012 年 8 月 360 搜索刚上线,它抓取了百度旗下的内容 ( 百度知道,贴吧 )并以快照的形式提供给用户。

但是,百度的 robots 协议写明了只有部分搜索引擎可以抓取,当中没包括 360 搜索。

也就是说 360 违背了百度 robots 协议。

图源百度百科 ▼

后来百度想了一个法子,只要在 360 搜索中搜到百度相关网站,点击后就会跳转到百度搜索引擎网站。

再到后来他们闹上了法庭。

这件事去年才算正式结案,判决书大概有一万多字吧,可看了好一会。

不管是 360 把百度快照提供给用户,还是百度的跳转措施,这些操作法院都进行了相应的判决,但是跟我们文章没太大关系。

只在这里说下: 对于 360 搜索违背百度 robots 协议的抓取行为,是怎么判定的。

首先 360 在 2012 年 8 月违背 robots 协议是有不合理在先,但是同年 11 月发布了《 自律条约 》。

条约可是规定了 robots 协议限制搜索引擎 得有正当理由 :比如为了保护敏感信息、公众利益或者维持网站正常运行。

但百度限制 360 搜索抓取的内容,既不是重要敏感信息,被抓取了也不会让百度不能运行了或者损害了公共利益。 。

这就可以判定百度没有正当理由拒绝 360 抓取, 360 的抓取行为也并非不正当竞争行为。

所以啊, 不是写了 robots 协议就一定在理,你这个协议首先得合理才行。

但关键是,这个合理的界限有时候不是很好定。

比如现在不少互联网公司用 robots 协议阻止搜索引擎收录,限制了信息分享。

你说他们是在合理设置 robots 也没错,毕竟是为了保护自己的数据权益。

但这是不是和互联网的初衷背道而驰了呢。

就拿自己经历来讲。

之前写个反诈骗的文章,百度查了大半天资料不够,差点放弃。后来在微信里搜,才在一家公众号文章上找到相关资料。最后要找视频作为动图素材,我又跑去短视频平台。

要知道曾几何时,我们明明可以很轻易的查询到信息,现在因为各大网站的 robots 协议变成了如此困难。

更讽刺的是, robots 协议原本做出来只是为了提高爬虫效率,更好地促进信息流动的。

这是不是有点变味了。

微信试行松绑外链:网友发现淘宝链接打不开 要等今明两天完全覆盖

微信外链终于要放开了。今晚,微信官方发布关于《微信外部链接内容管理规范》的更新说明称,微信于即日起开始对外部链接管理措施进行更新,在点对点聊天场景中将可直接访问外部链接。微信表示,在监管部门指导下,为贯彻安全底线原则,同时兼顾用户使用体验,将在群聊场景下试行开放电商类外部链接直接访问功能。

发布于:1天以前  |  5329次阅读  |  详细内容 »

实力派冷空气来袭:8成国土受影响 黑龙江降雪或破11月纪录

上一波寒潮带来的大雪还记忆犹新,现在新一波冷空气又要来了,直接席卷大半个中国,连海南岛都要受到影响。据中国天气网消息,明天(11月19日)开始一股实力派冷空气携大风、降温、雨雪来袭,我国8成国土将受影响。

发布于:12天以前  |  4114次阅读  |  详细内容 »

“132万改造老屋”后续:设计师疑遭网暴 网友留言喊“退钱”

红星新闻记者注意到,在陶磊以及《梦想改造家》的微博下,不少网友的留言都是“退钱”。陶磊的多条微博也被网友攻陷,其19日发出的当期节目宣传微博下,留数已经高达5.8万条。除了质疑设计,不少网友直接称其“诈骗”,还有的在进行辱骂。

发布于:5天以前  |  2643次阅读  |  详细内容 »

白嫖成瘾?这些网红的不要脸操作被骂惨了

古早年间的简中互联网环境,和现在一比,小雷愿称前者为一股时代清流。那时候祖安文化还没登场,大家个个都是人才,说话好听就算了,还灰常还乐于分享各种稀缺资源。而且当时资源共享没有多少限制,绝大多数时候只要留个邮箱地址,就能有满满收获。“楼主/好人一生平安”,更是成为那个时代必不可少的一句经典名言。 阅读全...

发布于:19天以前  |  2122次阅读  |  详细内容 »

5403亿!第13个天猫双11总交易额再创新高

11月12日消息,根据阿里巴巴公布的数据显示,2021年天猫双11总交易额为5403亿,再次创下新高。相比较下,2020年双11成交额为4982亿元,2019年双11成交额为2684亿元,2018年双11成交额为2135亿元,2017年双11成交额为1682亿元。

发布于:19天以前  |  1757次阅读  |  详细内容 »

印度“支付宝“Paytm今日上市,蚂蚁集团为最大股东持股25%

11月18日消息,印度最大电子钱包Paytm在孟买证券交易所上市,发行价每股2150卢比(相当于29美金),开盘即震荡,一路跌到1750卢比。之前,Paytm的募集目标为1830亿卢比(约合25亿美元),IPO已获全额认购,这个记录为印度史上最大IPO。

发布于:12天以前  |  1635次阅读  |  详细内容 »

央视网评“自动续费”套路坑人 吃相难看还涉嫌违法

你被“自动续费”坑过吗?你被“免费开通会员”“一分钱体验7天会员”套路过吗?近期,有媒体调查显示,部分App存在订阅会员默认自动续费的情况,给不少用户造成困扰。报道一出,相关话题就冲上热搜,引发网友热议。

发布于:6天以前  |  1392次阅读  |  详细内容 »

“长赐”号货轮完成修复 自青岛载货起航

13日,曾堵塞苏伊士运河的“长赐”号货轮在青岛完成维修后,开始在山东港口青岛港进行修复后的首次货物装载,随后还将前往上海、宁波装载货物,然后离开中国经停马来西亚前往欧洲,正式开启其修复后的首次载货远航。

发布于:16天以前  |  1324次阅读  |  详细内容 »

投资公司看好中国市场 特斯拉股价四连涨

投资公司Wedbush分析师丹·艾维斯(Dan Ives)将特斯拉目标股价上调27%达到华尔街最高水平,并称“电动汽车革命”将如约而至后,星期五常规交易中特斯拉实现四连涨,上涨40.68美元,涨幅为3.71%,报收于1137.06美元。

发布于:10天以前  |  1250次阅读  |  详细内容 »

济南多人收到快递后需居家隔离一周:接触涉疫包裹导致健康码变黄

疫情期间,很多人选择了网购规避风险。但网购也未必绝对安全。近日,网购后卖家员工确诊,济南多人收到快递后需居家隔离一周,还有网友因接触涉疫包裹导致健康码变黄。据国内媒体报道,有不少人收到了这样一条短信:

发布于:20天以前  |  1217次阅读  |  详细内容 »

《GTA三部曲:终极版》作弊码整理 童年回来了

很多玩家在之前接触原版GTA三部曲的时候,都开启过游戏的作弊码。还有一些玩家并不知道游戏里在表达着什么故事,他们的乐趣就是输入一串比课本里英语单词记得还牢的作弊码。通过获取无限弹药、豪车、坦克、飞机等物品,在游戏里尽情折腾。

发布于:18天以前  |  1211次阅读  |  详细内容 »

只因股价涨得过快 英伟达评级被下调至中性

北京时间11月13日消息,投资公司Wedbush当地时间星期五将英伟达股票评级由“增持”下调至“中性”,但指出,调整股票评级的原因是其股价过高而非负面消息。Wedbush将英伟达目标股价由220美元上调至300美元。

发布于:17天以前  |  1120次阅读  |  详细内容 »

通辽市民早起发现积雪堆到二楼:破70年纪录的雪直接让一楼“消失”

11月9日,内蒙古通辽的积雪深度打破1951年来最深纪录。当地一女子柏女士惊奇地发现,自家对面楼的第一层被大雪埋没凭空消失。视频显示,透过窗户望出去,白皑皑的一片,对面住宅楼的一楼完全被大雪埋没,凭空消失在视野中。

发布于:20天以前  |  1086次阅读  |  详细内容 »

柔宇科技获6亿元柔性屏模组订单 2年内完成全部订单交付

11月10日消息,近日,柔宇科技获得一笔总计6亿元人民币的大额订单合同,根据协议,从2022年开始柔宇科技将向客户陆续提供柔性屏OLED显示模组,2年内完成全部订单交付。据了解,柔宇此次提供的柔性屏OLED显示模组采用了柔宇独创的超低温非硅制程集成技术(ULT-NSSP),由其位于深圳龙岗的柔宇国际柔性显示基地进行制造。

发布于:20天以前  |  1076次阅读  |  详细内容 »

花呗升级影响贷款和费率吗?微信、支付宝的支付链路未来或将打通?

借呗之后,蚂蚁花呗即将迎来大变动!11月21日,北京商报记者收到花呗的服务升级协议,并独家了解到花呗也即将开启品牌隔离。尽管目前花呗用户仍由蚂蚁消费金融、银行、小贷、商业保理等地方金融组织以及其他金融机构共同服务,但后续花呗或很快将按照监管要求落实品牌隔离,不同机构提供的消费信贷服务予以区隔。

发布于:8天以前  |  1072次阅读  |  详细内容 »

90后小伙躺着玩手机不慎砸到眼:两天后发现视网膜脱离

当今世界,无论是工作还是娱乐,手机似乎已经成为了不少人生活中必不可少的工具之一。而随着手机的重度使用,对眼睛也带来了不小的损害。据媒体报道,日前,来自河北衡水的一位90后小伙,就因为熬夜追剧太困,不慎将手机砸到了自己的眼上,结果导致视网膜脱离。

发布于:9天以前  |  1054次阅读  |  详细内容 »

Robinhood遭黑客入侵 500万电子邮箱地址可能被窃取

北京赶时间11月9日消息,据报道,Robinhood Markets周一发布消息称,第三方入侵系统,他们可以接触到约500万客户的电子邮箱地址。美国在线股票交易平台Robinhood Markets解释说,11月3日一名客服人员被骗导致黑客进入系统。

发布于:21天以前  |  1018次阅读  |  详细内容 »

印度“支付宝”Paytm上市暴跌 创始人自比马斯克

北京时间11月22日消息,有印度“支付宝”之称的支付创业公司Paytm上市首日惨遭暴跌,不过其母公司One97 Communications创始人兼CEO却把他的公司比作是特斯拉,并把自己和特斯拉CEO埃隆·马斯克(Elon Musk)相提并论。

发布于:8天以前  |  1004次阅读  |  详细内容 »

“不刷题的吴姥姥”:72岁退休女教授硬核科普物理走红

近日,同济72岁退休女教授硬核科普物理的视频在网络上走红。72岁的同济大学退休教授吴於人,坚持物理科普教育16年,被网友称作“吴姥姥“。太空中的宇宙射线长啥样?吴姥姥右手擎起一把竹扫帚,左手从扫帚柄划到末须端,网友一下子明白过来:它的轨迹就像扫帚一样,从能量集中到渐渐减弱、分散。

发布于:18天以前  |  927次阅读  |  详细内容 »

腾讯财付通外汇业务因违规被罚278万元

11月28日消息,据国家外汇管理局深圳市分局官方发布的消息,日前,财付通支付科技有限公司因违反相关规定,被处以罚款人民币278万元。

发布于:2天以前  |  897次阅读  |  详细内容 »

最新资讯

华人首富易主 赵长鹏身价达900亿美元 2小时以前  |  11次阅读
V社确认Steam Deck没有独占游戏 3小时以前  |  15次阅读

最热资讯


手机扫码阅读