批量提交百度收录后出现问题,不要把所有链接再提交一遍,也不要只抽第一条和最后一条。正确做法是先按“提交动作是否成功”和“页面是否被收录”分成两层,再从每层里按固定间隔抽样。通常抽20到50条就能看出问题集中在哪一类,而不是靠感觉判断。
很多人把提交接口报错、提交数量为0、页面长期不收录混在一起,结果抽样时抽到的全是正常链接,真正出错的链接一条没看。批量问题至少要分成两类:
只有先确定问题在哪一层,抽样才有意义。如果提交记录里已经显示大量失败,再去查页面为什么不收录就是白费功夫。
不要直接对全部链接随机抽。先按可核对的字段把链接分成几组,例如:
分完层后,每一层单独抽样。假设有10000条链接,提交失败的有300条,就从这300条里每隔10条抽1条,得到30条;提交成功但未收录的有2000条,就从这2000条里每隔100条抽1条,得到20条。这样抽出来的样本能代表各层情况,而不是被数量最多的正常链接淹没。
每抽到一条链接,按固定顺序核查,不要跳步:
site:查询该链接是否已被百度收录。注意这只是粗略判断,不能替代搜索资源平台里的数据。curl -I 页面地址,看第一行是不是200。<meta name="robots" content="noindex">,有则说明页面主动要求不索引。把每条样本的检查结果记下来,最后看哪一项出问题最多。如果30条失败样本里有25条都是返回404,那问题就定位在链接有效性,而不是提交方式。
定位到问题后,常见的选择是“修完再批量重提”和“边修边分批提交”。两者适用条件不同:
判断标准很简单:如果你能说清“所有出错链接都是同一个原因,且已经全部改完”,就选第一种;如果抽样结果显示原因分散,或者你无法确认修复范围,就选第二种。
修复并重新提交后,不要只看提交接口返回成功。过一段时间再从原来出问题的层里重新抽样,检查项和第一次保持一致。如果原来30条失败样本对应的那类链接,新抽的样本里返回200且能被site:查到的比例明显上升,才说明处理有效。如果提交成功但收录仍然没有变化,要回到收录层继续查,而不是继续加大提交量。
下一步建议:先导出最近一次批量提交的记录,按提交状态和页面状态各分一列,然后从失败最多的那一层按固定间隔抽20条,逐条填完上面的检查项。定位清楚再决定用哪种处理方案。