蜘蛛不能正确爬取目录链接 自动省略/斜杠

卿歌 2021-11-27 17:28:21

蜘蛛在自己爬取非提交的网站链接时，例如分类页面列表，不会在链接后边加/，如下图：

正确链接应该是/youxiyuanma/o_2/

有没有什么办法解决，或者取消后边的斜杠？可以取消的话怎么取消？

给返回了这么多错误，看着实在头疼

如果有解决办法的话

求大佬指点

卿歌 2021-12-02 02:06:16

请登录查看

官方客服 2021-12-02 12:57:21

请登录查看

卿歌 2021-12-02 15:18:23

请登录查看

卿歌 2021-12-03 01:13:38

请登录查看

官方客服 2021-12-03 09:02:21

请登录查看

卿歌 2021-12-03 12:18:35

请登录查看