请教一个问题机器人爬虫能对需要登陆权限的内抓取不

迅睿框架更新 2020-04-23 15:21:32

迅睿粉丝

请教一个问题，机器人爬虫能对需要登陆权限的内抓取不？

方案

迅睿粉丝 #1 · 2020-02-29 14:32:12

肯定抓不了的
迅睿粉丝 #2 · 2020-02-29 14:50:03

张大山谢谢
迅睿粉丝 #3 · 2020-02-29 16:04:17

用python都可以爬，爬完了把数据返回给php，然后php进行处理入库，这样就可以，要登录的都可以
迅睿粉丝 #4 · 2020-02-29 21:49:07

琉惗如果要登陆才能浏览的内容也可以？我的意思是如果我要绑定硬件才能登陆，爬取者是不能登陆的，这样也可以？
迅睿粉丝 #5 · 2020-02-29 21:52:51

这样的就要先获取到硬件设备信息才行，具体的得问python大神，不过应该是没问题的黄老邪
迅睿粉丝 #6 · 2020-02-29 22:03:20

琉惗我是要防止爬取，不是我要爬别人，
迅睿粉丝 #7 · 2020-02-29 22:08:16

好吧。我以为你要爬别人呢，那我估计没啥号办法，淘宝都躲不过被人爬，何况是你的站呢，大神还是很多的黄老邪
迅睿粉丝 #8 · 2020-02-29 22:27:21

琉惗淘宝被爬的应当是游客能浏览的内容吧？
迅睿粉丝 #9 · 2020-02-29 22:36:16

有些是需要登录的
迅睿粉丝 #10 · 2020-02-29 22:43:16

琉惗那应该是他在登陆后才能爬，没登陆应当不能吧
迅睿粉丝 #11 · 2020-02-29 22:44:02

可以的，能绕过去，我之前找了个，他就能绕过去黄老邪
迅睿粉丝 #12 · 2020-03-01 01:00:40

比如，你出价一万，要爬的网站会员是一千，那我买个会员，登录了采集给你，我赚9000，也不是不可能的但是说，绕过权限采集，我觉得吧，可能性不大，或者说，需要很厉害的技术，还要通过类似上面说的操作否则，银行网站怎么办？比如要加密狗访问的，如果说要获取硬件信息，那他得去弄到这个加密狗先啊
迅睿粉丝 #13 · 2020-04-23 15:21:32

有验证的吧，python弄个cookie的验证