15年行业经验 一站式解决方案 大型活动策划公司
免费咨询热线: 4007181001

pysplider中如何执行phantomjs脚本

发布时间:2020-06-05 19:58   点击量:

我知道这个问题可以分为两种情况。一个是如何在pyspider中设置js脚本,以及如何在phantomjs中加载和执行它们,另一个是如何执行由phantomjs自己编写的一些逻辑。下面将从两个方面进行解释。

一、如何让幻像在爬虫脚本中执行js代码11。这里需要pyspider self.crawl接口中的三个参数。

提取类型、js脚本和js运行时间。将fetch_type值设置为“js”,编写要在js_script中执行的js代码,js_run_at参数指示js_script中的代码是在页面加载之前还是之后执行的。每个参数在pyspider的应用编程接口文档中描述如下:

-1步阅读2皮斯皮德的爬虫页面脚本编辑如下:

pysplider中如何执行phantomjs脚本步骤读取3在此设置之后,js_script中设置的方法将在phantomjs加载页面之前被注入到页面中,并且该方法将在phantomjs加载页面时被执行。

结束2。由phantomjs自己编写的逻辑1可以从pyspider的源代码中找到。当爬网方法中fetch_type的值设置为js时,请求将提交给phantomjs_fetcher.js进行处理。以下是pyspider源代码的截图。

如果pyspider想要执行某些逻辑,它可以重写phantomjs_fetcher.js文件中的代码,并添加相关的逻辑。

目标

相关推荐