pysplider中如何执行phantomjs脚本
发布时间:2020-06-05 19:58 点击量:
我知道这个问题可以分为两种情况。一个是如何在pyspider中设置js脚本,以及如何在phantomjs中加载和执行它们,另一个是如何执行由phantomjs自己编写的一些逻辑。下面将从两个方面进行解释。
一、如何让幻像在爬虫脚本中执行js代码11。这里需要pyspider self.crawl接口中的三个参数。
提取类型、js脚本和js运行时间。将fetch_type值设置为“js”,编写要在js_script中执行的js代码,js_run_at参数指示js_script中的代码是在页面加载之前还是之后执行的。每个参数在pyspider的应用编程接口文档中描述如下:
-1步阅读2皮斯皮德的爬虫页面脚本编辑如下:
步骤读取3在此设置之后,js_script中设置的方法将在phantomjs加载页面之前被注入到页面中,并且该方法将在phantomjs加载页面时被执行。
结束2。由phantomjs自己编写的逻辑1可以从pyspider的源代码中找到。当爬网方法中fetch_type的值设置为js时,请求将提交给phantomjs_fetcher.js进行处理。以下是pyspider源代码的截图。
如果pyspider想要执行某些逻辑,它可以重写phantomjs_fetcher.js文件中的代码,并添加相关的逻辑。
目标
相关推荐