Question

I m利用Schrapy using一个网页。在你点击某个纽顿时,我只需要一些信息(当然,在点击后,在超文本中也会出现)。

我发现,如here 。但问题是,没有填写表格,因此,这并不是我所需要的。

How can I simply click a button, which then shows the information I need?

Do I have to use an external library like mechanize or lxml?

Answer 1

强奸不能解释 j。

如果你绝对必须同页上的javascript互动,你就希望使用Selenium。

如果采用 Sc办法,问题的解决取决于纽芬兰正在做些什么。

如果它只是显示以前隐藏的内容,那么你就可以在没有问题的情况下撤销数据,那么,它就没有出现在浏览器上,但这种超文本仍然存在。

如果在 but子受到压力时,它会通过美国宇宙航空研究开发机构积极收集内容,那么最好的事就是在你使用火焰之类工具向纽州施压时,看到吉大港警察局的请求。届时,你可以直接要求获得URL的数据。

Do I have to use an external library like mechanize or lxml?

如果你想解释javascript,你需要使用一个不同的图书馆,尽管这两个图书馆都没有适合该法案。他们都不知道什么是 j。 ium是前进的道路。

If you can give the URL of the page you re working on scraping I can take a look.

Answer 2

<代码>Selenium browser 提供了非常独特的解决办法。例如(pip装置-U selenium):

from selenium import webdriver

class northshoreSpider(Spider):
    name =  xxx 
    allowed_domains = [ www.example.org ]
    start_urls = [ https://www.example.org ]

    def __init__(self):
        self.driver = webdriver.Firefox()

    def parse(self,response):
            self.driver.get( https://www.example.org/abc )

            while True:
                try:
                    next = self.driver.find_element_by_xpath( //*[@id="BTN_NEXT"] )
                    url =  http://www.example.org/abcd 
                    yield Request(url,callback=self.parse2)
                    next.click()
                except:
                    break

            self.driver.close()

    def parse2(self,response):
        print  you are here!

Answer 3

虽然它有了一个老的透镜一,但为此目的,认为使用 Helium (built on summary of Selenium)非常有用,比使用Selenium更容易/simpler。这将是如下内容:

from helium import *

start_firefox( your_url )
s = S( path_to_your_button )
click(s)
...

Answer 4

为了适当和充分利用 Java,你需要一个完整的浏览器发动机,只有Watir/WatiN/Selenium等才能做到这一点。

友情链接