Question

Closed. This question is seeking recommendations for books, tools, software libraries, and more. It does not meet Stack Overflow guidelines. It is not currently accepting answers.

我们不准许对书籍、工具、软件图书馆以及更多的图书馆征求建议的问题。你可以ed问这个问题,以便用事实和引言回答。

Closed 8 years ago.

Improve this question

www.un.org/Depts/DGACM/index_spanish.htm

我知道大量的PHP、Js、CSS、OOP,最近通过利用精子编辑的网r和链接板下载一系列网页(约100万条线),这些网页被封起来并准备上载到我的网站上。我致力于一个气球/泡沫系统,一个当地东道机构,这一特殊项目正在实施混凝土5厘米,这在PHP中写成。

Seeing the benefits of scraping and parsing information, I would like to have my site dynamically perform this function, though on a much smaller scale; such as, enabling my new user to transfer their personal information from another website into mine - which will typically be under a secure connection (though not always) and password.

< Question: 用于这一目的的最佳工具(文字)是什么? 我不知道Perl或Rub,但我认为其中任何一个都是一个很好的选择。我也听了AWK和SED。我确信,一旦我开始研究这一语言,我就能够说出。我确实希望得到一些经验丰富的投入,在这种投入中,最好能开始投入时间学习。

感谢您的帮助。

Answer 1

Perl有两种非常成熟的报废工具,我知道::Scraper 和 Scrappy 。两者都能够与CSS3和XPath的甄选者合作,确定要素;Scrappy在网络上建立:Scraper,并增加综合的报废和拖网,并建立一个Nice URL-matching系统,选择联系,以收集更多信息(同时,网络:Scraper与一份文件合作)。它使用固定和强硬的 Library, which is smart,ui, and knowledge of accreditation and cookies.

If you want to get into the lower level yourself, there are a lot of good tools to build on, including the aforementioned WWW::Mechanize, HTML::TreeBuilder, HTML::TreeBuilder::XPath, HTML::TableExtractor and more.

Answer 2

我强烈建议Ruby 和。 (见 cap虫病页底部未经测试的相关实例)。原因:

简单、简短的报废金、厨师支助、支尔支助。
Ruby has many other uses, a friendly syntax, and an active job market.
卡普瓦拉有多个辅助司机。你们可以操作真正的浏览器(可能的话),一个真正的浏览器(可能的话)无情地运转起来,这样便衣点就能够工作。有了同样的密码,你可以把驾驶员引向网上申请,不要打碎机(机械化)。这有助于你克服许多障碍(如需要管理联合材料/Ajax),需要看到互动,等等,并改变一条单一的法典(Capybara. Current_driver = :some_driver)。

司机:Capybara-Webkit,

能够使用欧安会或Xpath的挑选者,无论你们是否感到安慰。
积极发展,生态系统在基本技术周围迅速发展。

友情链接