Question

亲爱的朋友们,

I want to scrape data in the website: https://en.macromicro.me/collections/19/mm-oil-price/182/mm-oil-expectation-index

Basically, I know how to use selenium to extract static data such as the text on a typical Newpaper site like BBC, DW.

However, when I want to scrape the data on the macromicro. It is totally different situation:

the data hidden in the graph/chart
the data appears only when the mouse hovering and disappears when the mouse moves out

for example, when I hover on the line, the data shows (you can say it pop up).

因此,亲爱的朋友,请让我提出一些想法,以删除数据?

Answer 1

诸如你所描述的交互和动态视化数据,比从网站中删除静态文字更为复杂。在这种情况下, Sel可能不是最有效的工具,因为它旨在与网页互动,但可能无法直接支持从对冲互动和人口收集数据。

然而,你可以考虑以下几种办法:

www.un.org/Depts/DGACM/index_spanish.htm 网上活动: 当你与视觉化互动时,数据可能通过网络要求从服务器上排出来。开放你的浏览器开发工具,进入“网络”表格。如果有任何网络要求,则与视像联系和观察。这些请求可能包含你重新研究的数据。你们可以在我们的法典中使用requests等图书馆复制这些要求。
www.un.org/Depts/DGACM/index_spanish.htm 采用A/62/L: 如果网站提供AAP,以检索图像化所使用的数据,那么获取数据的最有效途径是。查阅网络要求或网页源代码中的APIC终点。
<>Headless Browsing with Puppeteer (Javagust): Puppeteer是一家Node.js图书馆,提供无头巾的环境。你可以将其用于与网页进行方案性互动,包括诸如 h和点击等互动。这可能使你能够掌握在 h上的数据。
<Visual Scraping with SikuliX: SikuliX是一种描述/原子技术,依赖模式配对、屏幕捕获以及与桌面的互动,以完成自动化任务。它不建议大规模或生产一级的报废,但可能被用于收集在 h上出现的视觉数据。
www.un.org/Depts/DGACM/index_spanish.htm 资料来源:。有时,提供复杂图像的网站也以可下载的格式提供基本数据(CSV、JSON等)。如果网站可以选择下载图表中显示的数据。
www.un.org/Depts/DGACM/index_spanish.htm 联系网站所有人: 如果你为了合法目的重置数据,考虑与网站所有人或管理人联系。它们可能为你更容易地获取数据或愿意与你分享数据。

应始终根据网站的使用条件,从道德上和根据网站进行网络拆解。如果网站允许拆解或获取数据,则你应尊重其用语。

友情链接