Question

I m 寻找能够充斥CSS网页的网络拖网器。我不需要任何其他疏远能力。

我试图通过Xapian、Nutch和Heritrix去做。它们似乎都很复杂。如果任何人有任何经验或建议,我会热心听。还欢迎上述任何平台的无障碍辅导。

David

Answer 1

你们是正确的,不使用这些东西,就过于沉重。

使用:

The only change you need is in MyCrawler.java: Remove "css" from the FILTERS pattern In the visit() method, put a simple condition as follows:

if (url.contains(".css")) {
    // do what you need with it
}

你们好!

Answer 2

我建议使用简单的HTTPClient和简单的regex。你可将答复储存在你自己的档案、数据库或档案中(见Hitrix)。

它不使用重型加权拖网。由于每个领域都很少,因此你可以安全地忽视在各领域的复杂ur。

Cheers !