Question

我有一个大约6k 链接的清单。我需要通过每个链接, 看看它导致的页面是否包含特定的单词。

最简单的方法是什么?

Answer 1

肮脏的溶液 :

#! /bin/bash
while read link ; do
    wget -qO- "$link" | grep -qiFf words.lst - && echo "$link"
done < links.lst > found.lst

链接应保存在 links.lst , 每行一个链接。单词应保存在 words.lst , 每行一个单词。

Answer 2

我为你们创造了一个。

创建一个名为单词. txt 的文件, 包含用空格检查分隔的单词。

创建名为 link. url 的文件, 包含一份 url 列表列表, 以检查每行检查一行。

创建名为 raperer.sh 的文件, 包含以下脚本 :

#!/bin/bash

# A file with a list of urls one per line
LINKS_FILE="links.url"
# A file with a list of words separed by spaces
WORDS_FILE="words.txt"

HTTP_CLIENT="/usr/bin/wget -O - "

rm -f /tmp/temp.html
for link in `cat "$LINKS_FILE"`
do
        # Downloading page
        echo "--"
        echo "Scanning link: $link"
        $HTTP_CLIENT "$link" > /tmp/temp.html
        if [ $? -ne 0 ]
        then
                echo "## Problem downloading resource $link" 1>&2
                continue
        fi

        # Checking words
        for word in `cat "$WORDS_FILE"`
        do
                echo "Checking for the word "$word"..."
                if [ "x`grep -i $word /tmp/temp.html`" != "x" ]
                then
                        echo "** The word $word is found into the uri "$link""
                        continue 2
                fi
        done
        echo "** No words found into "$link""
        echo "--"
        echo
done
rm -f /tmp/temp.html

运行包装纸。

Answer 3

你可以写一个脚本访问每个URL 然后检查这些字是否出现在这些页面上。

Answer 4

不是最快的方式, 但首先:

#!bin/bash

while read url
do
    content=$(wget $url -q -O -)

    # and here you can check
    # if there are matches in $content

done < "links.txt"

友情链接