Question

我对红宝石非常新, 正在学习如何用多个线条进行处理。我所做的是使用 Nokogiri 分析一个 170mbxml 文件, 并且将数据库( Postgressql) 插入到我的. each () 中的新线内。请建议一个更好的方法来处理这个非常大的文件, 并且用多个线条来做。这里是我目前拥有的。

    conn = PGconn.connect("localhost", 5432, "", "", "oaxis","postgres","root")

    f = File.open("metadata.xml")
    doc = Nokogiri::XML(f)

    counter = 0

    threadArray = []

    doc.xpath( //Title ).each do |node|
        threadArray[counter] = Thread.new{
        titleVal = node.text
        random_string = (0...10).map{ ( a .. z ).to_a[rand(26)] }.join

        conn.prepare( ins +random_string,  insert into sample_tbl (title) values ($1) )
        conn.exec_prepared( ins +random_string, [titleVal])

        puts titleVal+" ==>"+random_string+ " 
"

        counter += 1
       }

    end

threadArray.each {|t| t.join}

f.close

Answer 1

您正在做的事情不会导致数据被更快地插入数据库, 与单一已读案例相比。 MRI Ruby 拥有一个全局翻译锁, 并且一次只运行一条线。使用 MRI Ruby 中的线索只会在线索执行 IO 动作( 或等待能够这样做) 时提高性能, 而程序进度并不取决于这些 IO 动作的结果( 所以您不积极等待) 。

我建议您不要在此使用线索, 而是计算您想要插入的所有值, 并将其质量插入。代码也会更简单, 更便于理解和理解。即使从一个线条中逐个插入, 也会更快, 但没有理由这样做。

友情链接