English 中文(简体)
数据输入和数据输入说明[封闭]
原标题:Data munging and data import scripting [closed]

我们不准许对书籍、工具、软件图书馆以及更多的图书馆征求建议的问题。 你可以ed问这个问题,以便用事实和引言回答。

Closed 6 years ago.

我需要写一些文字,以便在我的服务器上执行一些任务(即:乌班图斯服务器8.04 TLS)。 任务将定期进行,因此我将把文字作为 cr。

我将任务分成“A组”和“B组”,因为(至少我认为),这些任务有点不同。

www.un.org/Depts/DGACM/index_spanish.htm 任务小组A

  1. 从档案中进口数据,并视可能加以修改——通过重新编号,我指的是做一些事情,如数据ant缩,可能使之正常化,或对数据栏进行计算。

  2. 将 m数据输入数据库。 现在,我主要利用我的SQL对绝大多数进口产品——尽管一些档案将输入一个精炼的数据库。

注:这些档案大多是文本档案,虽然有些档案是双格式的(由C++申请一编写,由Mit所有格式)。

www.un.org/Depts/DGACM/index_spanish.htm B组:

  1. Extract data from the database
  2. Perform calculations on the data and either insert or update tables in the database.

我的编码经验主要是作为C/C++开发商,尽管我在过去的两年里也一直在使用购买力平价(加上与这一问题无关的几种其他语文)。 我来自Windows的背景,因此,我仍在含水层环境中找到我的脚。

我的问题是这个问题——我需要撰写文字,以履行上述任务。 虽然我可以撰写几件C++申请,供在纸浆中使用,但我认为,用文字写法写这些申请可能更好,但这可能是一种错误的假设。 我认为,在文字中修改内容会比较容易——没有必要重建等等,以便改变功能。 此外,C++数据 m在C++中往往涉及更多的密码,而不是“自然”文字,例如Perl、Adhur等。

假设这里的大多数人都同意说,描述是前进的道路,这在我的困境中。 我用什么文字来履行上述任务(鉴于我的背景)?

我本能告诉我,Perl(shudder<>em>)是完成上述所有任务的最明显选择。 <><>BUT>/strong> (这是大的BUT)。 仅提及Perl就给我带来了曲线,因为我过去曾经历过非常坏的经历(好几年前,Perl Camel书与Perl的数据相混合,但不能让它感到太疏远。 尽管我曾多次尝试学习,但我似乎很自然,因此,如果可能,我真的想给它一个错误。 购买力平价(我已经知道),也不肯定是描述国家扫盲委员会的良好候选人(我没有看到很多实例说明如何这样做,因此我可能错过)。

我必须提到的最后一点是,我必须学习新语言,以便这样做,我不能(时间限制)花一天多的时间学习所需的关键指挥/名称,以便这样做(我总是能够从后来的一段时间了解语言细节,一旦我实际部署文字的话)。

因此,你建议使用哪一种文字(PHP、Adhur、Perl、[此处插入你的支持者]——最重要的是WHY? 或者,我是否只字不提几句C++的申请?

最后,如果你建议用文字说明,请向妇女论坛说明。 (Perl mongers - I m 看你的方向[没有太加密!]) 我如何利用你所建议的语言来做我试图做的事。

  • load a CSV file into some kind of data structure where you can access data columns easily for data manipulation
  • dump the columnar data into a mySQL table
  • load data from mySQL table into a data structure that allows columns/rows to be accessed in the scripting language

希望这套书将使我能够迅速了解对我来说构成最 steep的学习曲线的语文,以及简单、合理和高效的语文(当然,这两个标准[法律和浅的学习曲线]不是奥果里语,尽管我怀疑可能是这样)。

最佳回答

A. 档案中的进口数据,可能加以修改

这里的弹 Python。 可在<代码>csv上读 模块因此,你不会浪费时间去做。

对于二元数据,您可能必须使用struct模块。 [如果你写了C++方案,以生成双向数据,考虑重写该方案,停止使用双向数据。 从长远来看,你们的生活将更加简单。 单薄的储存比你的时间更便宜;高压缩的双程格式比值高。]

Import the munged data into a database. Extract data from the database Perform calculations on the data and either insert or update tables in the database.

用于MySQL的mysqldb模块。 土木是建构的,建在沙里。

通常,你想要使用目标-Relational绘图,而不是写你的自己。 参看sqlobjectsqlalchemy

此外,在这样做之前,还购买了一本关于数据储存的良好书籍。 你的两组“任务小组”与你重新开通数据仓储道路一样健全。 很容易通过数据库设计不好而使这一切变得脆弱。 了解你们面前的“Star Schema”是什么东西。

问题回答

Well, I was you a few years back. Didn t like Perl at all and would re-write any scripts my peers wrote in Perl back to Python - because I could not stand Perl. Long story short - let s just say I am fairly conversant with Perl now. I would recommend a book called "Impatient Perl" which explains the really important stuff quite nicely and which converted me to Perl. :) Another thing, is to install the Perl documentation on your computer - this was really important for me - easy and quick access to sample code, etc.

任务A的茶叶画——阅读文档、格式,然后写到数据库。

use autodie qw(:all);
use Text::CSV_XS ();
use DBI ();

my $csv = Text::CSV_XS->new({binary => 1}) 
  or die  Cannot use CSV:   . Text::CSV->error_diag;

{
    my $database_handle = DBI->connect(
         dbi:SQLite:dbname=some_database_file.sqlite , undef, undef, {
            RaiseError => 1,
            AutoCommit => 1,
        },
    );
    $database_handle->do(
        q{CREATE TABLE something_table_or_other ( foo  CHAR(10),  bar  CHAR(10),  baz  CHAR(10),  quux  CHAR(10),  blah  CHAR(10))}
    );

    my $statement_handle = $database_handle->prepare(
        q{INSERT INTO something_table_or_other ( foo ,  bar ,  baz ,  quux ,  blah ) VALUES (?, ?, ?, ?, ?)}
    );

    {
        open my $file_handle,  <:encoding(utf8) ,  data.csv ;
        while (my $columns_aref = $csv->getline($file_handle)) {
            my @columns = @{ $columns_aref };

            # sanitize the columns - maybe substitute commas, numbers, etc.
            for (@columns) {
                s{,}{};  # substitutes commas with nothing
            }

            # insert columns into database now, using placeholders
            $statement_handle->execute(@columns);
        }
    }
}

注:鉴于你目前对Perl的不满,我完全建议你用你舒适的任何方案拟定语言做上述“建议”。 以上只是试图向您表明,这并非完全如此加密。 当你不想重复!

页: 1 你们最有可能找到他们比Perl更快/更快地选取的和>,他们自己仍然拥有非常强大/高效率的语文“数据 m”。 你们应当能够在一天或更短的时间内接手其中任何一个,而不是经常地考虑任意的图书馆职能。

http://diveintopython3.ep.io/rel=“nofollow noreferer” http://diveintopython3.ep.io/

我本人可以自行推荐一名鲁比·鲁宾特人,但我相信其他人会chim好选择。

如果你想与其中任何一方一道工作,。 每个网站都有各自语文的口译员在线互动剪辑。





相关问题
Can Django models use MySQL functions?

Is there a way to force Django models to pass a field to a MySQL function every time the model data is read or loaded? To clarify what I mean in SQL, I want the Django model to produce something like ...

An enterprise scheduler for python (like quartz)

I am looking for an enterprise tasks scheduler for python, like quartz is for Java. Requirements: Persistent: if the process restarts or the machine restarts, then all the jobs must stay there and ...

How to remove unique, then duplicate dictionaries in a list?

Given the following list that contains some duplicate and some unique dictionaries, what is the best method to remove unique dictionaries first, then reduce the duplicate dictionaries to single ...

What is suggested seed value to use with random.seed()?

Simple enough question: I m using python random module to generate random integers. I want to know what is the suggested value to use with the random.seed() function? Currently I am letting this ...

How can I make the PyDev editor selectively ignore errors?

I m using PyDev under Eclipse to write some Jython code. I ve got numerous instances where I need to do something like this: import com.work.project.component.client.Interface.ISubInterface as ...

How do I profile `paster serve` s startup time?

Python s paster serve app.ini is taking longer than I would like to be ready for the first request. I know how to profile requests with middleware, but how do I profile the initialization time? I ...

Pragmatically adding give-aways/freebies to an online store

Our business currently has an online store and recently we ve been offering free specials to our customers. Right now, we simply display the special and give the buyer a notice stating we will add the ...

Converting Dictionary to List? [duplicate]

I m trying to convert a Python dictionary into a Python list, in order to perform some calculations. #My dictionary dict = {} dict[ Capital ]="London" dict[ Food ]="Fish&Chips" dict[ 2012 ]="...