Question

我在Google App 引擎中有一个模型, 它有 50,000 + 实体。我想创建一个映射或其他操作, 在所有 50,000 + 实体上循环, 并将模型上的方法结果导出到文本文件。完成后, 我想下载文本文件。

在 Google App 引擎中,最简单的方法是什么? 我只需要将所有实体复制,并将专家数据()的结果写入一个通用文件。

#Example model
class Car(db.Model):
    color = db.StringProperty()

    def export_data(self):
        return self.color

Answer 1

使用地图显示 API : < a href=" https:// developmenters.google.com/apengine/docs/python/ data procession/" rel=“ no follow" > https:// developmenters.google.com/apengine/docs/python/ data processment/ . 它还有一个BlobstoreOutputWriter, 您可以用来创建一个 blob, 然后下载该 blob。

根据Dave的建议,这里举一个例子:http://code.google.com/p/apengine-mapreduce/source/browse/trunk/pithon/demo/main.py#264

Answer 2

我发现最容易用重新移动的pi来做这种事情, 否则你就得把数据存储在布洛布斯托尔, 然后在完成后导出。

重新移动的pi不是那么快它运行在电击本身, 但它当然容易得多。

Answer 3

我会用不同的方式做这件事请有人告诉我这里是否有弱点

我将使用任务队列和光标。使用实验的 Blobstore 程序写入 API 将您对第一个 1000 个结果的查询结果进行输出, 将数据输出到一个 blobstore 文件。然后, 将自己与光标重新排期, 并不断在文件上附加随后的迭代, 并在光标上抓取查询, 直到您重新完成。

这或许是缓慢的 — — 但它会明显地影响一个运行中的应用程序,而且与地图的减少不同,它不会引发一连串的灾难,并可能使你付出实际代价。它甚至可能不会产生一个额外的案例。

Answer 4

如果您只需要导出到文件, 并且需要所有实体, 您就可以使用 Appengine 散装装入器

见 appfcook. py 下载_ data

also https://developers.google.com/appengine/docs/python/tools/uploadingdata

它处理回轨抽动线纹等

Answer 5

通过 Datastore 备份导出至 Google Cloud 存储并下载 :

http://gbayer.com/big-data/app-engine-datastore- how-engine-datastore- how-app-engine-data-app-effactively-export-your-data/" rel="nofollow" >http://gbayer.com/big-data/app-engine-datastore-how-engine-datastore-to-app-app-engine-dexport-y-y-data/

这看起来比其他方法要快得多,我自己没有试过

友情链接