Question

我的数据集非常大,几乎为450000条线和两行,即希望用平线计算应急矩阵,因为此前我曾试图在校正,而且由于数据价值大,它显示了记忆错误。我的数据数值也从100开始,达到450000。

任何人都可以在这个问题上帮助我,因为我是新到的。

我必须先用Excel板或笔记本将档案输入平时,然后对紧急矩阵进行计算。

Answer 1

如果我正确理解你的问题,那么你需要记忆比援助团能够多。即便有虚拟记忆,你也可能不会分配一个大块。因此,你的解决办法是,在你建立时,把紧急矩阵写到档案中。这种方法将在MatLab或Azza进行。

假设你正在处理CAIDA s Pathr-level Topology Measures,因为格式似乎与你的说明相吻合。该档案的每一行都载有从一名IP路由器(栏1)到另一条(栏2)。 192244年节点的完整紧急矩阵将需要4.3 英镑,假定你只使用单一比值。我仍然建议直接将矩阵编成档案,而不是将其放在记忆中。

Answer 2

最简单的方式? 如果你有超过10 000个点,但只有45,000个边缘,则使用SciPy的稀释矩阵:

。

科学研究院提供各种压缩方法,使矩阵的实际内层缩小(因为矩阵值将基本为0)。 I mure MatLab还提供了空间周密的矩阵数据结构。

如果你想要知道如何读到档案中的话,我就建议你将它作为特别安全局或文本档案予以保存(在Excel档案中储存数据没有任何实际好处)。灰色带宽/一个阅读/写作CSV文档的图书馆:

rel=“nofollow noreferer”>http://docs.python.org/library/csv.html

如果你真的想要使用XLS文件,那么你可以使用PyExcelerator(我从未使用过)——。 - 或您可使用开放办公室。

Answer 3

我将使用缺省词——使用简单,只有几条法典。我在假定你们的档案时,会想像我这样。

a b
c d

首先,将其列入一个清单() (a)、(b)、(c)、(d)]

然后使用默认:

from collections import defaultdict

adjmat = defaultdict(int)
for edge in list:
    adjmat[edge] = 1

<代码>adjmat[a, b]>,如果对面有,则将退回1。如果您在节点之间有多个优势,那么你只需要改动到<条码>adjmat[对面] += 1和<条码>>。

友情链接