Question

我需要计算一系列相关但分门别类的数据集的Nth%。

由于记忆限制,综合数据集太大,无法一劳永逸地计算,但进行零敲碎打计算的框架已经建立。因此,我如何计算每个数据组,然后将这些计算结合起来,以找到我所需要的百分点?

关于数据的其他信息:

这些数据往往不可靠。
个人数据集的大小大致相同,但并不总是这样。
预计单个数据组不会分享同样的分布。

否我赞扬中位数、手段和标准偏差,然后估算出任何百分数。

Answer 1

单靠中位、平均和标准偏差不大可能足够,特别是如果你有外逃的话。

如果需要准确的百分点,这是一个平行的计算问题。这方面已经做了一些工作,例如:的平行模式。

如果只需要大约百分点,那么交叉标签就有一个问题—— 所有权=“Estimation of ality given quantiles of subset>。甲型六氯环己烷()当量的估算,建议采用一种替代方法。您将使用每个数据集的一些(但并非全部)数据点,制作一个新的综合数据集,该数据集仅够适合单一机器,并计算其百分数。

Another approximate approach, efficient if percentiles of each segment are already available, would be to approximate the cumulative distribution function of each segment as a step function from the percentiles. Then the overall distribution would be a finite mixture of the segment distributions and the cumulative distribution function a weighted sum of the segment cumulative distribution functions. The quantile function (i.e., the percentiles) could be computed by numerically inverting the cumulative distribution function.

友情链接