当FIXED_LEN_BYTE_ARRAY数据类型用于固定长度的平面阵列时,为什么会有更多的 par子?
原文：Why would a parquet file get larger when FIXED_LEN_BYTE_ARRAY data type is used for fixed length byte array column?

在试图将数据集存放在一档子中,将其上载到HuggingFace I ve时,遇到了一种奇怪的现象:当将50个逐个阵列作为一栏储存时,当类型......时,档案尺寸就会更大。

分配PyArrow Parquet档案,将其整理成数据集
原文：Partitioning PyArrow Parquet file and writing it out sorted to a dataset

我有一份PyArrow Parquet文件,其篇幅太大,无法记忆。 由于数据很容易被分割成不同的硬体,我愿意人工分割这一数据,并生成一个PyArrow数据。