Question

我这样说:

find folder/ | xargs -n1 -P10 ./logger.py > collab

在<代码>logger.py上我正在处理产出调整项目的文件。因此,串通一气。

{ filename  :  file1 ,  size  : 1000}
{ filename  :  file1 ,  size  : 1000}
{ filename  :  file1 ,  size  : 1000}
{ filename  :  file1 ,  size  : 1000}

有时这条线被 j倒:

{ filename  :  file1 ,  size  : 1000}
{ file
{ filename  :  file1 ,  size  : 1000}
name  :  file1 ,  size  : 1000}
{ filename  :  file1 ,  size  : 1000}

我如何能够防止/纠正这种情况?

Answer 1

总的来说,有一些问题使得很难做到guarantee,而没有陷入多过程。然而,你通常可以大量减少这一问题。

最常见的原因是I/O缓冲,在沙里或平衡。例如,它可能缓冲16k的产出,然后一度书写整块。你们可以通过在写完字后抽出 st来减少这种情况,但这种.。从理论上讲,你应当能够通过<条码>-u> ,以达到令人难以置信的缓冲,但当我尝试时,那就没有工作了。见Sebastjan对,用于更通用的解决办法(尽管可能有一种办法可以更直接地缓冲可变的产出)。

A second problem is that the underlying writes aren t always atomic. In particular, writes to pipes are only atomic up to a certain size (PIPE_BUF, usually 512 bytes); above that it s not guaranteed. That only strictly applies to pipes (not files), but the same general issues apply: smaller writes are more likely to happen atomically. See http://www.opengroup.org/onlinepubs/000095399/functions/write.html.

Answer 2

复杂的、技术上正确的解决办法是执行一个供撰写的双向办法,但我认为,这种分性办法并非理想。

而且,它并非一帆风顺。如何从Xargs中解放出产出(这样,你就能够掌握产出的坚固丘数,而不是产出的流,然后将这些草块混为一谈?

Answer 3

问题是,来自xargs的产出是混合的。 GNU 解决该问题也是同时进行的。违约后,保证产出不一而足。因此,你只能这样做:

find folder/ | parallel ./logger.py > collab

This will run one logger.py per CPU. If you want 10:

find folder/ | parallel -P10 ./logger.py > collab

http://www.you.com/watch?v=OpaiGYxkSuQ” rel=“nofollow” http://www.you.com/watch?v=OpaiGYxkSuQ

友情链接