English 中文(简体)
硬盘损失less压缩?[已关闭]
原标题:
  • 时间:2009-01-29 19:59:15
  •  标签:
Closed. This question needs to be more focused. It is not currently accepting answers.

想要改进这个问题吗?通过编辑这篇文章来使问题集中在一个问题上。

Closed 6 years ago.

我偶然发现了这篇关于基于硬件的硬盘加密的文章,并意识到这不仅会为我们保护数据提供一个好方法,还会加速我们用于加密数据的应用程序。

这让我想起了……

Would it be possible to do the same thing for compression so that all of the data is compressed or uncompressed appropriately as it is read and written to the drive?

我已经有很长时间没有做固件编程了,所以我甚至不确定这在技术上是否可能。

然而,如果是这样的话,它可能会给人们提供更多的存储空间。

将这句话翻译成中文:将这种方法用于固件的编程的利弊是什么?

最佳回答

在每个100美元就能买到1TB硬盘的世界里,速度比空间更有价值。这不值得。

编辑:

啊,你是说从盘片中获取100字节的压缩数据,解压缩它然后发送到系统会比获取800字节的未压缩数据发送到系统更快,因为寻道时间很慢。

那似乎是一个聪明的方法,但我愿意打赌,如果权衡成本最终是值得的,硬盘制造商已经采用了这种技术,硬盘速度仍是它们的实际情况。

但谁知道呢,你可能有眼光!

问题回答

我记得大约15年前看到过一则广告,介绍一种能进行硬件压缩的IDE控制器卡。我不确定它是否好用。那时候,1GB的硬盘售价超过1000美元。

谁还记得Stacker?这在80年代/90年代已经被玩烂了。速度从来不是问题,也不是“棘手”的。这些东西现在完全不必要。

如之前所述,收益并不那么大,特别是当您已经以压缩形式存储很少使用的文件时。

由于在硬件中很难完成(应报告哪个磁盘大小?如果输入的熵等于其大小怎么办?)而且现代CPU+ RAM与HDD相比速度非常快,因此只需在软件中完成。

我知道的一种实现是compFUSed,它是在任何其他文件系统之上分层的,另一个是ZFS关于如何启用它的博客文章,它支持本地压缩。

我之前也曾想过这个关于网络流量的想法- 这已经被实现了:有使用gzip压缩的加速器卡:http://www.aha.com/show_prod.php?id=36

我也想到了另一个好处是现在你可以在不压缩驱动器内容的情况下进行传输-只需从磁盘中读取压缩块并发送,而无需在以后压缩。

这是可能的,但是非常非常棘手。您将不得不开发自定义驱动程序,因为虽然加密扇区与普通扇区相同大小,因此使用相同的数学方法查找数据,但压缩扇区较小,因此您必须在操作系统或驱动器本身上保存实际扇区到压缩扇区的映射。

唯一的另一个方面是访问速度和延迟。它不应该影响寻找功能,但压缩数据可能需要比写入数据更长的时间 - 压缩需要相当多的计算资源。

此外,直到你处理大块数据时,压缩才不是真正的好处。你可以实时压缩512字节(1扇区),平均压缩几个百分点,但人们真正希望看到20%或更多的压缩比才愿意为硬件额外付费。

它需要更多的硬盘处理能力和内存,这将增加驱动器的成本。

此外,驱动器容量正在以一种速度增长,可能不划算这样做。

假设你开发了一种神奇的压缩技术,它可以在不影响性能、不需要任何额外(易崩溃的)驱动程序,并可在任何操作系统上使用的情况下,将存储空间增加一倍。但它会为驱动器增加100美元的成本。

现在将1TB硬盘转换为2TB可能是有意义的,但在6-8个月内,2TB硬盘将低于200美元。对于任何较小的硬盘,这都不值得,因为现在可以以99美元的价格购买1TB。

如果您让它在驱动器和计算机之间工作,延迟会更大,而且性价比可能不值得。因此,最好将其直接集成到驱动器中。

因此,从技术上讲这是可能的,但会有缺陷,增加了系统的复杂性和瑕疵点。而即使它没有这些缺点,可能也不值得。

亚当

另一个要考虑的因素是,您硬盘上大多数的大文件(音乐,图片和视频)通常已经压缩(MP3,JPEG,MP4 / MOV),因此压缩对它们是无济于事的。而那些没有压缩的文件(文本文件,文字处理,电子邮件文本)往往只占很小一部分。

我也在想同样的问题,因为我正在搜索数千个gzipped文本文件,而解压缩却挤压了我的四核i7,我想知道是否专用的gzip硬件可以像GPU加速并行处理一样加速这一过程。但我怀疑上述问题会使得对于大多数用途,压缩硬盘并没有帮助很大。





相关问题
热门标签