一種歷史感知的數據去重碎片消除方法與系統

新一代信息技術

本發明公開了一種應用于數據去重系統中的碎片消除方法，該

方法利用歷史信息準確地識別碎片，系統內存開銷少且恢復吞吐率高。

該方法首先對數據流中的文件進行分塊、求指紋，查詢索引找到重復

數據塊；然后在上次備份記錄的稀疏容器集合中查找重復數據塊的容

器 ID，判斷哪些重復數據塊屬于稀疏容器。對于屬于稀疏容器的重復

數據塊，將其重寫到新的容器中。該方法在備份過程中，只需記錄下

相關容器的利用率，內存開銷極小。本發明還提供了相

未應用