オブジェクトストレージに対するクライアント協調型の重複排除方式適応への試み

Abstract

近年，動画ファイルや画像データを始めとする非構造化データの増大に伴い，従来のファイルストレージのI/O にボトルネックが生じるようになった．こうした，急激に増大するデータに対する課題を解決する手段としてオブジェクトストレージと呼ばれるストレージシステムが注目を集めている．オブジェクトストレージでは，データをオブジェクトという単位でフラットな空間に保存することで安価に大容量なストレージを構築することが可能となった．一方でストレージの容量効率を高める重複排除技術も注目を集めているが，重複排除の処理には大量のメモリと処理のための時間が必要となる．そのため，低コストかつ大容量を特徴とするオブジェクトストレージにおいて通常の重複排除を適応させることは難しい． 本研究では，クライアント協調型の重複排除方式と提案することで重複排除にかかる処理負荷の一部をクライアント側へオフロードし，オブジェクトストレージに対する重複排除の適応を試みる．本稿では，提案方式実現へ向けインライン方式での重複排除機能を搭載した簡易オブジェクトストレージを実装し．重複排除の負荷実験を行った．結果として実験環境下にてデータを固定長サイズ読み込み，そのハッシュを計算する処理が，データをストレージに保存する処理と比較した時に，最大で約130 倍メモリを消費していることが分かった．