ページの先頭です。

2012/11/20 15:25

ニュース

富士通研究所、長期間集計したデータと更新頻度の高いデータを同時に高速処理する技術を開発

 富士通研究所(富田達夫社長)は、11月19日、長期間にわたって蓄積したデータと、リアルタイムに流れる更新頻度の高いデータを、同時に高速処理する技術を開発したと発表した。

 高速データ処理には、定期的に蓄積した大量データの処理にすぐれるバッチ処理と、株取引などのリアルタイムに流れるデータの処理にすぐれるストリーム処理がある。しかし、バッチ処理は処理のたびにすべてのデータを読み直す必要があるので、演算結果を得るまでの時間が長く、更新頻度の高いデータ処理には向いていない。またストリーム処理も、データ量に比例して演算時間が長くなってレスポンスが悪くなることから、蓄積した大量データの処理には不向きだ。

 富士通研究所は、これら既存のデータ処理技術では困難だった長期間集計と高更新頻度の両立を実現するデータ処理技術「高速パターン照合技術」と「演算スナップショット管理技術」を開発した。

 「高速パターン照合技術」は、通常2段階の処理が必要なデータ処理をパターン照合によって1段階に簡素化し、入力されるストリームデータから必要な項目だけを直接取り出すことで、高速な処理を実現する。CSVなどの定型データに加えて、繰り返しや階層構造を含むXMLなどの非定型データに対応している。

 「演算スナップショット管理技術」は、データの読み直しや演算のやり直しを一切行うことなく、演算結果を高速で返す技術。入力されるストリームデータに対し、通常は時系列順にメモリ上にデータを保持するが、この技術ではあらかじめ決められた手順に従ってソートなどの必要な演算を行いながらデータを保持。集計期間に依存しない高速なレスポンスを実現する。

 説明会で、ソフトウェアシステム研究所インテリジェントテクノロジ研究部の稲越宏弥主任研究員は、開発したデータ処理技術について、「集計期間と更新の頻度に左右されることなく、安定したデータ処理のレスポンスを提供する。既存のオープンソースの複合イベント処理(CEP)エンジンと比べて、約144倍の高速化を実現した」とアピールした。

ソフトウェアシステム研究所インテリジェントテクノロジ研究部の稲越宏弥主任研究員

 今後は、2013年度に、新技術を富士通のビッグデータ活用の製品群である「Big Data Platform」「Big Data Middleware」に搭載することを目標としている。(真鍋武)

■おすすめの記事





PR

週刊BCN購読のお申し込みはこちら

Bizline会員サービス(無料)のご案内 新規会員登録はこちら

PR










ITジュニアの広場

「ITセミナー・イベント」コーナーで注目商品・サービスなどのセミナーを一挙公開!

過去の掲載記事一覧

ITビジネス情報紙「週刊BCN」

ITビジネス情報誌「週刊BCN」
2017年04月17日付 vol.1674
変わりゆくバックアップソフト市場 主要メーカーの商流を探る

2017年04月17日付 vol.1674 変わりゆくバックアップソフト市場 主要メーカーの商流を探る

「週刊BCN」購読お申し込み
BCN Bizline ITを売るパートナービジネスの創造を

「BCN Bizline」は、株式会社BCNが保有する登録商標です。(商標登録番号第5388735号)