Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。市場を勝ち抜く企業はどこにIT部門から“組織変革”を~気鋭のトップランナーを訪ねる~EnterpriseZine編集部が最旬ITトピックの深層に迫る。ここでしか読めない、エンタープライズITの最新トピックをお届けします。Hadoop)を紹介しました。HBaseの紹介、およびHBaseの認定資格を紹介します。?CCSHBの合格のポイントは?最後に:これから受験対策を始める方にHadoopの管理者に求められるもの前編で紹介したように、Hadoopでは一台から数千台規模のクラスタを構築することが可能であり、必要に応じてスケールアウトさせることができます。Hadoopは非常に強力ですが、管理するのはそれほど簡単ではありません。言い換えると、正しい知識を持たずに運用すると、大きなトラブルが生じる可能性があると言うことです。脚色していますが実際のトラブルの例をご紹介しましょう。System)には、分散したデータの配置情報(データがどのマシンに記録されているのかを表す管理情報:以降メタ情報と呼びます)などを管理するノード(ネームノード)と、実際に分散されたデータを管理するノード(データノード)群とがあります。前者のメタ情報は非常に重要で、この情報が消えてしまうと、分散しているデータの置き場所がわからなくなってしまいます。バラバラになったデータを組み立てられなくなってしまうのです。このメタ情報はサーバーの起動時に読み込むためディスクにも記録されるのですが、あるトラブルではマシンのディスク障害によりメタ情報が失われてしまったというものでした。定期的にバックアップをするという運用方法もあるのですが、バックアップ間の更新分が全て失われてしまうリスクが生じます。バックアップのタイミングによってはファイルの整合性の問題が生じる場合があるのです(中途半端にファイルが破損してしまうなど)。これは正しく管理すれば防げる問題です。メタ情報の保存先は複数指定ができるので、管理者が正しく複数のディスクやNFS上のディレクトリを指定することで回避できるのです。MapReduceにおいても、単一の目的での利用や一人のユーザーが利用しているような場合には問題がなくても、ビジネスが拡大して複数のユーザーまたは複数のジョブを実行するようになると、ジョブの実行順序の制御が必要になります。共用環境においてはセキュリティの問題も生じてくるでしょう。Hadoopに限った話ではありませんが、運用管理は重要なのです。コラム:HDFSの信頼性はどうなの?Hadoopに詳しい方は「Hadoopはネームノードが単一障害点だから使えない」とおっしゃるかもしれません。それは確かにある条件では正しいのですが、ClouderaのCDH4のような最近のバージョンのHadoopではネームノードが高可用性に対応しているので、単一障害点を回避できます。いうセッションで高可用性の話がありました。一部抜粋して紹介します。米Yahoo!では2009年に、2万ノード/10クラスタのHDFS環境において、3.29億ブロックに対して19ブロックのデータロストが発生しました。これは1700万ブロックに対して1ブロック相当となり、1ブロックが128MBと仮定すると、2ペタバイトに対して128MBのデータロストにしかなりません。いったバグは既に修正されていますし、HDFSではデフォルトでブロックを3カ所に複製して管理しているので、同時にブロックが失われる確率はゼロに近いといえます。HDFSの信頼性は十分高いと言っても過言ではないでしょう。マネージャー兼シニアインストラクター2011年よりClouderaに勤務し、日本でのHadoop研修ビジネスの立ち上げに従事。Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。NEW新着記事一覧を見るイベントイベントカレンダーを見る講座イベントカレンダーを見る「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティ/システム運用の最新動向を中心に、企業ITに関する多様な情報をお届けしています。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。