Apache Hadoop の統合

Apache Hadoop 統合は、Hadoop クラスターとアプリケーションのパフォーマンスを監視します。

Apache Hadoop をセットアップすると、Apache Hadoop メトリクスのダッシュボードが提供されます。

インフラストラクチャエージェントをインストールします

データを New Relic に取り込むには、インフラストラクチャエージェントをインストールします。当社のインフラストラクチャエージェントはデータを収集して取り込むので、アプリのパフォーマンスを追跡できます。NRI-Flex 統合をサポートするには、バージョンが 1.10.7 以降である必要があります。

インフラストラクチャエージェントは、次の 2 つの方法でインストールできます。

ガイド付きインストールは、システムを検査し、システムに最適なアプリケーション監視エージェントとともにインフラストラクチャエージェントをインストールする CLI ツールです。ガイド付きインストールの仕組みの詳細については、ガイド付きインストールの概要をご覧ください。
インフラストラクチャエージェントを手動でインストールする場合は、 Linux、 Windows、または macOSの手動インストールのチュートリアルに従うことができます。

Apache Hadoop 用に NRI-Flex を構成する

Flex は New Relic インフラストラクチャエージェントにバンドルされています。フレックス構成ファイルを作成するには、次の手順に従います。

このパスに nri-flex-hadoop-config.yml という名前のファイルを作成します。
bash
```
$/etc/newrelic-infra/integrations.d
```
構成テンプレートを使用して、作成された nri-flex-hadoop-config.ymlという名前のファイル内のフィールド EVENT_TYPE と YOUR_DOMAIN を更新します。 event_type の値は、NRDB にメトリクスを保存するために使用されます。
例：
- EVENT_TYPE1 に更新できます HadoopResourceManagerSample
- EVENT_TYPE2 に更新できます HadoopNameNodeSample
nri-flex-hadoop-config.ymlファイルは次のようになります。
```
integrations:
  - name: nri-flex
    # interval: 30s
    config:
      name: hadoopMetrics
      apis:
        - event_type: EVENT_TYPE1
          commands: 
            # run any command, you could cat .json file, or run some commands that produce a json output
          # the example just calls an API that returns json
            - run: curl -s https://YOUR_DOMAIN:9870/jmx #json output is retrieved from this command
        - event_type: EVENT_TYPE2
          commands: 
            - run: curl -s https://YOUR_DOMAIN:8088/jmx?qry=Hadoop:*
```

Apache Hadoop ログを New Relic に転送する

ログ転送を使用して、Apache Hadoop ログを New Relic に転送できます。

Linux マシンでは、 logging.yml という名前のログファイルが次のパスに存在する必要があります。

bash

$/etc/newrelic-infra/logging.d/

ログファイルを作成した後、次のスクリプトを logging.yml ファイルに追加します。

logs:
  - name: hadoop_secondarynamenode_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-secondarynamenode-hadoop-master.log
    attributes:
      logtype: hadoop_secondarynamenode_logs
  - name: hadoop_resourcemanager_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-resourcemanager-hadoop-master.log
    attributes:
      logtype: hadoop_hadoop_resourcemanager_logs
  - name: hadoop_namenode_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-namenode-hadoop-master.log
    attributes:
      logtype: hadoop_namenode_logs

New Relic インフラストラクチャエージェントを再起動します

データの読み取りを開始する前に、インフラストラクチャエージェントのドキュメントの手順に従ってインフラストラクチャエージェントを再起動します。

bash

$sudo systemctl restart newrelic-infra.service

数分以内に、アプリケーションはメトリクスを one.newrelic.comに送信します。

データを検索する

Apache Hadoop という名前の事前に構築されたダッシュボードテンプレートを選択して、Apache Hadoop サーバーのメトリクスを監視できます。事前に構築されたダッシュボードテンプレートを使用するには、次の手順に従います。

one.newrelic.comから、 + Add data [+ データの追加] ページに移動します。
[ダッシュボード]をクリックします。
検索バーにapache hadoopと入力します。
Apache Hadoop ダッシュボードが表示されます。それをクリックしてインストールします。

Apache Hadoop ダッシュボードはカスタムダッシュボードとみなされ、 Dashboards [ダッシュボード] UI に表示されます。ダッシュボードの使用と編集に関するドキュメントについては、ダッシュボードのドキュメントを参照してください。

以下は、リソースマネージャーからアクティブユーザーを確認するための NRQL クエリです。

SELECT latest(activeUsers) 
FROM HadoopResourceManagerSample

以下は、ネームノードからアクティブなクライアントの数を表示する NRQL クエリです。

SELECT latest(numActiveClients) 
FROM HadoopNameNodeSample

次は何ですか？

NRQL クエリの作成とダッシュボードの生成の詳細については、次のドキュメントをご覧ください。

基本的なクエリと高度なクエリを作成するためのクエリビルダーの概要。
ダッシュボードをカスタマイズしてさまざまなアクションを実行するためのダッシュボードの概要。
ダッシュボードを管理して、ダッシュボードの表示モードを調整したり、ダッシュボードにコンテンツを追加したりします。