아파치 하둡 통합

Apache Hadoop 통합은 Hadoop 클러스터 및 애플리케이션의 성능을 모니터링합니다.

Apache Hadoop을 설정한 후 Apache Hadoop 메트릭에 대한 대시보드를 제공합니다.

인프라 에이전트 설치

데이터를 New Relic으로 가져오려면 인프라 에이전트를 설치하십시오. 당사의 인프라 에이전트는 데이터를 수집하고 수집하므로 앱의 성능을 추적할 수 있습니다. NRI-Flex 통합을 지원하려면 버전이 1.10.7 이상이어야 합니다.

두 가지 방법으로 인프라 에이전트를 설치할 수 있습니다.

가이드 설치 는 시스템을 검사하고 시스템에 가장 적합한 애플리케이션 모니터링 에이전트와 함께 인프라 에이전트를 설치하는 CLI 도구입니다. 가이드 설치 작동 방식에 대해 자세히 알아보려면 가이드 설치 개요 를 확인하세요.
인프라 에이전트를 수동으로 설치하려면 Linux, Windows또는 macOS용 수동 설치에 대한 자습서를 따를 수 있습니다.

Apache Hadoop용 NRI-Flex 구성

Flex는 New Relic 인프라 에이전트와 함께 번들로 제공됩니다. 플렉스 구성 파일을 만들려면 다음 단계를 따르세요.

다음 경로에 nri-flex-hadoop-config.yml 이라는 파일을 만듭니다.
bash
```
$/etc/newrelic-infra/integrations.d
```
구성 템플릿을 사용하여 nri-flex-hadoop-config.yml라는 생성된 파일에서 EVENT_TYPE 및 YOUR_DOMAIN 필드를 업데이트합니다. event_type 의 값은 NRDB에 메트릭을 저장하는 데 사용됩니다.
예시:
- EVENT_TYPE1 로 업데이트할 수 있습니다. HadoopResourceManagerSample
- EVENT_TYPE2 로 업데이트할 수 있습니다. HadoopNameNodeSample
nri-flex-hadoop-config.yml 파일은 다음과 같아야 합니다.
```
integrations:
  - name: nri-flex
    # interval: 30s
    config:
      name: hadoopMetrics
      apis:
        - event_type: EVENT_TYPE1
          commands: 
            # run any command, you could cat .json file, or run some commands that produce a json output
          # the example just calls an API that returns json
            - run: curl -s https://YOUR_DOMAIN:9870/jmx #json output is retrieved from this command
        - event_type: EVENT_TYPE2
          commands: 
            - run: curl -s https://YOUR_DOMAIN:8088/jmx?qry=Hadoop:*
```

New Relic에 Apache Hadoop 로그 전달

로그 전달을 사용하여 Apache Hadoop 로그를 New Relic으로 전달할 수 있습니다.

Linux 시스템에서는 logging.yml 라는 로그 파일이 다음 경로에 있어야 합니다.

bash

$/etc/newrelic-infra/logging.d/

로그 파일을 만든 후 logging.yml 파일에 다음 스크립트를 추가합니다.

logs:
  - name: hadoop_secondarynamenode_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-secondarynamenode-hadoop-master.log
    attributes:
      logtype: hadoop_secondarynamenode_logs
  - name: hadoop_resourcemanager_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-resourcemanager-hadoop-master.log
    attributes:
      logtype: hadoop_hadoop_resourcemanager_logs
  - name: hadoop_namenode_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-namenode-hadoop-master.log
    attributes:
      logtype: hadoop_namenode_logs

New Relic 인프라 에이전트 다시 시작

데이터 읽기를 시작하기 전에 인프라 에이전트 문서 의 지침을 사용하여 인프라 에이전트를 다시 시작하십시오.

bash

$sudo systemctl restart newrelic-infra.service

몇 분 안에 애플리케이션이 메트릭을 one.newrelic.com으로 보냅니다.

데이터 찾기

Apache Hadoop 라는 사전 빌드된 대시보드 템플릿을 선택하여 Apache Hadoop 서버 측정항목을 모니터링할 수 있습니다. 사전 구축된 대시보드 템플릿을 사용하려면 다음 단계를 따르세요.

one.newrelic.com에서, + Add data [+ 데이터 추가] 페이지로 이동합니다.
대시보드 를클릭합니다.
검색창에 apache hadoop 를 입력합니다.
Apache Hadoop 대시보드가 나타납니다. 그것을 클릭하여 설치하십시오.

Apache Hadoop 대시보드는 사용자 지정 대시보드로 간주되며 Dashboards UI에서 찾을 수 있습니다. 대시보드 사용 및 편집에 대한 문서는 대시보드 문서 를참조하십시오.

다음은 리소스 관리자에서 활성 사용자를 확인하는 NRQL 쿼리입니다.

SELECT latest(activeUsers) 
FROM HadoopResourceManagerSample

다음은 이름 노드에서 활성 클라이언트 수를 보기 위한 NRQL 쿼리입니다.

SELECT latest(numActiveClients) 
FROM HadoopNameNodeSample

다음은 뭐지?

NRQL 쿼리 작성 및 대시보드 생성에 대해 자세히 알아보려면 다음 문서를 확인하세요.

기본 및 고급 쿼리를 생성 하기 위한 쿼리 빌더 소개
대시보드를 사용자 지정하고 다양한 작업을 수행하기 위한 대시보드 소개
대시보드를 관리하여 대시 보드 표시 모드를 조정하거나 대시보드에 더 많은 콘텐츠를 추가합니다.