Kinesis Data Firehose를 사용한 로그 스트리밍

Amazon CloudWatch Logs에서 이미 로그 데이터를 모니터링하고 있는 경우 Kinesis Data Firehose 통합을 사용하여 뉴렐릭으로 로그 데이터를 전달하고 보강할 수 있습니다. Kinesis Data Firehose는 뉴렐릭 플랫폼을 비롯한 다양한 대상으로 데이터를 실시간으로 스트리밍할 수 있는 서비스입니다.

CloudWatch Logs 또는 Kinesis 스트림과 호환되는 기타 로그를 뉴렐릭으로 전달하면 로그 데이터를 수집, 처리, 탐색, 쿼리 및 알림 설정을 하기 위한 기능을 확보할 수 있습니다.

뉴렐릭을 위한 전송 스트림 생성

Kinesis Data Firehose에서 뉴렐릭으로 로그를 전달하려면:

가 있어야 합니다.
절차에 따라 Amazon Kinesis Data Firehose 전송 스트림을 생성하고 대상으로 뉴렐릭을 선택합니다. AWS Management Console에서 Amazon Kinesis로 이동합니다.
Kinesis Data Firehose를 선택하고 Create delivery stream을 클릭합니다.
스트림의 이름을 입력하고 데이터 소스를 선택합니다.
대상을 선택할 때 Third-party partner를 클릭한 다음 New Relic을 선택합니다.
HTTP 엔드포인트 URL에서 New Relic logs - US를 선택합니다. 이는 미국 측 엔드포인트(https://aws-api.newrelic.com/firehose/v1)입니다. EU 측 엔드포인트를 사용하려면 이 절차의 나머지 단계를 완료한 다음 EU 계정 구성으로 이동합니다.
를 API 키 필드에 붙여 넣습니다.
콘텐츠 인코딩이 GZIP으로 설정되어 있는지 확인합니다.
Buffer hints/Buffer size 아래에서 1 MiB의 버퍼 크기를 설정합니다. (Buffer hints 섹션은 기본적으로 접혀 있습니다. 보다 자세한 내용은 버퍼 설정 섹션을 참조하십시오.
나머지 메타데이터 설정을 구성하고 검토합니다.

AWS Management 콘솔에서 추가하는 모든 선택적 키/값 쌍은 뉴렐릭에서 사용할 수 있는 속성/값 쌍이 됩니다. Kinesis Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함합니다. 이 Kinesis Firehose 파라미터는 대상을 식별하고 구성하는 데 도움이 될 수 있습니다.

버퍼 크기 및 간격 구성

AWS에서 로그용 Kinesis Firehose 통합을 선택하면, 마법사가 화면 하단에 Buffer hints라는 작은 섹션을 숨깁니다. 이 섹션에는 매우 중요한 두 가지 구성 옵션인 Buffer size 및 Buffer interval이 포함되어 있습니다.

기본값은 Buffer size는 5MiB이고 Buffer interval은 60초입니다. 이는 Firehose가 5MiB의 데이터를 포함할 때까지 또는 마지막으로 뉴렐릭으로 플러시된 이후 60초가 경과할 때까지 로그를 누적한다는 의미입니다.

중요

이러한 기본 설정은 뉴렐릭의 로그 관리에 적합하지 않습니다. 1MiB를 Buffer size로 사용하고 GZIP 본문 압축을 활성화하는 것이 좋습니다.

왜 이러한 방법을 추천할까요? 뉴렐릭은 Logs API에 대한 개별 HTTP POST 요청에 대해 최대 1MB(1.000.000바이트)의 페이로드를 허용합니다. 60초 누적 기간 동안 누적 로그의 크기가 1MB를 초과하는 경우 413 HTTP 오류가 발생하며 해당 로그가 거부됩니다.

전달 스트림을 사용하면 최소 1MiB(1.048.576바이트)의 버퍼 크기를 구성할 수 있습니다. 이 값이 뉴렐릭의 Logs API에서 허용하는 1MB보다 약간 크더라도 GZIP 압축을 사용하여 결과 페이로드가 1MB 제한보다 작아지도록 할 수 있습니다.

EU 계정으로 로그를 보내도록 스트림 구성

EU 데이터 센터에 뉴렐릭 계정이 있는 경우:

표준 절차에 따라 전송 스트림을 생성합니다.
스트림이 생성되면 Amazon Kinesis 콘솔로 이동하여 Delivery streams을 클릭합니다.
새로 생성된 전송 스트림의 이름을 클릭하고 Configuration 탭을 선택합니다.
Destination settings 섹션 옆에 있는 Edit을 클릭합니다.
HTTP 엔드포인트 URL 값을 EU 계정용 Firehose 엔드포인트로 업데이트합니다.
```
https://aws-api.eu.newrelic.com/firehose/v1
```
Save changes을 클릭하여 스트림이 업데이트되었는지 확인합니다.

이 문서가 설치에 도움이 되었습니까?

로그 데이터 확인

모든 것이 올바르게 구성되고 데이터가 수집되는 경우 다음 두 위치에서 로그가 표시되어야 합니다.

로그 UI
NRQL 쿼리 실행을 위한 툴입니다.예를 들어 다음과 같은 쿼리를 실행할 수 있습니다.

SELECT * FROM Log

로그 관리 기능을 활성화한 후에도 데이터가 나타나지 않으면 표준 로그 문제 해결 절차를 따르십시오.

다음 단계는?

로그 UI를 사용하여 플랫폼 전반에 걸쳐 로깅 데이터를 탐색합니다.

문맥적 로그 기능으로 로그를 전달하여 애플리케이션과 플랫폼 성능 데이터에 대한 더 깊은 가시성을 얻을 수 있습니다.
알림을 설정합니다.
데이터를 쿼리하고 대시보드를 만듭니다.

로그 전달 비활성화

로그 전달 기능을 비활성화하려면 Kinesis Data Firehose 문서의 표준 절차를 따르십시오. 뉴렐릭에서는 다른 작업을 수행할 필요가 없습니다.