<div id="readability-page-1" class="page"><div role="banner"> <div> <h4>17 Jan 2023</h4> Reading time ~4 minutes  </div> <h2 id="nestjs-pino-로깅-처리">nestjs-pino 로깅 처리</h2> <h2 id="상황-정리">상황 정리</h2> sequenceDiagram; User-&gt;&gt;+Controller: Request with Auth; Controller-&gt;&gt;+Service: Some logging; Service-&gt;&gt;+Repository: Some logging; Repository--&gt;&gt;-Service: DTO; Service--&gt;&gt;-Controller: Result; Controller--&gt;&gt;-User: Response; 위와 같은 WEB 환경에서 <code>Some logging</code>의 경우 <code>Request(요청)</code> 정보가 없기 때문에 동시 다발적인 이벤트의 로그들을 추적하기가 불가능 합니다. 이를 <a href="https://www.npmjs.com/package/nestjs-pino">nestjs-pino</a> 이용해서 각 로그별로 동일한 요청의 경우 연결 처리 할 수 있도록 작성합니다 <blockquote> <a href="https://www.npmjs.com/package/nestjs-pino">nestjs-pino</a>에서도 적혀 있지만, <a href="https://www.npmjs.com/package/pino-http">pino-http</a>모듈을 <code>nestjs</code>에 녹인 프로젝트입니다. </blockquote> <h2 id="필요-모듈-정보">필요 모듈 정보</h2> <ul> <li><a href="https://www.npmjs.com/package/nestjs-pino">nestjs-pino</a> : nestjs와 연동 처리된 모듈</li> <li><a href="https://www.npmjs.com/package/pino-http">pino-http</a> : pino 로그에 request, response 정보를 bind 처리한 모듈</li> <li><a href="https://www.npmjs.com/package/file-stream-rotator">file-stream-rotator</a> : 파일 스트림을 기반으로 파일의 생명주기를 관리하는 모듈</li> <li><a href="https://www.npmjs.com/package/pino-pretty">pino-pretty</a> : pino 로그의 결과를 이쁘게 정렬하여 표기하는 모듈</li> </ul> <h2 id="기본-모듈-설치-및-설정">기본 모듈 설치 및 설정</h2> <a href="https://www.npmjs.com/package/nestjs-pino">nestjs-pino</a> 는 기본적으로 로그 파일 저장시 파일을 나눠주거나, 관리를 지원하지 않습니다. 이를 <a href="https://www.npmjs.com/package/file-stream-rotator">file-stream-rotator</a> 모듈을 이용해서 로그 파일에 대한 생명주기 및 적재 관리를 합니다. 다음 명령어로 기본적인 모듈을 설치합니다. <div><pre><code>$ npm i nestjs-pino pino-http file-stream-rotator
</code></pre></div> <h2 id="nestjs-설정하기">nestjs 설정하기</h2> 먼저, nestjs의 <code>main.ts</code>에서 Logging을 설정 합니다. <div><pre><code>import { Logger } from "nestjs-pino";

const app = await NestFactory.create(AppModule, { bufferLogs: true });
app.useLogger(app.get(Logger));
</code></pre></div> 이후 <code>app.module.ts</code>에 아래와 같이 설정 합니다. <div><pre><code>import { LoggerModule } from "nestjs-pino";

@Module({
 imports: [LoggerModule.forRoot()],
})
class AppModule {}
</code></pre></div> 위의 예제는 기본 설정입니다. 위와 같이 설정 후 아래와 같이 로깅을 하면, <div><pre><code>// NestJS standard built-in logger.
// Logs will be produced by pino internally
import { Logger } from '@nestjs/common';

export class MyService {
 private readonly logger = new Logger(MyService.name);
 foo() {
 // All logger methods have args format the same as pino, but pino methods
 // `trace` and `info` are mapped to `verbose` and `log` to satisfy
 // `LoggerService` interface of NestJS:
 this.logger.verbose({ foo: 'bar' }, 'baz %s', 'qux');
 this.logger.debug('foo %s %o', 'bar', { baz: 'qux' });
 this.logger.log('foo');
 }
}
</code></pre></div> 아래와 같이 표출 됩니다. <div><pre><code>// Logs by injected Logger and PinoLogger in Services/Controllers. Every log
// has it's request data and unique `req.id` (by default id is unique per
// process, but you can set function to generate it from request context and
// for example pass here incoming `X-Request-ID` header or generate UUID)
{"level":10,"time":1629823792023,"pid":15067,"hostname":"my-host","req":{"id":1,"method":"GET","url":"/","query":{},"params":{"0":""},"headers":{"host":"localhost:3000","user-agent":"curl/7.64.1","accept":"*/*"},"remoteAddress":"::1","remotePort":63822},"context":"MyService","foo":"bar","msg":"baz qux"}
{"level":20,"time":1629823792023,"pid":15067,"hostname":"my-host","req":{"id":1,"method":"GET","url":"/","query":{},"params":{"0":""},"headers":{"host":"localhost:3000","user-agent":"curl/7.64.1","accept":"*/*"},"remoteAddress":"::1","remotePort":63822},"context":"MyService","msg":"foo bar {\"baz\":\"qux\"}"}
{"level":30,"time":1629823792023,"pid":15067,"hostname":"my-host","req":{"id":1,"method":"GET","url":"/","query":{},"params":{"0":""},"headers":{"host":"localhost:3000","user-agent":"curl/7.64.1","accept":"*/*"},"remoteAddress":"::1","remotePort":63822},"context":"MyService","msg":"foo"}
</code></pre></div> <h2 id="로깅-결과-이쁘게-표시-하기">로깅 결과 이쁘게 표시 하기</h2> <blockquote> <a href="https://www.npmjs.com/package/pino-pretty">pino-pretty</a>는 stdout 리디렉션을 사용하기 때문에 경우에 따라 셸 제한으로 인해 명령이 오류와 함께 종료될 수 있습니다. 따라서 운영에서는 사용하지 말고, 개발시에만 사용하세요. </blockquote> 로깅을 이쁘게 표기하기 위해서는 <a href="https://www.npmjs.com/package/pino-pretty">pino-pretty</a>모듈을 설치하면 됩니다. <div><pre><code>$ npm install pino-pretty
</code></pre></div> 설정은 아래와 같이 할 수 있습니다. <div><pre><code>import { LoggerModule } from 'nestjs-pino';

@Module({
 imports: [
 LoggerModule.forRoot({
 pinoHttp: [
 {
 name: 'add some name to every JSON line',
 level: process.env.NODE_ENV !== 'production' ? 'debug' : 'info',
 // install 'pino-pretty' package in order to use the following option
 transport: process.env.NODE_ENV !== 'production'
 ? { target: 'pino-pretty' }
 : undefined,
 useLevelLabels: true,
 // and all the others...
 },
 ],
 })
 ],
 ...
})
class MyModule {}
</code></pre></div> 처리를 하면 다음과 같이 정렬된 로그를 확인 가능합니다. <div><pre><code>[17:05:49.172] INFO (20249): GET / 200 168 - Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 ::1
 {
 "level": 10,
 "time": 1629823792023,
 "pid": 15067,
 "hostname": "my-host",
 "req": {
 "id": 1,
 "method": "GET",
 "url": "/",
 "query": {

 },
 "params": {
 "0": ""
 },
 "headers": {
 "host": "localhost:3000",
 "user-agent": "curl/7.64.1",
 "accept": "*/*"
 },
 "remoteAddress": "::1",
 "remotePort": 63822
 },
 "context": "MyService",
 "foo": "bar",
 "msg": "baz qux"
}

</code></pre></div> <h2 id="로그-설정-파일-관리">로그 설정 파일 관리</h2> 다음은 <code>pinoLogging.ts</code>로 로깅 설정에 대한 정보입니다. <div><pre><code>import pino from 'pino';
import * as FileStreamRotator from 'file-stream-rotator';
import { v4 } from 'uuid';

type Level = 'fatal' | 'error' | 'warn' | 'info' | 'debug' | 'trace';

export default () =&gt; {
 const LOG_LEVEL = process.env.LOGGING_DEBUG ? 'debug' : 'info';
 // 로그 파일 관리 스트림 생성
 const rotatingLogStream = FileStreamRotator.getStream({
 filename: `${process.env.LOGGING_PATH}/${LOG_LEVEL}/${LOG_LEVEL}-%DATE%`, // 파일 위치 &amp; 이름
 frequency: '1h', // 주기 설정
 date_format: 'YYYY-MM-DD-HH', // 데이터 포멧 설정
 size: process.env.LOGGING_MAXSIZE, // 최대 파일 크기 설정
 max_logs: process.env.LOGGING_MAXFILES, // 파일 로깅
 audit_file: `${process.env.LOGGING_PATH}/audit.json`, // 정보 파일
 extension: '.log', // 로그 확장자
 create_symlink: true, // 링크 파일 여부
 symlink_name: 'tail-current.log', //링크 파일 명
 });

 return {
 logginConfig: {
 pinoHttp: {
 genReqId: function (req, res) { // req - id 를 uuid로 생성
 const uuid = v4();
 res.header('X-Request-Id', uuid);
 return uuid;
 },
 transport: LOG_LEVEL === 'debug' // debug일 경우 pretty 처리
 ? { target: 'pino-pretty' }
 : undefined,
 level: LOG_LEVEL, // 여기에도 있고, stream 상세에도 있어야 정상 동작 한다
 stream: pino.multistream([ // multistream으로 여러군데 동시 출력
 {
 stream: rotatingLogStream,
 level: LOG_LEVEL as Level,
 },
 {
 stream: process.stdout, // 콘솔에 출력
 level: process.env.LOGGING_CONSOLE_LEVEL as Level,
 },
 ]),
 formatters: { // 로그 표시시 포멧
 level(level) {
 return { level };
 },
 },
 redact: { // 로그 표기시 제외 처리
 remove: true,
 paths: [
 'email',
 'password',
 'req.query',
 'req.params',
 'req.query',
 'res.headers',
 'req.headers.host',
 'req.headers.connection',
 'req.headers.accept',
 'req.headers.origin',
 'req.headers.referer',
 'req.headers["content-type"]',
 'req.headers["sec-ch-ua"]',
 'req.headers["sec-ch-ua-mobile"]',
 'req.headers["user-agent"]',
 'req.headers["sec-ch-ua-platform"]',
 'req.headers["sec-fetch-site"]',
 'req.headers["sec-fetch-mode"]',
 'req.headers["sec-fetch-dest"]',
 'req.headers["accept-encoding"]',
 'req.headers["accept-language"]',
 'req.headers["if-none-match"]',
 ],
 },
 timestamp: pino.stdTimeFunctions.isoTime,
 },
 },
 };
};

</code></pre></div> <h2 id="전체-예제-코드-바로-가기"><a href="https://github.com/lahuman/nestjs_101">전체 예제 코드 바로 가기</a></h2> <blockquote> 전체 예제 코드를 보면, <a href="https://www.npmjs.com/package/nestjs-pino">nestjs-pino</a> 외에도 nestjs에서 사용되는 여러 모듈의 사용법을 정리해 두었습니다. </blockquote> <h2 id="참고자료">참고자료</h2> <ul> <li><a href="https://www.npmjs.com/package/nestjs-pino">nestjs-pino</a></li> <li><a href="https://www.npmjs.com/package/pino-http">pino-http</a></li> <li><a href="https://www.npmjs.com/package/file-stream-rotator">file-stream-rotator</a></li> </ul> </div></div>

lahuman

Daniel Lim

nestjs-pino 로깅 처리
상황 정리
 
sequenceDiagram;
    User->>+Controller: Request with Auth;
    Controller->>+Service: Some logging;
    Service->>+Repository: Some logging;  
    Repository-->>-Service: DTO;
    Service-->>-Controller: Result;
    Controller-->>-User: Response;
위와 같은 WEB 환경에서 Some logging의 경우 Request(요청) 정보가 없기 때문에 동시 다발적인 이벤트의 로그들을 추적하기가 불가능 합니다.
이를 nestjs-pino 이용해서 각 로그별로 동일한 요청의 경우 연결 처리 할 수 있도록 작성합니다
nestjs-pino에서도 적혀 있지만, pino-http모듈을 nestjs에 녹인 프로젝트입니다.
필요 모듈 정보
nestjs-pino : nestjs와 연동 처리된 모듈
pino-http : pino 로그에 request, response 정보를 bind 처리한 모듈
file-stream-rotator : 파일 스트림을 기반으로 파일의 생명주기를 관리하는 모듈
pino-pretty : pino 로그의 결과를 이쁘게 정렬하여 표기하는 모듈
기본 모듈 설치 및 설정
nestjs-pino 는 기본적으로 로그 파일 저장시 파일을 나눠주거나, 관리를 지원하지 않습니다.
이를 file-stream-rotator 모듈을 이용해서 로그 파일에 대한 생명주기 및 적재 관리를 합니다.
다음 명령어로 기본적인 모듈을 설치합니다.
$ npm i nestjs-pino pino-http file-stream-rotator
nestjs 설정하기
먼저, nestjs의 main.ts에서 Logging을 설정 합니다.
import { Logger } from "nestjs-pino";
const app = await NestFactory.create(AppModule, { bufferLogs: true });
app.useLogger(app.get(Logger));
이후 app.module.ts에 아래와 같이 설정 합니다.
import { LoggerModule } from "nestjs-pino";
@Module({
    imports: [LoggerModule.forRoot()],
})
class AppModule {}
위의 예제는 기본 설정입니다.
위와 같이 설정 후 아래와 같이 로깅을 하면,
// NestJS standard built-in logger.
// Logs will be produced by pino internally
import { Logger } from '@nestjs/common';
export class MyService {
  private readonly logger = new Logger(MyService.name);
  foo() {
    // All logger methods have args format the same as pino, but pino methods
    // `trace` and `info` are mapped to `verbose` and `log` to satisfy
    // `LoggerService` interface of NestJS:
    this.logger.verbose({ foo: 'bar' }, 'baz %s', 'qux');
    this.logger.debug('foo %s %o', 'bar', { baz: 'qux' });
    this.logger.log('foo');
  }
}
아래와 같이 표출 됩니다.
// Logs by injected Logger and PinoLogger in Services/Controllers. Every log
// has it's request data and unique `req.id` (by default id is unique per
// process, but you can set function to generate it from request context and
// for example pass here incoming `X-Request-ID` header or generate UUID)
{"level":10,"time":1629823792023,"pid":15067,"hostname":"my-host","req":{"id":1,"method":"GET","url":"/","query":{},"params":{"0":""},"headers":{"host":"localhost:3000","user-agent":"curl/7.64.1","accept":"*/*"},"remoteAddress":"::1","remotePort":63822},"context":"MyService","foo":"bar","msg":"baz qux"}
{"level":20,"time":1629823792023,"pid":15067,"hostname":"my-host","req":{"id":1,"method":"GET","url":"/","query":{},"params":{"0":""},"headers":{"host":"localhost:3000","user-agent":"curl/7.64.1","accept":"*/*"},"remoteAddress":"::1","remotePort":63822},"context":"MyService","msg":"foo bar {\"baz\":\"qux\"}"}
{"level":30,"time":1629823792023,"pid":15067,"hostname":"my-host","req":{"id":1,"method":"GET","url":"/","query":{},"params":{"0":""},"headers":{"host":"localhost:3000","user-agent":"curl/7.64.1","accept":"*/*"},"remoteAddress":"::1","remotePort":63822},"context":"MyService","msg":"foo"}
로깅 결과 이쁘게 표시 하기
pino-pretty는 stdout 리디렉션을 사용하기 때문에 경우에 따라 셸 제한으로 인해 명령이 오류와 함께 종료될 수 있습니다. 따라서 운영에서는 사용하지 말고, 개발시에만 사용하세요.
로깅을 이쁘게 표기하기 위해서는 pino-pretty모듈을 설치하면 됩니다.
$ npm install pino-pretty
설정은 아래와 같이 할 수 있습니다.
import { LoggerModule } from 'nestjs-pino';
@Module({
  imports: [
    LoggerModule.forRoot({
      pinoHttp: [
        {
          name: 'add some name to every JSON line',
          level: process.env.NODE_ENV !== 'production' ? 'debug' : 'info',
          // install 'pino-pretty' package in order to use the following option
          transport: process.env.NODE_ENV !== 'production'
            ? { target: 'pino-pretty' }
            : undefined,
          useLevelLabels: true,
          // and all the others...
        },
      ],
    })
  ],
  ...
})
class MyModule {}
처리를 하면 다음과 같이 정렬된 로그를 확인 가능합니다.
[17:05:49.172] INFO (20249): GET / 200 168 - Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 ::1
   {
  "level": 10,
  "time": 1629823792023,
  "pid": 15067,
  "hostname": "my-host",
  "req": {
    "id": 1,
    "method": "GET",
    "url": "/",
    "query": {
    },
    "params": {
      "0": ""
    },
    "headers": {
      "host": "localhost:3000",
      "user-agent": "curl/7.64.1",
      "accept": "*/*"
    },
    "remoteAddress": "::1",
    "remotePort": 63822
  },
  "context": "MyService",
  "foo": "bar",
  "msg": "baz qux"
}
로그 설정 파일 관리
다음은 pinoLogging.ts로 로깅 설정에 대한 정보입니다.
import pino from 'pino';
import * as FileStreamRotator from 'file-stream-rotator';
import { v4 } from 'uuid';
type Level = 'fatal' | 'error' | 'warn' | 'info' | 'debug' | 'trace';
export default () => {
  const LOG_LEVEL = process.env.LOGGING_DEBUG ? 'debug' : 'info';
  // 로그 파일 관리 스트림 생성
  const rotatingLogStream = FileStreamRotator.getStream({
    filename: `${process.env.LOGGING_PATH}/${LOG_LEVEL}/${LOG_LEVEL}-%DATE%`, // 파일 위치 & 이름
    frequency: '1h', // 주기 설정
    date_format: 'YYYY-MM-DD-HH', // 데이터 포멧 설정
    size: process.env.LOGGING_MAXSIZE, // 최대 파일 크기 설정
    max_logs: process.env.LOGGING_MAXFILES, // 파일 로깅
    audit_file: `${process.env.LOGGING_PATH}/audit.json`, // 정보 파일
    extension: '.log', // 로그 확장자
    create_symlink: true, // 링크 파일 여부
    symlink_name: 'tail-current.log', //링크 파일 명
  });
  return {
    logginConfig: {
      pinoHttp: {
        genReqId: function (req, res) { // req - id 를 uuid로 생성
          const uuid = v4();
          res.header('X-Request-Id', uuid);
          return uuid;
        },
        transport: LOG_LEVEL === 'debug' // debug일 경우 pretty 처리
        ? { target: 'pino-pretty' }
        : undefined,
        level: LOG_LEVEL, // 여기에도 있고, stream 상세에도 있어야 정상 동작 한다
        stream: pino.multistream([ // multistream으로 여러군데 동시 출력
          {
            stream: rotatingLogStream,
            level: LOG_LEVEL as Level,
          },
          {
            stream: process.stdout, // 콘솔에 출력
            level: process.env.LOGGING_CONSOLE_LEVEL as Level,
          },
        ]),
        formatters: { // 로그 표시시 포멧
          level(level) {
            return { level };
          },
        },
        redact: { // 로그 표기시 제외 처리
          remove: true,
          paths: [
            'email',
            'password',
            'req.query',
            'req.params',
            'req.query',
            'res.headers',
            'req.headers.host',
            'req.headers.connection',
            'req.headers.accept',
            'req.headers.origin',
            'req.headers.referer',
            'req.headers["content-type"]',
            'req.headers["sec-ch-ua"]',
            'req.headers["sec-ch-ua-mobile"]',
            'req.headers["user-agent"]',
            'req.headers["sec-ch-ua-platform"]',
            'req.headers["sec-fetch-site"]',
            'req.headers["sec-fetch-mode"]',
            'req.headers["sec-fetch-dest"]',
            'req.headers["accept-encoding"]',
            'req.headers["accept-language"]',
            'req.headers["if-none-match"]',
          ],
        },
        timestamp: pino.stdTimeFunctions.isoTime,
      },
    },
  };
};
전체 예제 코드 바로 가기
전체 예제 코드를 보면, nestjs-pino 외에도 nestjs에서 사용되는 여러 모듈의 사용법을 정리해 두었습니다.
참고자료
nestjs-pino
pino-http
file-stream-rotator

nestjs-pino 로깅 처리

댓글