<div id="readability-page-1" class="page"><div>#1) Audit logs, Log sync 살펴보기이야기 진행 전에 먼저 처음으로 살펴보고 이해를 해야하는 것은 Cloud Audit logs 가 무엇인지, Log sync 가 무엇인지 알아보는 부분입니다.Cloud Audit Logs overview <a href="https://cloud.google.com/logging/docs/audit" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/logging/docs/audit</a>Cloud Audit logs 는 이름 그대로 클라우드 감사 로그를 의미하며 Google cloud 서비스는 리소스 내의 관리 활동과 액세스를 기록하는 감사로그를 작성하도록 되어있습니다. 감사 로그는 온프레미스 환경과 투명성 수준이 동일한 Google Cloud 리소스 내에서 ‘누가 언제 어디서 무엇을 했는가?’ 라는 질문에 답하는 데 도움을 줄 수 있으며, 감사 로그를 사용 설정하면 보안, 감사, 규정 준수 항목이 Google cloud 데이터 및 시스템에서 취약점 발생에 대한 부분 또는 외부 데이터 오용 가능성등을 모니터링할 수 있습니다.이러한 Audit logs 는 크게 API 호출이나 리소스의 구성 또는 메타데이터를 수정하는 기타 작업과 관련된 로그 항목인 관리 활동 감사 로그(Admin Activity audit logs), 리소스의 구성 또는 메타데이터를 읽는 API 호출뿐만 아니라 사용자가 제공한 리소스 데이터를 생성, 수정 또는 읽는 사용자 주도 API 호출과 관련된 로그 항목인 데이터 액세스 감사 로그(Data Access audit logs), 리소스 구성을 수정하는 Google Cloud 작업의 로그 항목을 포함하는 시스템 이벤트 감사 로그(System Event audit logs), 보안 정책 위반으로 인해 Google Cloud 서비스가 사용자 또는 서비스 계정에 대해 액세스를 거부할 때 기록되는 정책 거부 감사 로그(Policy Denied audit logs) 로 구성됩니다.그렇기 때문에, 이런 감사로그를 활용하면 생각보다 많은 사용자 작업을 모니터링 할 수 있으며 이를 통해서 필요한 경우 이벤트등을 추가하여 더 다양한 작업들을 추가적으로 수행 할 수 있습니다. 예를 들어 GCE(VM) 의 경우에는 리소스 생성/삭제 뿐만 아니라 업데이트/패치 등의 정보를 관리 활동 감사 로그 에서 확인 가능합니다.Compute Engine audit logging information <a href="https://cloud.google.com/compute/docs/logging/audit-logging" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/compute/docs/logging/audit-logging</a><figure></figure>이러한 감사로그는 관리콘솔에서 Logging &gt; Log Explorer 메뉴를 통해서 확인 가능하며 관리 활동 감사 로그를 확인한다면 log name 에서 activity 를 선택하시면 하단과 같이 관리 활동 감사 로그를 확인 가능합니다.<figure></figure>예를 들어 GCE 로 범위를 좁혀서 확인하면 하단과 같이 insert(생성), delete(삭제) 에 대한 관리 활동 감사 로그를 확인 가능합니다.<figure></figure>Audit Log 에 대해서 간단하게 살펴봤으니 다음으로 Log Sync 가 무엇인지 알아보도록 하겠습니다. Google cloud 는 로그를 저장/관리/활용하기 위해서 Cloud Logging 이라는 솔루션을 제공하고 있습니다. 다시 말씀드려서 Google cloud 에서 사용되는 모든 GCE(VM), GKE 와 같은 자원 부터 솔루션들까지의 모든 로그는 단일 저장소이며 콘솔인 Cloud Logging 으로 수집되고 하나의 대시보드인 <a href="https://cloud.google.com/logging/docs/view/logs-explorer-interface" rel="noopener ugc nofollow" target="_blank">Log Explorer </a>를 통해서 로그를 보거나 분석할 수 있습니다. 이때, Cloud Logging 이 가진 좋은 기능중에 하나인 Log Sync 는 이름 그대로 로그를 다른 대상으로 라우팅할 수 있는 기능을 제공하는 역할을 수행합니다. Cloud Logging 의 다른 로그 버킷, 다른 Google cloud 프로젝트, Pub/Sub topics, BigQuery dataset, Cloud Storage 버킷등의 다양한 타겟을 지원하고 있습니다.How to create log sinks <a href="https://youtu.be/3Wtbde9fB_Y" rel="noopener ugc nofollow" target="_blank">https://youtu.be/3Wtbde9fB_Y</a><figure></figure>이제 이를 정리해서 다시 말씀드리면, Audit Log 는 감사로그 이기 때문에 해당 프로젝트의 여러 자원에 대해서 ‘누가 언제 어디서 무엇을 했는가?’ 라는 다양한 정보를 가지고 있고 Log Sync 는 로그를 다른 대상, 특히 다른 Google cloud 프로젝트로 라우팅 할 수 있습니다. 따라서, 이를 조합하게 되면 여러 Google cloud 프로젝트의 Audit Log 를 Log sync 를 활용해서 하나의 특정 프로젝트로 라우팅 할 수 있으며 이를 통해서 수집된 Audit Log 를 라우팅 받는 특정 프로젝트에서 EventArc 와 Cloud Run 을 통해서 원하는 어떠한 작업(예:감사작업)을 수행할 수 있습니다.첨부 #1.1) Eventarc 에 대해서 좀 더 상세사항이 궁금하면 이전에 진행되 이야기를 참고하시기 바라겠습니다.<a rel="noopener" href="/google-cloud-apac/gcp-serverless-서비스인-cloud-run-알아보기-5부-eventarc-를-통한-이벤트-받기-f0771b656c4f">[GCP]Serverless 서비스인 Cloud Run 알아보기 5부 — Eventarc 를 통한 이벤트 받기 https://medium.com/google-cloud-apac/gcp-serverless-%EC%84%9C%EB%B9%84%EC%8A%A4%EC%9D%B8-cloud-run-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0-5%EB%B6%80-eventarc-%EB%A5%BC-%ED%86%B5%ED%95%9C-%EC%9D%B4%EB%B2%A4%ED%8A%B8-%EB%B0%9B%EA%B8%B0-f0771b656c4f</a>첨부 #1.2) Audit Log 중에 데이터 액세스 감사 로그(Data Access audit logs)는 BigQuery 를 제외하고는 기본이 disabled 입니다. 필요하신 경우 하단의 가이드 참고해서 enable 할 수 있습니다.Enable Data Access audit logs <a href="https://cloud.google.com/logging/docs/audit/configure-data-access" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/logging/docs/audit/configure-data-access</a>첨부 #1.3) 이전 파트의 관리 활동 감사 로그를 보신 분들은 의문을 가지셨을 수도 있는데 GCE 오퍼레이션에 대한 관리 활동 감사 로그가 2개가 나오게 됩니다. 하나는 오퍼레이션 시작을 로깅하는 operation.first=true 이고 다른 하나는 오퍼레이션의 완료를 의미하는 operation.last=true 로그 입니다.<figure></figure><figure></figure>만약 GCE 오퍼레이션에 의한 하나의 관리 활동 감사 로그만을 이벤트로 추출하려면 하단과 같이 필터에서 operation.last=”true” 를 추가하시면 됩니다.<pre>protoPayload.request.@type="type.googleapis.com/compute.instances.insert" operation.last="true"</pre><figure></figure></div><div>#2) Log Sync 와 EventArc 를 통해 여러 프로젝트의 이벤트 통합을 위한 Central project 설정기본적인 개념에 대해서 파트 #1 에서 이해를 했을거라고 보고 이제 실제 테스트해보려고 했던 아키텍처를 구현하는 작업을 해보도록 하겠습니다. 처음에 설명드린 것처럼 하단의 가이드의 아키텍처 형태를 테스트 해볼 예정이며 실제 기업내에 존재하는 여러 프로젝트를 의미하는 User projects 와 이런 여러 프로젝트들의 Audit Log 이벤트를 수집해서 비지니스 로직이나 감사와 같은 필요한 어떠한 액션을 수행하는 Central project 로 구성됩니다.Route Cloud Audit Logs events across projects <a href="https://cloud.google.com/eventarc/docs/cross-project-triggers#audit-logs-events" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/eventarc/docs/cross-project-triggers#audit-logs-events</a><figure></figure>Project 1 — User projects(일반 프로젝트들 — 이벤트 발생) Project 2 — Central project(여러 프로젝트들의 이벤트를 모아서 처리하는 프로젝트)그럼 실제 아키텍처를 구현하기 위해서 Central project 를 하나 지정한 후에(또는, 만든 후에) 해당 프로젝트에서 설정 작업을 수행합니다.처음으로 수행할 작업은 이벤트를 받고 감사나 필요한 어떠한 액션을 수행하는 Cloud Run 애플리케이션을 배포하는 것입니다. 본 아티클에서는 간단하게 받은 이벤트를 출력하는 샘플 애플리케이션을 활용하지만 Cloud Run 은 Serverless 형태로 Container 을 구동할 수 있기 때문에 그 안의 로직 변경을 통해서 원하는 작업을 수행할 수 있습니다.Receive events using Pub/Sub messages (gcloud CLI) <a href="https://cloud.google.com/eventarc/docs/run/pubsub#run-clone-sample-repository-nodejs" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/eventarc/docs/run/pubsub#run-clone-sample-repository-nodejs</a><pre>git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.gitcd nodejs-docs-samples/eventarc/pubsub/gcloud builds submit --tag gcr.io/$(gcloud config get-value project)/events-pubsubgcloud run deploy helloworld-events-pubsub-tutorial \ --image gcr.io/$(gcloud config get-value project)/events-pubsub \ --allow-unauthenticated</pre>정상적으로 Cloud Run 애플리케이션이 배포 되었다면 관리콘솔에서도 하단과 같이 확인할 수 있습니다.<figure></figure>다음으로 Pubsub 이벤트를 받을 수 있는 Eventarc trigger 를 생성합니다. 이때 Destination 은 방금전에 배포한 Cloud Run 을 지정합니다. (Eventarc 에 대한 좀 더 상세 내용은 이전의 아티클을 참고하시기 바라겠습니다. — <a rel="noopener" href="/google-cloud-apac/gcp-serverless-서비스인-cloud-run-알아보기-5부-eventarc-를-통한-이벤트-받기-f0771b656c4f">[GCP]Serverless 서비스인 Cloud Run 알아보기 5부 — Eventarc 를 통한 이벤트 받기</a>)Route Cloud Pub/Sub events to Cloud Run <a href="https://cloud.google.com/eventarc/docs/run/route-trigger-cloud-pubsub#gcloud" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/eventarc/docs/run/route-trigger-cloud-pubsub#gcloud</a><pre>gcloud eventarc triggers create events-pubsub-trigger-001 \ --location=asia-northeast3 \ --destination-run-service=helloworld-events-pubsub-tutorial \ --destination-run-region=us-central1 \ --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished"</pre>정상적으로 생성되었다면 하단과 같이 관리콘솔에서도 생성된 EventArc 를 확인 가능합니다.<figure></figure>추가적으로 Pubsub 이벤트를 받도록 생성했기 때문에 자동으로 Pubsub Topic 도 생성된 것을 확인 가능합니다. (해당 Pubsub Topic 이름은 향후 활용할 것이기 때문에 기억해두시기 바라겠습니다.)<figure></figure>첨부 #2.1) 만약 현재까지 설정을 사전 테스트 해보고 싶다면 하단과 같이 gcloud 명령을 이용하여 생성된 Pubsub 으로 샘플 메세지를 보내서 확인 가능합니다.<pre>export RUN_TOPIC=$(gcloud eventarc triggers describe events-pubsub-trigger-001 --location=asia-northeast3 \ --format='value(transport.pubsub.topic)')gcloud pubsub topics publish $RUN_TOPIC --message "Runner"</pre><figure></figure>EvenArc 설정이 정상적으로 되었다면 샘플 메시지를 Pubsub 으로 보내게 되면 하단과 같이 Cloud Run 의 log 에서 수행된 로그 메시지를 확인할 수 있어야 합니다.<figure></figure></div><div>#3) Log Sync 와 EventArc 를 통해 여러 프로젝트의 이벤트 통합을 위한 User project 설정이전 파트에서 Central project 에 대한 EventArc 설정을 마무리했으면, 이제 실제적으로 이벤트를 수집할 User project 에 Log Sync 생성을 해야 합니다. 기 언급한 대로 Log Sync 를 통해서 이벤트 발생시 생성되는 Audit log 를 Central project 로 전달하는 구성을 할 예정입니다.설정을 할 User project 로 이동한 후 특정 Audit log 를 다른 프로젝트의 Pubsub topic 으로 전달할 Log Sync 를 생성합니다. 참고로 log-filter 의 내용은 파트 #1 에서 언급한 필터를 사용했습니다.<pre>gcloud logging sinks create cross-project-sink \ pubsub.googleapis.com/projects/jwlee-argolis-202104/topics/eventarc-asia-northeast3-events-pubsub-trigger-001-574 \ --log-filter='protoPayload.request.@type="type.googleapis.com/compute.instances.insert" operation.last="true"'</pre>Log Sync 가 정상적으로 생성되었다면 생성시에 하단과 같은 메시지를 확인할 수 있습니다. 특히, 결과를 보시면 아시겠지만 Log Sync 가 동작하기 위해서 사용되는 Service account 이름과 필요한 Role 이 언급되어 있습니다.<figure></figure>이 부분에 대해서 조금 상세 내용은 하단의 링크를 참고하시기 바라겠습니다.Route logs to supported destinations <a href="https://cloud.google.com/logging/docs/export/configure_export_v2#dest-auth" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/logging/docs/export/configure_export_v2#dest-auth</a>나온 메시지에 따라 Log Sync 동작을 위해서 Central project 에서 사용되는 Service account 에 필요한 Pubsub 권한을 주어야 합니다. 이를 위해서 관리콘솔의 상단의 프로젝트 네비게이터에서 Central project 로 이동한 후에 해당 프로젝트의 IAM 메뉴로 이동합니다.<figure></figure>해당 메뉴에서 Grant Access 아이콘을 클릭하여 하단과 같이 이전에 가이드 나온데로 해당 Service account 에 필요한 Pubsub 권한(Pub/Sub Publisher) 를 부여합니다.<figure></figure>여기까지 수행하셨다면 테스트를 위한 모든 설정은 잘 완료하신 것 입니다.첨부 #3.1) 참고로 Logging sync 는 관리콘솔에서 하단과 같이 확인 가능합니다. (Logging &gt; Log Router)<figure></figure></div><div>#4) Log Sync 와 EventArc 를 통해 여러 프로젝트의 이벤트 통합 구성 테스트 해보기이전 파트까지 해서 Log Sync 와 EventArc 를 통한 여러 프로젝트의 이벤트 통합 구성 설정을 완료 하였으니 이제 실제 테스트를 통해서 해당 구성이 잘 동작하는지 확인해보도록 하겠습니다.먼저 ‘User project’ 에서 테스트 목적으로 GCE(VM) 인스턴스를 하나 생성해보도록 하겠습니다.(해당 프로젝트에서 GCE 생성에 대한 Audit Log 가 나오는지 Log Explorer 에서 먼저 확인) 그리고 나서 ‘Central project’ 에서 구성된 아키텍처와 같이 생성된 Audit Log 가 Log Sync 를 통해서 EventArc 로 보내지고 해당 이벤트가 결국은 로직을 만들어 놓은 Cloud Run 에서 호출되는지 확인해 봅니다.정상적으로 구성되었다면 하단과 같이 ‘Central project’ 의 Cloud Run 의 로그를 Log Explorer 에서 살펴봤을때 ‘User project’ 에서 만들어진 GCE 생성에 관련된 Audit Log 가 그대로 Cloud Run 의 출력으로 나오는 것을 확인할 수 있습니다.<figure></figure>첨부 #4.1) 만약, 하나의 user project 가 아니라 폴더레벨이나 조직레벨로 전체 프로젝트에 대한 Log Sync 를 구성해서 해당 작업을 수행하길 원한다면 해당 방식의 구성도 가능합니다. 상세 내용은 하단의 가이드를 참고하세요.Collate and route organization-level logs to supported destinations <a href="https://cloud.google.com/logging/docs/export/aggregated_sinks" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/logging/docs/export/aggregated_sinks</a>첨부 #4.2) 참고로 Aggregated sink 를 생성할때 non-intercepting 나 intercepting 중에 사용자의 필요에 따라 옵션을 선택할 수 있게 업데이트 되었습니다. non-intercepting aggregated sink 는 이름 그대로 sync 를 설정한 프로젝트에서도 계속적으로 log 가 쌓여서 확인이 가능한 것을 의미하며 intercepting aggregated sink 는 설정한 프로젝트에서는 log 가 남지 않는 설정을 의미합니다.Collate and route organization- and folder-level logs to supported destinations <a href="https://cloud.google.com/logging/docs/export/aggregated_sinks" rel="noopener ugc nofollow" target="_blank">https://cloud.google.com/logging/docs/export/aggregated_sinks</a></div></div>

[GCP]Serverless 서비스인 Cloud Run 알아보기 10부 — Log Sync 와 EventArc 를 통해 여러 프로젝트의 이벤트 통합 방법

댓글