Life On Cloud

BigQuery에서 가장 많은 비용을 발생시킨 쿼리 찾기 (INFORMATION_SCHEMA)

라온클 — Wed, 4 Jun 2025 01:02:20 +0900

들어가며

본 포스팅에서는 BigQuery의 INFORMATION SCHEMA에 대한 소개와 INFORMATION SCHEMA를 활용하여 BigQuery 비용을 디테일하게 확인하는 방법에 대해 정리한다.

개인적으로 BigQuery는 INFORMATION SCHEMA의 존재를 알기 전후로 나뉘기 때문에 한번쯤 꼭 블로그에 남기고 싶었다.

BigQuery 비용 체계

BigQuery 비용 체계는 크게 두가지 Compute, Storage 비용 두가지로 나뉜다.

Compute 가격은 또 On-demand, Capacity 가격 체계로 나뉘고, 그외에 BigQuery Omni, BigQuery ML, BI Engine, 스트리밍 읽기 및 쓰기, FreeTier, Trial 등등 다양한 가격 체계가 있다. 가격 정책은 자주 업데이트 되기 때문에 본 포스팅에서 자세한 내용은 생략한다.

https://cloud.google.com/bigquery/pricing

BigQuery의 INFORMATION_SCHEMA

INFORMATION_SCHEMA 뷰는 BigQuery에 기본적으로 내장되어 있는 읽기 전용 뷰다.

세션, 예약, 작업, 액세스 제어 등등 BigQuery에서 이루어지는 객체들에 대해 상세한 메타데이터를 볼 수 있다.

이는 곧 ‘INFORMATION_SCHEMA’ 뷰를 활용하면 조건(프로젝트별, 사용자별, 날짜별 등) 별로 디테일한 로깅 확인을 할 수 있게 해준다.

예시)

비용을 많이 발생시키는 쿼리가 무엇인지?
지난 7일간 특정 프로젝트의 모든 쿼리에 대한 평균 슬롯 활용률은 얼마인지?
어떤 사용자가 특정 프로젝트에 대한 일괄 로드 작업을 제출했는지?

INFORMATION_SCHEMA 뷰가 제공하는 뷰들은 공식 문서에서 확인해보자.

https://cloud.google.com/bigquery/docs/information-schema-intro

INFORMATION_SCHEMA 뷰에 대한 특징을 몇가지 정리해보면 다음과 같다.

범위 : INFORMATION_SCHEMA 뷰에 쿼리를 할 땐 위치(Location)을 지정해줘야 한다.
일부 뷰에서는 데이터 세트 한정자 또는 리전 한정자를 지정해줘야 한다.
- 데이터 세트 한정자 예시 : TABLES , VIEWS , PARTITIONS , COLUMNS
- 리전 한정자 예시 : region-us , region-asia-northeast3
가격
- INFORMATION_SCHEMA 쿼리는 캐시되지 않으므로 쿼리 텍스트가 동일해도 INFORMATION_SCHEMA 쿼리를 실행할 때마다 요금이 청구된다.
- INFORMATION_SCHEMA 뷰에 대한 스토리지 수수료는 청구되지 않는다.

INFORMATION SCHEMA의 활용

예시1 : 특정 날짜에 서울 리전에서 가장 많은 분석 비용을 발생시킨 쿼리 찾기

“Billing Report를 보니 n월 n일 쿼리 비용이 갑자기 치솟았는데, 구체적으로 어떤 쿼리가~~(또는 어느 사용자가)~~ 비용을 많이 발생시켰는지 알고싶다” 라는 상황에서 쓸 수 있다.

아래 쿼리는 2024년 11월 1일 서울 리전에서 많은 분석 비용을 발생시킨 쿼리를 비용 내림차순으로 정렬한 쿼리다.

SELECT
  DATETIME(creation_time, 'Asia/Seoul') as kst_creation_time,
  user_email, 
  query,
  REGEXP_EXTRACT(query, r'FROM\s+`?([^\s`]+)`?') AS table_name, 
  job_id,
  total_slot_ms / 1000 AS total_slot_seconds,
  total_bytes_processed,  
  total_bytes_billed,
  (total_bytes_billed / 1099511627776) * 7.5 AS estimated_analysis_cost_usd
FROM
  `region-asia-northeast3`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
  DATE(creation_time) = '2024-11-01' 
  AND job_type = 'QUERY'
  AND state = 'DONE'
  AND total_bytes_processed > 0
ORDER BY
  estimated_analysis_cost_usd DESC

kst_creation_time : 작업의 생성 시간대인 creation_time 를 한국 시간대로 변경
user_email : 작업을 실행한 사용자의 이메일 주소 또는 서비스 계정
query : SQL 쿼리 텍스트
table_name : 테이블 또는 뷰의 이름
job_id : 작업의 ID
total_slot_seconds
- total_slot_ms : 재시도 포함하여 RUNNING 상태에서 작업이 지속되는 동안의 슬롯 밀리초
- total_slot_ms 을 1000 으로 나눈 이유 : BigQuery의 Slot은 초당 청구되므로, 밀리초 단위인 total_slot_ms 를 1000 단위로 나눈다.(1 밀리초 = 0.001초)
total_bytes_processed : 작업에서 처리한 총 바이트
total_bytes_billed : 온디맨드에서 작업에 대해 청구되는 총 바이트
estimated_analysis_cost_usd
- total_bytes_billed를 1099511627776로 나눈 이유 : BigQuery 쿼리 비용은 TiB 기준으로 작성된다. total_bytes_billed의 단위가 bytes이므로, 1099511627776 를 곱하여 1TiB 단위로 만들어준다.
- 7.5를 곱한 이유 : 현재 (2025년 6월 3일) 기준으로 서울 리전에서 On-demand 쿼리 비용은 1TiB 당 $7.5 이다.

US 에서는 1TiB 당 6.25달러

쿼리를 실행하면 다음과 같은 결과를 확인할 수 있다.

활용 예시2 : US 리전에서 가장 많은 분석 비용을 발생시킨 쿼리 찾기(멀티 문 쿼리 제외)

본 포스팅을 쓰면서 INFORMATION_SCHEMA.JOBS 뷰의 특징 몇가지를 알게 되어 예시1 쿼리에서 다음 세가지를 제외하였다.

creation_time WHERE 절 : INFORMATION_SCHEMA.JOBS 뷰는 최근 180일만 포함되어 제외함
프로젝트 한정자 _BY_PROJECT : 선택사항이기에 제외
멀티문 쿼리 : statement_type != 'SCRIPT' 추가

SELECT
  DATETIME(creation_time, 'Asia/Seoul') as kst_creation_time,
  user_email,
  statement_type, 
  query,
  REGEXP_EXTRACT(query, r'FROM\s+`?([^\s`]+)`?') AS table_name,
  job_id,
  total_slot_ms / 1000 AS total_slot_seconds,
  total_bytes_processed,
  (total_bytes_billed / 1099511627776) AS estimated_analysis_cost_usd
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS
WHERE
  job_type = 'QUERY'
  AND state = 'DONE'
  AND total_bytes_processed > 0
  AND statement_type != 'SCRIPT'
ORDER BY
  estimated_analysis_cost_usd DESC

쿼리를 실행하면 다음과 같은 결과를 확인할 수 있다.

참고

BigQuery 가격 책정 > 주문형 컴퓨팅 가격 책정 : https://cloud.google.com/bigquery/pricing#on_demand_pricing
INFORMATION_SCHEMA.JOBS 뷰 > 프로젝트별로 비용이 가장 많이 드는 쿼리 : https://cloud.google.com/bigquery/docs/information-schema-jobs#most_expensive_queries_by_project
INFORMATION_SCHEMA.JOBS 뷰 > 멀티 문 쿼리 작업 > 하위 작업 : https://cloud.google.com/bigquery/docs/information-schema-jobs?hl=ko#child_jobs

안 될 거라는 거 알고 있었어요

라온클 — Tue, 3 Jun 2025 18:20:12 +0900

스우파는 댄서들이 나오는 서바이벌 프로그램이다.

무한도전 이후 유일하게 즐겨하게 보는 예능이다.

내게 전 시즌 통틀어서 내게 가장 인상깊은 출연진을 꼽으라면, 단언컨대 시즌1 YGX 리더인 리정이다.

어린 나이에 탄탄한 실력과 화려한 커리어로 리더가 된 것은 신선했고,

언제나 근거있는 자신감을 거침없이 드러내는 모습은 신기했다.

자신감과 별개로 마음에 남았던 장면을 블로그에 기록해둔다.

설명 : 리더 계급 안무 선정을 위해 리더끼리 투표를 진행했고, 허니제이, 노제가 최종 후보로 뽑힌 상황이다.
(영상 25분 26초부터 26분 32초까지)

리정 : 근데, 그러면 지금.. 후보가 안 된 분들은 어필하고 그럴만한 게 없나요..?
모니카 : 지금 이제 없어진 거지. 예선 탈락.

리정 : 근데 안..하고 싶으세요? 뭔가 어필을..?
효진초이 : 리정이가 어필하고 싶은거 같으니까 먼저 얘기해볼래?

리정 : 저는 지금 두분의 안무도 너무 좋지만, 훨씬 더 크고 강력한 와우 포인트를 줄 수 있어요, 사람들한테 제 안무로.

# 일동 정적

리정 : ..죄송합니다ㅎㅎ 한번 얘기해봤습니다.
모니카 : (다른 분들도) 또 얘기하세요. 얘기는 할 수 있어요. 들어주지는 않을거니까.

# 일동 웃음

그리고 그 후 개인 인터뷰에서 리정은 이렇게 말한다.

리정 : 솔직히, 말이 안되죠.
안 될 거라는 거 알고 있었어요.
그런데도 말이라도 해보자 할 만큼 되게 간절했어요.

'아 내 안무 채택돼야 되는데..'
'아 내가 이거 따야하는데..'

그래서 정말 수십번을 고민하다가 "아 근데..!" 한 거였어요.

살면서 저렇게 간절함을 드러내 본 적이 얼마나 있었을까?

혼자 속으로 간절한 거 말고, 다른 사람들한테 다소 면구스러울 정도로 간절함을 드러냈던 적이 살면서 얼마나 있었나?
수능, 취업 면접, CKS시험 이 정도만 기억 난다. 손에 꼽는다. 그나마도 시험은 절대평가라서 경쟁도 아니다.

안된다고 하면 안되는구나 하고, 거절당하면 그렇구나 하고,

경쟁하는 자리는 피했고, 항상 앞사람 뒷통수 보는게 익숙했다.

친구가 전교 1등을 했을 때 온 마음으로 기뻐하며 축하했지만, 딱히 부럽지도, 분하지도, 전교1등을 하고싶은 마음은 안 들었다.

어른이 된 지금도 지인이 좋은 곳으로 이직하면 같은 감정을 느낀다.

승부욕과 경쟁심은 피곤한 단어고

어필? 어필은 생각해본 적이 없다.

이젠 스물 넘은지 한참 지났는데 공개적으로 상대평가 하는 자리 경험 자체가 적은 것 같다.

인생을 바꾸려면 안 해본 경험을 해야 한다.

올해는 상대평가를 일부러 경험해볼까. 더 적극적으로 어필해볼까..

NCUC 마스코트(2025 최신)

라온클 — Sun, 6 Apr 2025 02:20:24 +0900

NCUC 마스코트란?

2023년에 진행된 NCUC마스코트공모전에서 당선된 아이들이다.

1등 네둥이

2등 하늘이

(하늘이 소녀ver)

넵클이

사실 넵클이는 당선작은 아니다.

공모전 홍보용으로 그린 아인데 관계자 분들의 반응이 좋아 꼽사리로 끼게 되었다. 인생은 어떻게 될 지 모른다.

답변을 빨리하는 네이버클라우드 특징을 따서 이름을 넵클이라고 지었다.

위 아이들은 현재 수도권남부소모임(구 판교소모임)에서 활약하고 있다.

소모임에 오시는 참가자 분들 드리려고 스티커로 뽑았다.

실물이 훠ㅓㅓㄹ씬 귀엽고, 참가자분들도 좋아해주셔서 기뻤다.

스티커는 당연히 노트북에 붙이기 좋은 리무버블 재질로 뽑음

NCUC 마스코트 업데이트

NCUC 유저 커뮤니티 아이들답게 소모임 장표에서 활동하는 버전으로 그렸다.

참가자 자기소개

왼쪽부터

다소곳한 하늘이

차분한 네둥이

밝은 넵클이(기존 디자인)

발표

마이크 잡고 발표하는 네둥이

{발표자1}은 발표자명인데, 이걸 위치를 어떻게 둘까 고민하다가 (단상? 이마에 머리띠?) 우선 제목 말풍선 위에 두었다.

퀴즈 타임(kahoot 게임)

kahoot게임이 속도가 중요하다보니 게임 분위기가 매우 뜨겁다.

그래서 살짝 몸을 왼쪽으로 틀어서 적극적으로 저요!저요! 모습으로 표현했다.

다함께 네트워킹

다같이 웃는 얼굴로 즐겁게 이야기하는 모습을 표현했다.

사실 웬만하면 주인공인 네둥이를 중간에 두고자 했는데

넵클이가 워낙에 말이 많아보여서 가운데에 배치하고, 네둥이랑 하늘이는 웃으며 리액션하는 모습으로 그렸다.

네둥이

발표하는 네둥이

진행자같지만 사실 발표를 하는 모습이다. 소모임에서 연사를 맡은 분들을 표현하고자 했다.

마이크에 네이버 클라우드 로고는 색을 스포이트로 따서 에어브러쉬로 적당히 혼합해서 넣었다.

kahoot 게임하는 네둥이

저요! 저요!하면서 손을 들고있고, 몸도 살짝 기울었다.

발도 나름 까치발을 든 모습이다.

자기소개 하는 네둥이

똘망똘망하게 자기소개하는 네둥이

사실 네둥이는 당선작 그림을 보면 INFP같은데 입을 벌린 모습을 그리고나니 어딘가 INFJ로 보인다(과몰입)

네트워킹하면서 웃는 네둥이

네둥이한테 눈읏음이 안 어울릴까봐 걱정했는데 생각보다 귀엽게 나와서 기뻤다.

하늘이

자기소개 하는 하늘이

자기소개 장표에서 세명 다 입 벌리고 웃는건 너무 똑같은 구도 같아서 일부러 미소만 짓게 했다.

그 결과 열심히 사회생활하는 내향인 표정이 되었다.

네트워킹하는 하늘이

귀엽다..

눈읏음, 웃는입만 그렸을 뿐인데 넘 귀여움.. 소녀같다(과몰입)

kahoot 게임하는 하늘이

진짜 너무 귀엽다..

사실 원래 당선자의 캐릭터 디자인이고, 나는 배리에이션만 그렸을 뿐인데 벌써 내 딸같다ㅠㅠ

넵클이

노트북 들고 신나게 기술 이야기하는 넵클이

노트북은 웨일북

노트북 로고 뭐하지 고민하다가 웨일북! 생각나서 바로 웨일북 로고 따라서 그림

kahoot 게임하는 넵클이

넵클이는 내 캐해로 셋 중 제일 외향적이고 적극적인 아이다.

그래서 저요! 하고 손 드는 것도 몸통을 네둥이, 하늘이보다 더 기울였다.

하지만 kahoot게임에선 누구보다 빠르게 오답 제출할 것 같은 넵클이..

2025 청년다다름사업 모집 소식, 그리고 5년전 나의 참여후기

라온클 — Thu, 6 Feb 2025 22:14:34 +0900

<2025 청년다다름사업 모집>

지원대상 : 진로 및 취업 등의 어려움을 겪고 있는 만 19세~34세 이하 취약 청년

지원내용 : 교육비, 식비, 건강검진 비용 등 지원

신청기간 : 2월 10일~2월 16일

청년재단 블로그 포스팅 : https://blog.naver.com/youthhopefoundation/223749984623

청년재단 홈페이지 > 신청하는 곳 : https://kyf.or.kr/user/business/businessGuide.do

<5년 전 지원사업 참여 후기>

'청년다다름사업'은 청년재단에서 도움이 필요한 청년들 대상으로 지원하는 사업입니다.

2019년부터 매해 진행하고 있으며, 저는 5년전 취준생일 때 청년다다름사업의 전신인 '청년맞춤형지원사업'에 2020년에 참여했었습니다 :)

일년동안 교육비, 식비, 건강검진, 애로사항 지원 등 많은 도움을 받았고, 취업에도 성공했습니다.

올해 참여자 모집 공고가 올라와서 도움이 필요한 청년분들께 알려지길 바라는 마음으로 올려봅니다!

사실 매해 은혜갚는 마음으로 모집 소식만 올라오면 여기저기 홍보하고 있습니다ㅎㅎ

올해는 기술블로그에도 올려봅니다!

5년 전 블로그에 썼던 후기(총망라)

https://blog.naver.com/lifeoncloud/222166260553

청년맞춤형지원사업 선정 및 지원 후기

저는 청년 대상 정책에 정보가 남들보다 매우 빠른 편입니다. 여러 정부기관들의 네이버 블로그를 이웃추가...

blog.naver.com

청년 맞춤형 지원사업 결과자료집

https://kyf.or.kr/user/boardDetail.do?bbsId=BBSMSTR_000000000366&nttNo=440%205

태어나서 처음 한 발표 '취준생, 구름 위로 날다'

직토링은 '청년맞춤형지원사업에 참여한 청년들이 만들고 듣는 멘토링’이라는 취지의 프로그램입니다.

지원사업 1년 후, 직토링 발표 제안을 주셔서 은혜를 갚고자(!) 발표자로 나섰습니다.

발표 내용으로는 청년 맞춤형 지원사업 활용 방법, IT업계 진입방법, 클라우드엔지니어 직무 소개 를 준비했습니다.

사실 대학교 때도 발표를 안 했어서.. 외부에서는 난생 처음으로 한 발표였는데요.

그것보다는 제가 도움을 받는 사람에서 작게나마 도움을 주는 사람이 되었다는 것이, 가장 큰 의미로 남았습니다 :)
너무나 소중하고 감사한 경험이었습니다.

[청년재단] 취준생, 구름위로 날다 from Soojin Lee

올해도 청년다다름지원사업이 도움이 필요한 청년분들께 닿길 바라는 마음으로 포스팅 마무리합니다 :)

2024년 회고 "안 하던 일을 하면 새로운 일이 생긴다"

라온클 — Sun, 29 Dec 2024 15:04:58 +0900

2024년 요약

"안 하던 일을 하면 새로운 일이 생긴다"

새로운 일들이 많이 찾아온 해였다. 새로운 경험, 추억, 경력이 생겼고, 천문대에서 별을 본다는 버킷리스트를 달성했다.

공적으로는 내가 하는 업무가 넓고 무거워졌고, 사적으로는 내 주변 사람을 힘들게 했던 내 부끄러운 단점을 메꿔서 뿌듯한 적도 있었다.

기술적인 발전은 미진했다. 상반기에 우주인자켓에 미쳐서 달리다가, 달성하자마자 풀어져서 하반기부터 그냥 일만 한 것 같다. 항상 느끼는 거지만 바쁘다는 것에 도취되면 안되는 것 같다.. 언제나 부지런히 공부하고 성취하는 IT지인들을 보며 습관적으로 기죽고, 또 습관적으로 맘을 달랜다.

나는 나이가 먹어도 여전히 자신감이 없고 어두운 성격일 것 같다. 그래도 도전하면 아주 조금은 변화한다는걸 올해 배워서 용기가 생긴다. 내년엔 기술적인 방향으로 집중해서 도전하면, 연말에 더 마음 가볍게 웃고있지 않을까 기대해본다.

2024년 시상식

올해의 영화 : 고레에다 히로카즈 감독의 <괴물>. 가장 기분좋은 충격을 준 영화였다.
올해의 물건 : 발을 씻자. 발 포함하여 내 주변 만물을 씻고있다. 내 인생도 씻어줬으면 좋겠다..
올해의 소비 : 파자마. 맨날 반팔이나 원피스 입어서 몰랐는데 파자마는 잠을 위한 옷답게 정말 잠이 잘 온다.
올해의 책 : 미국주식 처음공부.
올해의 순간 : 떨어지는 별똥별 본 것.
올해의 장소 : 천문대

천문대 체험 한컷요약(밤하늘을 프레젠테이션 삼아 포인터레이저로 설명하시던 직원분..)

인생

포모도로에 큰 도움되어주는 내돈내산 낼나타이머

시간 : 시간 관리 시작(구글 캘린더, 포모도로)
재테크 : 미국주식, ISA 시작
행복 : 나를 행복하게 하는 구체적인 방법을 목록으로 정리했다.
습관 : 출근길영어, 일기(감사/칭찬/좋은일), 다이어리 쓰기

회사/경력

부모님께 자랑하시라고 드린 스크린샷

진짜 주인공(상품)

회사가 과천으로 이사했다. 통근시간이 편도 2시간으로 늘어났다.. 넓어진 사무실 보면서 생각이 많아진다.
PreSales를 맡게 되었다. 프론트단에서 기술지원하거나, 초도미팅 하는 일이 많아졌다. 회사에서 좋게 평가해주셔서 연말에 은상을 받았다.

공부

색깔이 약간 더불어민주당 블루. 이 잠바를 위해 시험비용에 돈을 얼마나 썼을까..

방송통신대 편입
쿠버네티스
- Kubestronaut 달성. 처음으로 욕심이 생겨서 무리하게 달렸던 프로젝트였다. 나는 역시 채찍보단 당근으로 움직이는 도파민드리븐 인간이란걸 배운 경험이었다.
- 자격증 : CKS 합격. 솔직히 우주인보다 CKS가 제일 힘들었다.. 눈물과 건강을 바침.
- 사이드 프로젝트 : 커리큘럼 만드는걸 목표로 개인 프로젝트를 시작했다.
클라우드
- GCP : 1일 1퀵랩 진행. 퀵랩을 좀 더 적극적으로 활용해야지.
- Ncloud : NCT를 목표로 NCP자격증을 취득했다.
- AWS : 이제는 더는 미룰 수 없어서 SAA 자격증 공부를 시작했다.

독서 : 연초부터 출근 전 독서&트레바리 모임에 참여하면서 20권 넘는 책을 완독했다.
영어 : 출근길 영어공부를 시작했다. 요즘 보는 채널은 런던쌤 채널.
코딩 : 코딩 놓은지 오래되어 1일 1코딩 시작했다. GitHub에 잔디를..심어야 하는데, 그냥 쉽게 Docs에 정리하고 있다.

건강

식단 : 요새 시리얼을 많이 먹어서 입가에 뾰루지가 생겼다;
운동 : IT 다 봐요 운동방 챌린지를 재개했다. 1일 1운동중. 찍먹이지만 운동을 다시 재개했다는 것에 의의를 둔다.
수면 : 피로누적인지, 호르몬 때문인지 요새 몇주에 한번씩 쓰러져서 하루종일 기절잠을 잔다.
질병 : 건강검진 후, 치과, 정형외과, 안과 등 병원 과 별로 문서를 만들어서 관리를 시작했다.

외모

헤어 : 아무리 관심이 없다지만 평생 포니테일만 하고 사는게 뭔가 아까워져서 다양한 헤어스타일 시도했다. 갈색 염색도 해보고, 파마머리도 해보고, 현재는 단발머리 유지중이다. 단발머리는 하니의 <푸른 산호초> 직캠을 보고 반해서 따라했다.
피부 : 드디어 수분크림, 썬크림, 핸드크림, 립밤을 바르기 시작했다. 늘 민낯으로 다니다보니 어느순간 피부에게 미안해지기 시작했다.
화장 : 굳이 예쁘게 보이고 싶은 날엔 뷰러로 속눈썹 올리기를 시작했다. 화장은 올해 4번 정도 했다.

대외 활동

NaverCloud Master 활동 : 올해 들어 NCUC 수도권남부소모임(구 판교소모임)을 세번 개최했다. 이제 어느정도 자리를 잡은 것 같아 기쁘다.
발표 : 회사 세미나 발표, 고객 대상 교육, 소모임 발표 등 발표가 부쩍 많아졌다.
책 : 추석을 바쳐서 기술서적 감수 작업에 참여했다.

기타

시위 : 국민의힘 당이 투표 거부하고 단체로 의회 나갔던 날 국회의사당역 앞에서 몇시간동안 시위했다. 근처 KFC에서 산 치킨을 주변 시위하던 어른들이랑 나눠먹었다.
산책 : 본격적으로 1일 1산책을 시작했다. 점심시간 or 오후 3시에 바깥 바람을 쐰다. 역시 난 한강뷰아파트보단 근처에 공원이 있는 집에 살고싶다.

NCUC 수도권남부 소모임 4회 후기

라온클 — Fri, 27 Dec 2024 15:42:14 +0900

들어가며

안녕하세요, 라온클입니다.

11월 27일은 네이버클라우드의 NCUC 수도권남부소모임 4회였습니다.

이번 행사는 판교에서 수도권남부소모임으로 확장 후 첫 모임이었습니다!

행사 개요

일시 : 11월 27일 화요일 19시~21시

장소 : ~~역삼스퀘어 →~~ 온라인

*그러나 대설 경보로 인해, 소모임 장소가 역삼스퀘어에서 온라인으로 변경되었습니다☃️..

https://www.meetup.com/ko-KR/navercloud-user-community/events/302750330/

행사 후기

'NCUC 지역 소모임' 소개 & 3회 피드백

NCUC 지역 소모임이란?

네이버 클라우드 유저 분들이 오프라인에서 만나 정보를 나누고 네트워킹하는 지역 소모임입니다.

NCUC 판교 소모임은 첫번째 NCUC 지역 소모임이고, 4회부터는 수도권남부소모임(!)으로 개편했습니다

(인천 지역에서 열리는 NCUC 인천 소모임도 있으니 많은 관심 부탁드립니다. )

NCUC 판교 소모임 1회 후기 (네트워킹 위주)
NCUC 판교 소모임 2회 후기 (발표 위주)
NCUC 판교 소모임 3회 후기 (반반+게임 추가)
NCUC 수도권남부 소모임 4회 ← (이번 행사입니다!)

NCUC 판교 소모임 3회 피드백

소모임 마무리엔 늘 설문조사를 진행하는데요. 참가자 분들이 설문조사에 남겨주신 의견을 다음 소모임에 반영하려 노력하고 있습니다.

지난 판교소모임 3회 설문조사 중 '다음 수도권남부소모임에 희망하는' 모습들에 대해서는 다음과 같이 남겨주셨습니다.

듣고싶은 경험담 : NKS, AI, 보안
기대하는 네트워킹 : 다양한 사람들의 공유 및 네트워킹, 활발한 분위기
얻고싶은 정보 : 비용최적화, 공부 방법, 실무자들의 이야기

그래서 이번 4회에서는 NKS, AI, 실무자들의 이야기가 반영되었습니다.

[발표] "누구나 150만원 지원받아 클라우드 사용해서 공모전 참가하기" - 윤서율 님

1부 발표는 NCUC 수도권남부소모임 운영진 동료 서율님이 맡아주셨습니다.

발표 내용은 민관협력플랫폼에서 최대 200만원 한도까지 지원해주는 크레딧으로 시빅 해킹을 하는 아이디어 공모전에 대한 소개였습니다.

민관협력플랫폼이란?

민간 공공 데이터나 클라우드 등 IT 자원을 사용해서 사회현안이나 사회 위기를 대응하기 위한 플랫폼입니다.

https://digitalsolveup.kr/

시빅 해킹(CiVic Hacking)이란?

시빅 해킹은 시민들이 새로운 도구와 접근 방법을 사용하여 신속하고 창의적으로 협업하여 정부 시스템을 개선시켜나가는 사회 운동입니다.

저는 민관협력플랫폼의 존재와 시빅해킹 개념을 서율님 발표에서 처음 알게 되었는데요. IT인이라면 한번쯤 꿈꿔보는 '기술로 사회에 기여한다'를 실현할 수 있는 공모전이어서 흥미로웠습니다. 2022년부터 매해 공모전이 개최된다고 하니, 관심있는 분들은 홈페이지를 참고해보세요 :)

https://devcontest-digitalsolveup.kr/

개인적으로는 서율님께서 발표 마치시고, QnA 때 NKS CBT메뉴를 포함해서 실시간으로 콘솔 이곳저곳을 소개해주시는 점도 좋았습니다.

[발표] "HyperCLOVA X로 페르소나 학습용 데이터셋 만들기" - 서현석 님

2부 발표는 현석님이 맡아주셨습니다.

현석님은 <HyperCLOVA X로 페르소나 학습용 데이터셋 만들기>라는 주제로 발표해주셨는데요. 저번 판교소모임 3회 때 재현님이 준비해주신 내용이랑은 또 결이 다른 내용이어서 흥미로웠습니다. 발표 내용을 일부 정리하여 올려보면 다음과 같습니다.

------

1. 좋은 모델(LLM) 선정하기

"LLM 모델을 선택할 때는 단순히 답변 품질 뿐 아니라 비용과 처리속도 모두 고려해야 한다."

2. 답변 생성(페르소나) 프롬프트 구현

"답변 생성 프롬프트로 학습 데이터셋을 만들어서 미리 학습시키면 프롬프트 호출 비용도 아낄 수 있고 처리속도도 일부 개선할 수 있다."

3. 질문 생성 프롬프트로 데이터셋 자동화 구축하기

"캐릭터 페르소나 챗봇 이용자가 할법한 질문, 즉 '작품 줄거리 관련' 질문을 반말&대화체로 생성한다"

"parsing하기 편하도록 출력 서식을 지정해준다"

4. 모델 학습

"(답변 생성과 달리)질문 생성은 질문하는 사람마다 특징이 다양하기 때문에, 질문도 다양하게 나오는 것이 좋다."

"Repetition penalty(반복적인 표현을 제한하는 옵션), Temperature(문장의 창의력을 결정하는 옵션)파라미터를 조정하여 학습시킨다.

------

현석님의 캐릭터 챗봇 만들기에 콘텐츠에 더 자세히 알고싶으신 분들은 아래 링크를 참고해주세요 :)

HyperCLOVA X로 나만의 캐릭터 챗봇 만들기 : https://chucoding.tistory.com/145
Streamlit 챗봇 외부접속 가능하도록 배포하기 : https://chucoding.tistory.com/146
모두의연구소 풀잎스쿨 퍼실이 활동 후기 : https://chucoding.tistory.com/147
랭체인v0.3 하이퍼클로바x 연동하기 : https://chucoding.tistory.com/149
하이퍼클로바 X 랭체인 프로젝트 및 서버 구축하기 : https://chucoding.tistory.com/151

발표 내용 퀴즈

몇볓 참가자 분들의 상당히 직관적인 닉네임으로 눈에 띄었습니다

그리고 지난 3회부터 발표 내용으로 kahoot!퀴즈를 진행하고 있는데요.

아래는 소모임에서 출제된 퀴즈 중 일부입니다!

아직 소모임에 한번도 참여해보지 않은 분들이 계신다면, 퀴즈 분위기와 난이도를 참고하셔서 나중에 소모임 참석하실 때 도움이 되셨으면 좋겠습니다! (정답은 본 포스팅에 숨겨져있습니다.)

Q1. 시빅해커는 새로운 도구와 접근 방법을 사용하여 도시 또는 정부시스템을 개선시켜나가는 공무원이다. (O/X)

Q2. 네이버 클라우드 서비스를 통해 CLOVA Studio 서비스를 사용할 수 있다. (O/X)

Q3. 캐릭터 챗봇 질문 생성용 프롬프트 튜닝시 사용되는 하이퍼파라미터 중 수치가 낮을수록 이성적인 질문을 하고 높을수록 감성적인 질문을 생성해내는데 영향을 주는 파라미터는?
(1) Top P
(2) Top K
(3) Temperature
(4) Repetition penalty

Q4. 캐릭터 챗봇 질문 생성용 프롬프트 튜닝시 사용되는 하이퍼파라미터 중 수치가 낮을수록 반복되는 표현이 많아지고 높을수록 프롬프트를 잘 이해하지 못하게 되는 파라미터는?
(1) Top P
(2) Top K
(3) Temperature
(4) Repetition penalty

이번 퀴즈 우승자 분들께 드리는 선물은 근사한 Naver Cloud 티셔츠와 책<쿠버네티스 창시자에게 배우는 모범사례 2판>이었습니다.

*티셔츠 선물 지원해주신 네이버클라우드 마케팅팀 담당자분들께 감사합니다!

3등 선물 양보해주신 책을준다고요 님 감사합니다 :D

감사한 마음에 스티커도 동봉하여 배송드렸습니다.

A1 : X(공무원이 아닌 누구나 참여 가능한 사회 운동이다.)

A2 : O

A3 : (3) Temperature (문장의 창의력을 결정하는 옵션으로 너무 낮으면 프롬프트 이해도가 떨어지고 너무 높으면 할루시네이션이 있을 수 있으므로 0.2 ~ 0.75 사이에서 적당한 값을 사용하는 것을 추천)

A4 : (4) Repetition penalty (반복되는 표현을 제한하는 옵션으로 2~7.5 사이 적당한 값을 주는것이 좋다.)

마무리하며

넵클이(답변을 잘해줌)

정말 예상치를 웃도는 폭설에도 불구하고, 많은 분들의 도움 덕분에 소모임이 잘 끝났습니다!

소모임 취지가 오프라인 모임인데, 지역 확장하자마자 온라인으로 전환하는게 맞나 망설여지기도 했는데요. 늘 건강(안전)보다 위에 있는 가치는 없다고 생각했기에 서율님과 논의끝에 온라인으로 전환하게 되었습니다. 다행히도 소모임 끝나고 설문조사에서 온라인 전환되어 다행이라고 남겨주신 분들이 계셔서 안심했습니다.

그리고 행사가 온라인으로 전환되면서 네둥이, 하늘이 스티커를 수령하지 못하게 되어 아쉬움을 표해주셨는데요.

다음 마스터데이와 소모임에 오시는 분들이 가져가실 수 있도록 추가 제작 완료했습니다!

아래는 감사한 분들입니다!

바쁜 일정 속에서도 행사 방향 잘 잡아주신 서율님,

언제나 든든하게 고퀄리티 발표 준비해주신 현석님,

당일 오후 결정된 온라인 전환에도 귀한 시간 내어 참석해주시고 늦은시간까지 계셔주신 참가자 분들,

마지막으로 혼란스러운 상황에서도 적극적으로 지원하고 응원해주신 네이버 클라우드 마케팅팀 상인님, 도현님 감사드립니다.

다음엔 다시 오프라인에서 열리는 '수도권 남부 소모임 5회'로 찾아뵙겠습니다!

참고 링크

<발표자 블로그>

윤서율 님 블로그 : https://cloudev.tistory.com/
서현석 님 블로그 : https://chucoding.tistory.com/

<네이버 클라우드 사용자 커뮤니티>

NCUC 페이스북 그룹: https://www.facebook.com/groups/ncpusergroup/
NCUC 오픈카톡방: https://open.kakao.com/o/gRNIEFOc
NCUC 이벤트: https://www.meetup.com/ko-KR/navercloud-user-community/

<네이버 클라우드>

공식 홈페이지: https://www.ncloud.com/
공식 블로그: https://blog.naver.com/n_cloudplatform
공식 유튜브 채널: https://www.youtube.com/c/navercloudplatform

241030 인프런xAWS강의실 오프밋업 참여후기

라온클 — Thu, 31 Oct 2024 13:44:41 +0900

들어가며

안녕하세요, 라온클 입니다.

어제 판교에서 <인프런xAWS강의실 오프 밋업>이 열려서 퇴근하자마자 다녀왔습니다.

행사 개요

행사명 : 인프런xAWS강의실 오프밋업

행사 일시 : 2024년 10월 30일 수요일 오후 7시 30분

행사 장소 : 인프랩 사무실

대상 : 인프런 "쉽게 설명하는 AWS 기초 강의" 수강율이 30% 이상이신 분

장소 협찬 : 인프랩
https://www.inflearn.com/

AWS 강의실이란?

박상운 님이 운영하시는 인프런 강의입니다.

인프런 <쉽게 설명하는 AWS 기초 강의> : https://inf.run/2FGMe

유튜브 <AWS 강의실> : https://www.youtube.com/@AWSClassroom

이번 밋업은 쉽게 설명하는 AWS 기초 강의 를 30% 이상 수강한 사람만 신청할 수 있기 때문에

행사 전날밤, 그리고 다음날 출근버스에서 열심히 들어서 겨우 신청 성공하고 다녀왔습니다. (벼락치기)

행사 후기

리셉션

들어가니 먼저 도착하신 분들께서 라운지 가운데에 테이블을 두고 피자 드시면서 이야기를 나누고 계셨습니다.

명찰(이름/닉네임/소속/직무)을 달고 저도 합류했습니다.

저녁시간이라 배고팠는데 피자 넘 맛있게 잘 먹었습니다.

세션 시작하기 전, 상운님이 멀리에서 오신 참가자 분들과 유일하게 참석한 여자 참가자()에게 선물을 주셨습니다.

세션 : 구경열 님의 <IAM 동작 방식 이해와 현업에서 활용>

경열님은 IAM에 대한 제품 소개와 권한 체계에 대한 이야기를 자세히 소개해주셨습니다.

이번 발표를 취준생 대상으로 준비하셨다고 하셔서,

제일 먼저 인증, 인가에 대한 개념부터, IAM에 대한 의미와, 최소 권한의 법칙, 그리고 현업에서 권한 분배를 어떻게 하면 좋을지에 대해 상황 별로 차근차근 설명해주셨습니다.

경열님의 풍부한 경험과 하나라도 더 알려주시려는 진심이 느껴지는 멋진 발표였습니다.

개인적으로 저는 AWS만의 IAM 서비스 정책 policy, Pod Identity 에 대한 설명을 잘해주셔서 넘 감사했습니다.

세션 : 박상운님의 <AWS를 공부하고 현업에서 적용할 때 놓치지 말아야 할 것들>

상운님은 항상Tech이야기를 강의에서 풀어오셨던만큼, 이번엔 비TECH적인 이야기를 준비하셨다고 말씀하셨습니다.

강조하신 내용 몇가지를 정리해보았습니다.

공식 문서를 읽으세요 → 공식 문서도 믿지마세요 → 뭐든지 직접 해보고 검증하세요.

아키텍처는 타협의 연속.

결국 어느 시점이 되면 결국 갈아엎게 되어있다.

검소한 아키텍처란 '현재 기준에서 검소하게'

아키텍처 요구사항에는 반드시 비용이 포함되어야 한다.

나 혼자 사용하려고 만드는거면 3티어가 아니라 2티어도 괜찮다.

단, 아키텍처에 확장성을 반드시 고려해야 한다.

클라우드는 무대다. 그 위 aws제품은 먼지다.

제품들이 언젠간 삭제되는 것을 상정하셔야 한다.

서버리스는 만능이 아니다.

서버리스가 언제나 정답이 아니다.

광선검으로 사과를 깎을 필요는 없다.

무엇이든 적재적소 사용하는게 중요하다.

골든벨 퀴즈

그리고 퀴즈 타임이 시작되었습니다.

운영진 분들이 참가자 분들에게 각자 미니 칠판을 나눠주셔서 진짜 골든벨 느낌 물씬 났어요.

[얘들아 미안해]

Q&A

Q&A도 마찬가지로 인상깊은 답변을 정리해봅니다.

빨리 생산성을 높일 수 있도록 고민하자.

반복되는 업무는 가능한 자동화하고, IaC는 빨리 익숙해지는게 좋다.

테라폼은 가능하면 꼭 배우는궐 권장드린다.

다양한 방법으로 실력을 향상시켜서 회사에 적용시켜야 한다.

나의 크레딧을 기존에 쌓아두어야 한다

설득은 평소에 쌓은 (실력에 기반한)신뢰를 근거로 한다.

고독함은 게임으로 푼다(도타2 플레이시간 6700시간 이상)

마무리하며

후기 쓰다가 생각해보니 제가 자발적으로 참여한 AWS행사는 처음이더라고요.(AWS summit 제외)

역시 신뢰의 상징 AWS강의실.. 인사이트 가득한 세션도, 편안한 진행도 최고인 행사였습니다.

밤새고 간 거였는데, 즐거워서 졸린 줄도 몰랐네요.

AWS에 조금 더 알게 된 것도 좋았지만, 클라우드 업무를 하면서 어떤 점을 고민해야하는지에 생각하게 되는 시간이었습니다.

행사와 발표 준비해주신 상운님, 경열님, 행사가 매끄럽게 진행될 수 있도록 도와주신 운영진 분들,

그리고 근사한 공간 협찬해주신 인프랩 담당자 분들 감사합니다.

기회가 되면 다음 세미나도 가고싶습니다!

참고 링크

인프런 <쉽게 설명하는 AWS 기초 강의> : https://inf.run/2FGMe

유튜브 <AWS 강의실> : https://www.youtube.com/@AWSClassroom

AWS 강의실 소통/자료공유 오픈채팅방 : https://open.kakao.com/o/g7pIU9wf

상운님 홈페이지 : https://awsclassroom.kr

경열님 블로그 : https://yeoli-tech.tistory.com/

맥북에서 PDF에 메모하기(feat. 베타리뷰어)

라온클 — Tue, 15 Oct 2024 10:45:12 +0900

들어가며

본 포스팅은 맥북 기본앱인 미리보기로 PDF파일에 하이라이트/메모를 추가하는 방법에 대해 정리한 글입니다.

책 베타리뷰어로 참여하기 등등 PDF파일에 메모 추가하실 일이 생기신 분들에게 도움이 되셨으면 좋겠습니다.

참고 : https://support.apple.com/ko-kr/guide/preview/prvw7450efd7/mac

1. PDF파일에 하이라이트하기

1. PDF파일을 미리보기로 실행한 뒤, 우측 상단 Markup메뉴를 클릭합니다.

2. 메모하려는 단어를 드래그 한 후, Highlight 오른쪽 드롭다운 아이콘을 클릭하여 색깔을 선택합니다.(예시에서는 Pink)

3. 선택한 색상으로 글자가 하이라이트된 것을 확인합니다.

2. 하이라이트에 메모하기

1. 하이라이트한 글자 위에서 우클릭 후, [Add Note]를 클릭합니다.

2. 메모할 내용을 입력합니다.

3. 입력 후 , 하이라이트에 Note 아이콘이 생긴 것을 확인할 수 있습니다.

4. 같은 방법으로 다른 색깔의 하이라이트와 메모를 작성할 수 있습니다

3. 한번에 모아보기

1. [View > Highlights and Notes] 메뉴를 클릭하면, 하이라이트와 메모들을 한눈에 모아 볼 수 있습니다.

4. 메모한 PDF를 다른 앱으로 확인하기

다음은 이렇게 편집한 PDF파일을 전달하였을 때 메모와 하이라이트가 잘 보이는지 테스트한 앱들을 소개합니다.

본 포스팅 속 예시 파일 :

https://drive.google.com/file/d/1wCGUTBfjb17EOnVCGfgKwX1fgdQUD7LA/view?usp=sharing

Adobe Acrobat Reader

https://get.adobe.com/kr/reader/

+) 일반적으로 출판사에서는 Acrobat을 많이 사용하신다고 합니다.(출처 : 자니님)

Google Drive

https://drive.google.com/drive/my-drive

Cloud Native Korea Community Day 2024 후기

라온클 — Mon, 30 Sep 2024 18:14:29 +0900

들어가며

안녕하세요, 라온클입니다.

지난주 <Cloud Native Korea Community Day 2024> 행사에 다녀와서 간단하게 후기를 작성해보았습니다.

행사 개요

행사 일시 : 2024년 9월 24일 화요일

행사 장소 : 백범김구기념관

행사 홈페이지 : https://kcd-korea.net/

행사 후기

들었던 발표 중 송지형님의 하이브리드 클라우드 환경에서 쿠버네티스와 오픈소를 활용하여 데이트 분석 플랫폼을 구축한 경험담을 인상깊게 들어서 정리해보았습니다.

발표 : 송지형 님의 <자율주행을 위한 차량 데이터 분석 플랫폼을 Kubernetes 위에서 활용하기>

1. 자율주행 업계 상황

- 유럽 GSR(General Safety Regulation)이 자동차 제조업체 규제 표준을 강화하여 자동차 제조업체들은 '사망자 0 달성'이라는 챌린지가 생김.

- 고수준의 자율주행(L4수준)을 달성하는 목표 연도가 점점 뒤로 밀리고 있음.

- 압박이 큰 상황에서 AI 역량을 갖춘 제조업체와 그렇지 않은 기업은 효율 격차가 최대 200%까지 벌어지고 있음.

2. 데이터 분석 플랫폼 data barn

- 고객사들과 엔드유저들이 세계 여기저기 분산되어 있지만, 데이터 분석 과제 특성상 데이터 저장 비용은 물론, 인/이그레스 트래픽 비용이 많이 발생하기 때문에 data barn 시스템은 온프레미스에 구축

- 그리고 data barn hub은 퍼블릭 클라우드에 배포하여 하이브리드 클라우드 환경 구성

- 비용최적화 위해 time slicing 방식으로 GPU 사용

3. QnA

Q. 모니터링 시스템을 Datadog 같은 상용 솔루션을 써도 되는데 굳이 오픈소스(프로메테우스+그라파나)를 구성한 이유가 있는지?

A. 비용적인 이유도 있지만 data barn hub 같은 경우엔 앞으로 AI/ML 워크로드 등 확장할 계획이 있어서 확장성을 고려했다.

Q. 온프레미스 인프라 장비를 많이 사용하시는 것 같은데, 인프라 장비 관리도 챌린지가 많을 것 같다. 그럼에도 퍼블릭 클라우드가 아니라 굳이 온프레미스를 고집하는 이유는?

A. 고객사들도 퍼블릭 클라우드에서 데이터 관리를 잘 하고 계시긴했다. 하지만 데이터 양이 점점 많아져서 저장 비용은 물론 분석도 계속하기 때문에 Inbound, Outbound 네트워크 트래픽 비용도 컸다. 물론 보안 요구사항도 있었다. 또 쿠버네티스 생태계가 잘 되어있기 때문에 고객들이 온프레미스에서 오픈소스를 잘 활용하고 계신다. 그래서 시스템 그대로 퍼블릭 클라우드에 올릴 수 있다. 실제로 그렇게 요구 받아서 구성한 적도 있다.

최근 개인적으로 홈서버에 관심이 있어서 더 재밌게 들은 발표였습니다.

+)참고로 송지형님의 멀티 클라우드 발표는 아래에서 보실 수 있습니다.

[Openinfra & Cloud Native Day 2022] 멀티 클라우드 플랫폼을 Kubernetes 위에서 다루는 방법