ETL (Extract, Transform, Load)

Wikipiedia 에 정의된 의미로 extract(추출), transform(변환), load(적재) 의 앞 글자를 따서 ETL이라고 한다. 컴퓨팅에서 데이터베이스 이용의 한 과정으로 특히 데이터 웨어하우스에서 많이 찾아 볼수 있다고 한다. - 같은 기종 또는 다른 기종의 데이터 소스로 부터 데이터를 추출한다. - 조회 또는 분석을 목적으로 적절한 포맷이나 구조로 데이터를 저장하기 위해 변환과정을 거친다. - 최종 타켓 대상으로 변환된 데이터를 적재한다. 참고사이트> https://ko.wikipedia.org/wiki/추출,_변환,_적재 추출, 변환, 적재 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 전통적인 ETL 다이어그램[1] 추출, 변환, 적재(Extract, tran..

• format_list_bulleted IT/데이터베이스
• · 2020. 3. 9.
• textsms

[코로나19] 3월 6일부터 마스크 구매 1인 2매 제한, 마스크 5부제로

그 많던 마스크들이 다 어디 갔을까요? ㅠ 요즘 약국을 돌아봐도 마스크 구입이 어렵네요. 가는 곳마다 품절이고, 줄서서 번호 표를 받아야 하고, 겨우 사도 5매 밖에 못샀던 공적 마스크.. 이제 정부에서 마스크 구입 5부제를 시행한다고 하네요. 공적 마스크 구매도 일주일에 1인당 2매로 제한한다고 하네요. 구매하더라도 3일씩 써야 하네요 ㅠ 그래도 구매는 해야 하니 좀 더 알아볼까요? # 시행 시기 및 구매 한도 3월 6일(금)부터 시행합니다. 한주에 1인 2매 이내로 구매가 가능합니다. 구입할수 있는 곳은 약국, 우체국, 농협 하나로 마트 입니다. ㅇ 약국: 3.6(금)일부터 시행, 1인 2매(1주), - 다만, 경과기간인 3.6(금)~3.8(일)에 한해 3일간 1인 2매 - 구매자의 출생연도 끝자리를..

• format_list_bulleted 생활정보
• · 2020. 3. 5.
• textsms

[인천이음카드] 코로나19 대응 지역경제활성화를 위해 한시적으로 인천이음카드 캐시백 10%까지 상향 계획 (2020년 03~04월)

인천 지역 경제 활성화를 위해 만들어진 "인천 이음 카드"!! 인천e음 카드는 인천 지역경제 활성화 를 위해 전국 최초로 만들어진 모바일앱과 선불카드 가 결합된 인천사랑 전자상품권!! 인천 전역 어디서나 4% 사용 즉시 캐시백! 단, 백화점, 대형마트, 기업형 슈퍼마켓, 택시 제외 연말정산 30%, 전통시장 40% 소득공제!혜택+ 가맹점 최대 7% 현장할인 (인천e음 모바일앱에서 혜택+ 가맹점을 확인하세요.) 수시로 지원하는 인천 내 이벤트 및 프로모션 (인천e음 모바일앱에서 확인하세요.) 처음 만들어지고 캐시백이 최대 10%라는 어마어마한 혜택 때문인지 많은 인천 시민들이 만들었고, 이곳 저곳에서 열심히 홍보도 해주어서 가입자수가 많았는데요! 저도 예전에 바로 만들어서 지금도 열심히 사용중입니다. 특히..

• format_list_bulleted 생활정보
• · 2020. 3. 1.
• textsms

[이벤트후기] Google Cloud OnAir - Developer Workshop SNS 인증 이벤트

Cloud OnAir - Developer Workshop 2020년 2월 19일 (수) 2:00 PM - 5:00 PM 구글클라우드에서 진행한 워크샵이었습니다^^ 한국 리전이 생기면서 많이들 관심을 가질거라 생각되는데요~^^ 때마친 sns이벤트까지 해서 응모하였습니다~ 연락받은 후 기념품이 왔는데요~ gcp 뱃지가 왔네요^^

• format_list_bulleted IT/세미나 및 밋업
• · 2020. 2. 29.
• textsms

한빛미디어 “나는 리뷰어다 2020”

2월에 페이스북을 통해서 이런 이벤트가 있는것을 처음 알았다~^^ 일년동안 한달에 책을 한권씩 읽을수 있는 기회를 주신다는~~ 물론, 매달 책한권이 힘들수도 있지만, 좋은 기회일거 같아서 신청 고고고!!! 오~! 당첨이 되었다 ㅎㅎ 올해는 뭔가 좋은 일들만 생기는지~^^ 한달마다 랜덤으로 선택한 책중에 한권을 보내주시면 읽고 2주안에 서평을 써야 한다! 도전!!! 한번 해보자~~~~^_^ 얼른 코로나19도 좀 사그라들었음 좋겠다~~ㅠ #한빛미디어 #나는리뷰어다 #나는리뷰어다2020 #이벤트당첨 #올해도전과제 #책리뷰 #독서 #한달에힌권

• format_list_bulleted IT/책리뷰
• · 2020. 2. 22.
• textsms

[IT] 스프링 부트와 AWS 로 혼자 구현하는 웹 서비스

페이스북을 통해 프리렉에서 하는 이벤트에 응모를 했는데, 정말 좋은 기회가 되서 선물로 받게 되었다! 와우! 나에게도 이런 일이..!!^^v 이런 이벤트는 잘 안되었는데, 이번에 이렇게 된걸 보면 뭔가 나에게 필요한 책이지 않을까 하는 기대감으로 책을 받게 되었다. 업무로 인해 완독은 못하고 읽고 있는 중이다. 얼른 읽어야겠다.ㅎㅎ 이책은 요즘 정말 핫한 스프링 부트에 대한 내용에 집중하기 보다는 전체적인 개발에서 배포까지의 그림을 그려주고, 조언해 주는 책같습니다. 전체적으로 이 책을 읽고 따라 하고 나면 무언가 내가 만들어 봤구나! 단 웹 한페이지라도 직접 해서 배포까지 해본다는건 큰 경험일거 같습니다. 특히나 AWS라는 클라우드 서비스도 조금은 경험해 볼수 있게 해줍니다. 처음 접하는 스프링 부트 ..

• format_list_bulleted IT/책리뷰
• · 2020. 2. 21.
• textsms

[GCP] Google Cloud Billing 계정 이전 방법

# Google Cloud Platform 한국 리전이 드디어 생기게 되었다. # 그러면서 기존 결제 계정에 대해 원화 단위로 계정 이전을 해야 한다는 메일이 왔다.!! # 메일 안에 결제 계정에 링크를 누른 후 다음 진행을 해도 된다고 한다. # 다른 방법은 아래 링크를 찾아 가면 자세히 설명되어 있다. https://support.google.com/cloud/answer/7523192?hl=ko 계정 이전 FAQ - Google Cloud Platform Console 고객센터 도움이 되었나요? 어떻게 하면 개선할 수 있을까요? 예아니요 support.google.com 일반 FAQ Q. 계정을 이전하려면 어떻게 해야 하나요? 계정을 이전하려면 결제 계정 이전 페이지(http://console.cl..

• format_list_bulleted IT/클라우드
• · 2020. 2. 20.
• textsms

[kubernetes-실습] HA(High Availability) 구성 - master node

# master node 2대를 추가해 H.A 구성을 해보자. [ 방법 ] 1. 트래픽을 받도록 load balancer로 배포한다. HAProxy는 배포가 쉬운편이다. start하여 현재 동작중인 master node를 확인한다. 2. k8smaster2,3번 노드에 kubernetes software를 설치한다. (이 과정은 기존 worker node를 이미지 떠서 만들면 더 편할 듯하다.) 3. k8smaster2번을 master node에 join 한다. 기존에 worker node 추가때 사용하던 kubeadm join 으로 부터 추가적으로 hash와 flag가 필요할 것이다. 4. k8smaster3번을 master node에 join 한다. 5. haproxy에 3개의 master를 사용하도..

• format_list_bulleted IT/쿠버네티스
• · 2020. 2. 19.
• textsms

[kubernetes-실습] Security - Authentication, Authorization, Admission

Kubernetes 클러스터는 사용자의 유형으로 service accoount와 normal users 가 있지만 normal users는 외부 서비스에 의해 관리된다. normal users를 나타낼 개체가 없고, 또한 API 호출을 통해 추가할 수도 없다. 하지만 service account를 추가할 수 있다. RBAC을 사용하여 개발자 devJang을 위한 네임스페이스 내의 행동에 대한 접근을 테스트해 본다. # Authentication, Authorization - 두개의 테스트용 dev, prod namespace를 생성한다. # dev, prod의 두개 namespace를 생성한다. ps0107@k8smaster1:~$ kubectl create ns dev namespace/dev crea..

• format_list_bulleted IT/쿠버네티스
• · 2020. 2. 17.
• textsms

[kubernetes-실습] Security - TLS

# Working with TLS # 마스터 노드와 보조 노드 모두에서 kubelet 을 보자 . # kube-apiserver 는 cerificates 과 authorization mode와 같은 보안 정보를 보여준다. # kubelet 은 systemd 서비스이므로 아래와 같이 상태를 볼수 있다. # 아래 CGroup 정보에 보면 설정 파일들이 어디에 있는지 알수 있다. ps0107@k8smaster1:~$ systemctl status kubelet.service ● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: e..

• format_list_bulleted IT/쿠버네티스
• · 2020. 2. 13.
• textsms

[맛잇는간식] 아기간식, 코코넛쌀뻥튀기~ 너무 좋아하는 간식! 아기과자 아기뻥튀기~

얼마전 송도 트리플스트리트 지하 1층을 지나다가 프리마켓에서 발견한 간식인데요~^^ 이제 15개월 지난 우리 아기가 너무 좋아하는 간식 과자가 되었네요~ 지난번에 먹어보고 또 구입했어요~^^ 다른 종류도 많긴한데 모양도 길고 중간에 꽈배기 모양의 과자가 또 있어서 그런지 호기심 유발도 되는거 같습니다^^ 오후의 식탁 - 코코넛 쌀 뻥튀기 오프라인보다 조금 저렴하게 온라인에서도 파는군요~^^ 다음엔 온라인에서 구매해보려구여~^^ * 해당 리뷰는 직접 구매하여 남기는 리뷰이며, 포스팅 링크를 통해 구매시 쿠팡파트너스 활동의 일환으로 이에 따른 일정액의 수수료를 제공받을 수 있습니다.

• format_list_bulleted 소소한 일상
• · 2020. 2. 9.
• textsms

[kubernetes-실습] helm

# helm 1. 복잡한 어플리케이션들을 배포할때 사용하며, yum 이나 apt와 비슷하게 쿠버네티스 안의 package manager 역할을 한다. 2. chart template을 통해서 kubenetes application 을 패키징한다. 3. helm은 chart의 install을 요청하는 client 이다. 4. chart에 따라서 Tiller(서버) 가 cluster resource들을 생성한다. # helm과 Tiller helm은 로컬에 설치한 client를 말하고 Tiller는 쿠버네티스 클러스터 안에서 실행 중인 서버이다. # Helm 과 Charts helm 을 사용하면 복잡한 구성을 쉽게 구현할 수 있다. multi-part 애플리케이션을 한 번에 deployment 할 수 있다...

• format_list_bulleted IT/쿠버네티스
• · 2020. 2. 9.
• textsms

[Azure] Microsoft Azure 기초다지기 온라인 강의

AZ-900 자격증 취득을 위해 만들어 졌고, azure를 좀더 많은 분들이 사용했으면 하는 마음에서 클라우드메이트의 김세준님이 강의를 준비하셨다고 하네요^^ Azure에 알고 싶고, 기초를 탄탄히 하고 싶은 분들이게 추천합니다~ 저도 시간 내서 수강해야겠네요~^^ 3/31까지 무료라고 하네요^^ Microsoft Azure 기초다지기https://educast.com/course/other-cert/ZB88

• format_list_bulleted IT/클라우드
• · 2020. 2. 6.
• textsms

[kubernetes-실습] CRD (Custom Resource Definition)

# Custom Resource Definition 생성 # CRD 생성을 위한 yaml 파일 작성 ps0107@k8smaster1:~$ vi crd.yaml apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: crontabs.ps.example.com spec: scope: Cluster group: ps.example.com version: v1 names: kind: CronTab plural: crontabs singular: crontab shortNames: - ct # CRD 생성 ps0107@k8smaster1:~$ kubectl create -f crd.yaml customresour..

• format_list_bulleted IT/쿠버네티스
• · 2020. 2. 6.
• textsms

[kubernetes] CRD (Custom Resource Definition)

# 사용자 정의 리소스 (Custom Resources) 1. 변화하는 요구에 유연하게 대응 2. 고유한 API 개체 생성 3. kubectl틀을 통해 API 개체 관리 4. 사용자 정의 리소스 정의(CRD) 5. 집계 APIs(AA) # 사용자 정의 리소스 정의 (Custom Resource Definitions) 1. 특징 - deploy가 쉬움 - 일반적으로 프로그래밍을 요구하지 않음 - 다른 API server를 요구하지 않음 - Namespaced or cluster 전체에서 쓸지 scope 결정할 수 있다. 2. 설정 예시 - Configuration apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition # => kub..

• format_list_bulleted IT/쿠버네티스
• · 2020. 2. 6.
• textsms