꿀벌개발일지 :: 꿀벌개발일지

타이틀명을 입력해주세요.

DynamoDB: 고민했던 것들에 대한 정리

발생일: 2021.03.14 키워드: DynamoDB, 다이나모디비 문제: 다이나모디비를 써보면서 헷갈렸던 것들, 생각과 달랐거나 고민했던 내용, 중요하다고 생각되는 것들에 대한 정리 해결: 핫파티션은 프로비저닝 모드에서만 해당됨 - 과금 체계는 프로비저닝 모드와 온디맨드 모드가 있고 - 프로비저닝 모드 - 프로비저닝 모드는 RCU와 WCU를 직접 설정하는데, '초당 처리량' 기준임 - 핫파티션 이슈는 프로비저닝 모드에서만 해당됨 - 초당 요청이 할당 받은 처리량..

Daylogs/DB ohgyun 2021.03.14 0 comment
DynamoDB: Building NoSQL Database-Drive..

발생일: 2021.02.16 키워드: DynamoDB, 다이나모디비 문제: DynamoDB에 코세라 강좌가 있어 들으면서 정리했던 노트다. https://www.coursera.org/learn/dynamodb-nosql-database-driven-apps 지금보면 너무 기초적인 것 같은데, 당시 흐릿하게 개념이 잡혔던 터라 전체 컨셉을 이해하기에 좋았다. 지금 보더라도 유심히 기억해야할 만한 특징인 볼드로 표시해뒀다. 내용: Relational Databases and the Problem that Need Solving - RDS(Relational Data Sy..

Daylogs/DB ohgyun 2021.03.14 0 comment
구글 앱스 스크립트에서 비동기 작업 추가하기

발생일: 2021.03.10 키워드: 구글 앱스 스크립트, 구글 앱 스크립트, Google Apps Script, gas, background, setTimeout 문제: 구글 스프레드시트와 슬랙, 구글 앱스 스크립트로 간단한 자동화 태스크를 구축해뒀다. 슬랙을 API 창구로, 구글 앱스 스크립트를 앱 서버로, 스프레드시트를 디비로 사용하고 있다. 예를 들면 이런 작업이다. 1. 슬랙에서 /find_stock_price 같은 슬래시 명령을 치면 2. 구글 앱스 스크립트에서 요청을 받아서 3. 스프레드시트의 값을 수정하거..

Daylogs/Etc ohgyun 2021.03.10 0 comment
DynamoDB: 파티션키와 정렬키의 이해

발생일: 2021.03.09 키워드: DynamoDB, 다이나모디비, Partition Key, Sort Key, 파티션키, 정렬키, PK, SK, GSI 문제: 동료들이 다이나모디비의 파티션키(Partition Key)와 정렬키(Sort Key)의 관계를 헷갈려한다. 해결책: 처음엔 개념이 잘 잡히진 않았는데, 알고보니 간단하고 명확한 개념이었다. 다이나모디비로 설계하면서 자꾸 복잡하다고 느끼는 건, 설계 시점부터 스케일 아웃을 고려하고 있기 때문인 것 같다. RDS에선 스케일을 고려했다기보단, 이름 그대로 관..

Daylogs/DB ohgyun 2021.03.09 0 comment
npm registry 를 찾지 못하는 이슈

발생일: 2021.02.22 키워드: yarn config, npm config, registry, npmrc, private registry 문제: 갑자기 전체 태스크가 실패했고, 건너자리 A가 코드 원복까지 했는데도 계속 지속됐다. 에러 문구를 보니 특정 npm 모듈의 리파지터리를 찾지 못하는 문제다. node_modules 디렉토리를 날리고 새로 설치해도 동일한 문제가 발생했다고 한다. 이번에 npm registry 를 변경하는 작업을 준비하고 있었는데, 새로 설치된 모듈이 아직 준비되지 않은 새 레지스트리를 바라본 것이..

Daylogs/Javascript ohgyun 2021.03.09 0 comment
효과적인 DynamoDB 디자인 및 활용

발생일: 2020.02.18 키워드: nosql, dynamodb, 다이나모디비 문제: 이번엔 디비를 NoSQL로 AWS의 DynamoDB를 사용해서 구성해보려고 한다. 아키텍처 디자인을 어떻게 해야할까 고민하던 차에, A가 리인벤트 동영상을 추천해줬는데 내용이 좋다. youtu.be/8rEsuvdL17s 아래는 보면서 정리해둔 내용. 해결책: - 한 애플리케이션에 한 개의 테이블 - 파티션 키는 데이터를 골고루 분산하는 용도로 (데이터 분배 결정) - 고유 값이 많은 속성(카디널리티가 높은 속성)..

Daylogs/DB ohgyun 2021.02.18 0 comment
JWT 개념 이해하기

발생일: 2021.02.09 키워드: JWT, JSON Web Token, 세션 기반, stateless, Access Token, Refresh Token, 액세스 토큰, 리프레시 토큰 문제: 이번엔 인증 과정에 JWT를 사용해보기로 했다. 건너자리 B가 코드를 다 짜왔고, 자세한 설명까지 보태서 이해가 쏙 되게 공유해줬다. (좋은 내용을 쉽게 이해하고 왔으니^^) 레거시만 운영해왔던 J에게도 JWT를 이용한 인증 관리를 설명해주려고 한다. 기존 환경과 비교해서 이해하기 쉽게 정리해봤다. 해결책: JWT(JSON W..

Daylogs/Security ohgyun 2021.02.11 0 comment
Salted Hashes vs. HMAC

발생일: 2020.05.25 키워드: HMAC, salted hash 문제: HMAC 과 hash 에 salt 를 적용한 게 어떤 차이가 있을까? 실제로 쓰다보면 큰 차이가 없는 것 같은데... 해결책: 잘 정리된 글이 있다. security.stackexchange.com/questions/29951/salted-hashes-vs-hmac 요약하면, - 해시 함수는 기본적으로 길이에 제한이 있는 취약점(length extension)이 있음 (예: 모든 해시값에 대한 사전을 만들어두고 역으로 조회) - 이런 사전형 복호화를 방어하기 위해 salt를 적용..

Daylogs/Security ohgyun 2021.02.09 0 comment
lock=none, algorithm=inplace 으로 테이블 변..

발생일: 2020.07.30 키워드: mysql, aurora, DB 컬럼 추가, DB 인덱스 추가, add index without lock, add column 문제: 크기가 큰 MySQL (Aurora) 테이블에 컬럼이나 인덱스를 추가하려고 한다. 테이블 크기가 큰 경우, 락 타임이 길어져서 운영 중일 땐 문제가 발생할 수 있다. 어떻게 하면 될까? 해결책: algorithm 절과 lock 절을 이용하면, 락을 걸지 않고 컬럼이나 인덱스를 추가 또는 삭제할 수 있다. 컬럼 추가 규모가 큰 larget_table 에 new_date 란 이름으로 DA..

Daylogs/DB ohgyun 2021.02.09 0 comment
DeepLearning.AI TensorFlow Developer 노트

발생일: 2020.11.25 키워드: tensorflow, coursera, 코세라 내용: 코세라의 TensorFlow Developer 강좌 노트 www.coursera.org/professional-certificates/tensorflow-in-practice (간단하게 기억을 더듬는 용도로 적어둔 노트임) CNN - DNN (Densed Neural Network), CNN (Convolutional Neural Network) - loss functions: binary_crossentropy, categorical_corssentropy - activation functions: relu, softmax, sigmoid - optimizer: sgd, rmsprops, adam, .....

Daylogs/AI ohgyun 2021.02.09 0 comment
강연: 호갱노노 이렇게 만듭니다

발생일: 2020.11.26 키워드: 호갱노노, 삼성전자 내용: 삼성전자 R&D 센터에 초청받아 강연하고 왔다. R&D 센터는 이번이 두 번째 방문이다. 한 때 나름 인기가 많았던ㅎㅎ 코드리뷰 경험을 주제로 강연을 부탁받아서 다녀왔었다. 벌써 4년 전 일인데, 당시 환대해주셔서 특히 기억에 남는다. 올해는 개발 문화를 주제로 하는 전사 사내 컨퍼런스라고 소개받았다. 최근에 시간적인 여유도 조금 생겼고, 마음 편하게 다녀왔던 생각에 큰 부담을 갖지 않고 수락했다. 양재라서..

Daylogs/생각_경험 ohgyun 2021.02.08 0 comment
클럽하우스와 음성 데이터

발생일: 2020.02.03 키워드: 클럽하우스, clubhouse, voice data, voice recognition, 음성 인식 내용: 요새 클럽하우스가 인기인가보다. 음성 기반의 SNS 서비스이다. 초대 받아 들어가서 잠깐 체험만 해보았는데, 음성 데이터의 가치가 엄청날 것 같아 보인다. 얼마 전에 1조 가치로 투자 받았다는데, 이런 특징들이 클럽하우스의 내재 가치를 올려주었던 게 아닐까 생각해봤다. - 화자가 명확한 음성 데이터를 수집할 수 있다는 것 - 다자간 음성 대화를 주제별로 분류할..

Daylogs/개발뉴스 ohgyun 2021.02.04 0 comment
뉴스: GPT-Neo 를 개발하고 있다는 소식

발생일: 2020.02.04 키워드: GTP-3, GTP-Neo, NLP 내용: 화제가 됐던 NLP 모델인 GTP-3의 무료 복제본인 GPT-Neo 를 개발하고 있다는 소식 GPT-Neo - GTP-3 의 복제 버전을 무료 공개용으로 제작할 목적 - GTP-3는 현재 마이크로소프트가 독점 라이선스를 가지고 있음 - 올해 8월 초까지 완성할 계획으로 목표는 GTP-3와 동일한 수준으로 구현하는 것 - 파라미터 1750억개의 버전이 목표이고, 현재 파라미터 1000억개까지는 완료함 - 사회적 편견을 없애는데..

Daylogs/개발뉴스 ohgyun 2021.02.04 0 comment
AWS: ElasticSearch 사이즈 최적화

발생일: 2020.07.28 키워드: aws, elasticsearch size, 사이즈, node size, 노드 사이즈 문제: AWS 엘라스틱서치에 몇 가지 검색을 추가해 넣으려고 한다. 예전에 몇 번 다운됐던 적이 있어서, 미리 적합한 사이즈를 알아보려고 한다. 어느 정도가 적합한 걸까? 해결책: 사이즈 찾는 가이드 문서가 있다. https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/sizing-domains.html 적합한 스토리지 사이즈 - 클러스터 > 노드 > 샤드 - 물리 서버..

Daylogs/AWS ohgyun 2021.02.03 0 comment
엘라스틱서치 시작하기 노트

발생일: 2020.07.25 키워드: 엘라스틱서치, elastic search 문제: 엘라스틱서치로 검색을 구현하려고 한다. 시작하기 문서를 찾아서 봤는데, 너무 이해하기 쉽게 잘 설명해준다. 아래는 노트해둔 것. 해결책: 엘라스틱 서비스 - Kibana 시각화 도구 - Elastic Search 검색 도구 - Beats, Logstash 수집 도구 - 이거 합해서 엘라스틱 스택 기타 기능 - 엘라스틱 사이트 서치: 사이트 URL 넣으면 색인 모두 만들어줌. 자동완성과 검색 제공하는 자바스크립트 모듈만 넣으면 된..

Daylogs/Etc ohgyun 2021.02.03 0 comment

카테고리

분류 전체보기 (728)

About me. (6)

Daylogs (693)

영어공부 (0)

My works - 추억 (29)

비공개 (0)

티스토리툴바