꿀벌개발일지 :: 꿀벌개발일지

타이틀명을 입력해주세요.

DynamoDB: on-demand 모드의 오토 스케일..

발생일: 2021.04.21 키워드: 다이나모디비, 온디맨드, 오토 스케일링, auto scaling 문제: 다이나모디비를 온디맨드 모드로 쓰고 있다. 배치 작업으로 평소보다 많은 데이터를 PUT 했는데, 아래와 같은 에러가 나온다. Throughput exceeds the current capacity for one or more global secondary indexes. DynamoDB is automatically scaling your index so please try again shortly. 온디맨드 모드는 스케일 제한이 없는 걸로 알았는데 왜 그런걸까? 해결책: 테이블..

Daylogs/DB ohgyun 2021.04.16 0 comment
DynamoDB: 고민했던 것들에 대한 정리

발생일: 2021.03.14 키워드: DynamoDB, 다이나모디비 문제: 다이나모디비를 써보면서 헷갈렸던 것들, 생각과 달랐거나 고민했던 내용, 중요하다고 생각되는 것들에 대한 정리 해결: 핫파티션은 프로비저닝 모드에서만 해당됨 - 과금 체계는 프로비저닝 모드와 온디맨드 모드가 있고 - 프로비저닝 모드 - 프로비저닝 모드는 RCU와 WCU를 직접 설정하는데, '초당 처리량' 기준임 - 핫파티션 이슈는 프로비저닝 모드에서만 해당됨 - 초당 요청이 할당 받은 처리량..

Daylogs/DB ohgyun 2021.03.14 0 comment
DynamoDB: Building NoSQL Database-Drive..

발생일: 2021.02.16 키워드: DynamoDB, 다이나모디비 문제: DynamoDB에 코세라 강좌가 있어 들으면서 정리했던 노트다. https://www.coursera.org/learn/dynamodb-nosql-database-driven-apps 지금보면 너무 기초적인 것 같은데, 당시 흐릿하게 개념이 잡혔던 터라 전체 컨셉을 이해하기에 좋았다. 지금 보더라도 유심히 기억해야할 만한 특징인 볼드로 표시해뒀다. 내용: Relational Databases and the Problem that Need Solving - RDS(Relational Data Sy..

Daylogs/DB ohgyun 2021.03.14 0 comment
구글 앱스 스크립트에서 비동기 작업 추가하기

발생일: 2021.03.10 키워드: 구글 앱스 스크립트, 구글 앱 스크립트, Google Apps Script, gas, background, setTimeout 문제: 구글 스프레드시트와 슬랙, 구글 앱스 스크립트로 간단한 자동화 태스크를 구축해뒀다. 슬랙을 API 창구로, 구글 앱스 스크립트를 앱 서버로, 스프레드시트를 디비로 사용하고 있다. 예를 들면 이런 작업이다. 1. 슬랙에서 /find_stock_price 같은 슬래시 명령을 치면 2. 구글 앱스 스크립트에서 요청을 받아서 3. 스프레드시트의 값을 수정하거..

Daylogs/Etc ohgyun 2021.03.10 0 comment
DynamoDB: 파티션키와 정렬키의 이해

발생일: 2021.03.09 키워드: DynamoDB, 다이나모디비, Partition Key, Sort Key, 파티션키, 정렬키, PK, SK, GSI 문제: 동료들이 다이나모디비의 파티션키(Partition Key)와 정렬키(Sort Key)의 관계를 헷갈려한다. 해결책: 처음엔 개념이 잘 잡히진 않았는데, 알고보니 간단하고 명확한 개념이었다. 다이나모디비로 설계하면서 자꾸 복잡하다고 느끼는 건, 설계 시점부터 스케일 아웃을 고려하고 있기 때문인 것 같다. RDS에선 스케일을 고려했다기보단, 이름 그대로 관..

Daylogs/DB ohgyun 2021.03.09 0 comment
npm registry 를 찾지 못하는 이슈

발생일: 2021.02.22 키워드: yarn config, npm config, registry, npmrc, private registry 문제: 갑자기 전체 태스크가 실패했고, 건너자리 A가 코드 원복까지 했는데도 계속 지속됐다. 에러 문구를 보니 특정 npm 모듈의 리파지터리를 찾지 못하는 문제다. node_modules 디렉토리를 날리고 새로 설치해도 동일한 문제가 발생했다고 한다. 이번에 npm registry 를 변경하는 작업을 준비하고 있었는데, 새로 설치된 모듈이 아직 준비되지 않은 새 레지스트리를 바라본 것이..

Daylogs/Javascript ohgyun 2021.03.09 0 comment
효과적인 DynamoDB 디자인 및 활용

발생일: 2020.02.18 키워드: nosql, dynamodb, 다이나모디비 문제: 이번엔 디비를 NoSQL로 AWS의 DynamoDB를 사용해서 구성해보려고 한다. 아키텍처 디자인을 어떻게 해야할까 고민하던 차에, A가 리인벤트 동영상을 추천해줬는데 내용이 좋다. youtu.be/8rEsuvdL17s 아래는 보면서 정리해둔 내용. 해결책: - 한 애플리케이션에 한 개의 테이블 - 파티션 키는 데이터를 골고루 분산하는 용도로 (데이터 분배 결정) - 고유 값이 많은 속성(카디널리티가 높은 속성)..

Daylogs/DB ohgyun 2021.02.18 0 comment
JWT 개념 이해하기

발생일: 2021.02.09 키워드: JWT, JSON Web Token, 세션 기반, stateless, Access Token, Refresh Token, 액세스 토큰, 리프레시 토큰 문제: 이번엔 인증 과정에 JWT를 사용해보기로 했다. 건너자리 B가 코드를 다 짜왔고, 자세한 설명까지 보태서 이해가 쏙 되게 공유해줬다. (좋은 내용을 쉽게 이해하고 왔으니^^) 레거시만 운영해왔던 J에게도 JWT를 이용한 인증 관리를 설명해주려고 한다. 기존 환경과 비교해서 이해하기 쉽게 정리해봤다. 해결책: JWT(JSON W..

Daylogs/Security ohgyun 2021.02.11 0 comment
Salted Hashes vs. HMAC

발생일: 2020.05.25 키워드: HMAC, salted hash 문제: HMAC 과 hash 에 salt 를 적용한 게 어떤 차이가 있을까? 실제로 쓰다보면 큰 차이가 없는 것 같은데... 해결책: 잘 정리된 글이 있다. security.stackexchange.com/questions/29951/salted-hashes-vs-hmac 요약하면, - 해시 함수는 기본적으로 길이에 제한이 있는 취약점(length extension)이 있음 (예: 모든 해시값에 대한 사전을 만들어두고 역으로 조회) - 이런 사전형 복호화를 방어하기 위해 salt를 적용..

Daylogs/Security ohgyun 2021.02.09 0 comment
lock=none, algorithm=inplace 으로 테이블 변..

발생일: 2020.07.30 키워드: mysql, aurora, DB 컬럼 추가, DB 인덱스 추가, add index without lock, add column 문제: 크기가 큰 MySQL (Aurora) 테이블에 컬럼이나 인덱스를 추가하려고 한다. 테이블 크기가 큰 경우, 락 타임이 길어져서 운영 중일 땐 문제가 발생할 수 있다. 어떻게 하면 될까? 해결책: algorithm 절과 lock 절을 이용하면, 락을 걸지 않고 컬럼이나 인덱스를 추가 또는 삭제할 수 있다. 컬럼 추가 규모가 큰 larget_table 에 new_date 란 이름으로 DA..

Daylogs/DB ohgyun 2021.02.09 0 comment
DeepLearning.AI TensorFlow Developer 노트

발생일: 2020.11.25 키워드: tensorflow, coursera, 코세라 내용: 코세라의 TensorFlow Developer 강좌 노트 www.coursera.org/professional-certificates/tensorflow-in-practice (간단하게 기억을 더듬는 용도로 적어둔 노트임) CNN - DNN (Densed Neural Network), CNN (Convolutional Neural Network) - loss functions: binary_crossentropy, categorical_corssentropy - activation functions: relu, softmax, sigmoid - optimizer: sgd, rmsprops, adam, .....

Daylogs/AI ohgyun 2021.02.09 0 comment
강연: 호갱노노 이렇게 만듭니다

발생일: 2020.11.26 키워드: 호갱노노, 삼성전자 내용: 삼성전자 R&D 센터에 초청받아 강연하고 왔다. R&D 센터는 이번이 두 번째 방문이다. 한 때 나름 인기가 많았던ㅎㅎ 코드리뷰 경험을 주제로 강연을 부탁받아서 다녀왔었다. 벌써 4년 전 일인데, 당시 환대해주셔서 특히 기억에 남는다. 올해는 개발 문화를 주제로 하는 전사 사내 컨퍼런스라고 소개받았다. 최근에 시간적인 여유도 조금 생겼고, 마음 편하게 다녀왔던 생각에 큰 부담을 갖지 않고 수락했다. 양재라서..

Daylogs/생각_경험 ohgyun 2021.02.08 0 comment
클럽하우스와 음성 데이터

발생일: 2020.02.03 키워드: 클럽하우스, clubhouse, voice data, voice recognition, 음성 인식 내용: 요새 클럽하우스가 인기인가보다. 음성 기반의 SNS 서비스이다. 초대 받아 들어가서 잠깐 체험만 해보았는데, 음성 데이터의 가치가 엄청날 것 같아 보인다. 얼마 전에 1조 가치로 투자 받았다는데, 이런 특징들이 클럽하우스의 내재 가치를 올려주었던 게 아닐까 생각해봤다. - 화자가 명확한 음성 데이터를 수집할 수 있다는 것 - 다자간 음성 대화를 주제별로 분류할..

Daylogs/개발뉴스 ohgyun 2021.02.04 0 comment
뉴스: GPT-Neo 를 개발하고 있다는 소식

발생일: 2020.02.04 키워드: GTP-3, GTP-Neo, NLP 내용: 화제가 됐던 NLP 모델인 GTP-3의 무료 복제본인 GPT-Neo 를 개발하고 있다는 소식 GPT-Neo - GTP-3 의 복제 버전을 무료 공개용으로 제작할 목적 - GTP-3는 현재 마이크로소프트가 독점 라이선스를 가지고 있음 - 올해 8월 초까지 완성할 계획으로 목표는 GTP-3와 동일한 수준으로 구현하는 것 - 파라미터 1750억개의 버전이 목표이고, 현재 파라미터 1000억개까지는 완료함 - 사회적 편견을 없애는데..

Daylogs/개발뉴스 ohgyun 2021.02.04 0 comment
AWS: ElasticSearch 사이즈 최적화

발생일: 2020.07.28 키워드: aws, elasticsearch size, 사이즈, node size, 노드 사이즈 문제: AWS 엘라스틱서치에 몇 가지 검색을 추가해 넣으려고 한다. 예전에 몇 번 다운됐던 적이 있어서, 미리 적합한 사이즈를 알아보려고 한다. 어느 정도가 적합한 걸까? 해결책: 사이즈 찾는 가이드 문서가 있다. https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/sizing-domains.html 적합한 스토리지 사이즈 - 클러스터 > 노드 > 샤드 - 물리 서버..

Daylogs/AWS ohgyun 2021.02.03 0 comment

카테고리

분류 전체보기 (729)

About me. (6)

Daylogs (694)

영어공부 (0)

My works - 추억 (29)

비공개 (0)

티스토리툴바