꿀벌개발일지 :: 꿀벌개발일지

타이틀명을 입력해주세요.

효과적인 DynamoDB 디자인 및 활용

발생일: 2020.02.18 키워드: nosql, dynamodb, 다이나모디비 문제: 이번엔 디비를 NoSQL로 AWS의 DynamoDB를 사용해서 구성해보려고 한다. 아키텍처 디자인을 어떻게 해야할까 고민하던 차에, A가 리인벤트 동영상을 추천해줬는데 내용이 좋다. youtu.be/8rEsuvdL17s 아래는 보면서 정리해둔 내용. 해결책: - 한 애플리케이션에 한 개의 테이블 - 파티션 키는 데이터를 골고루 분산하는 용도로 (데이터 분배 결정) - 고유 값이 많은 속성(카디널리티가 높은 속성)..

Daylogs/DB ohgyun 2021.02.18 0 comment
JWT 개념 이해하기

발생일: 2021.02.09 키워드: JWT, JSON Web Token, 세션 기반, stateless, Access Token, Refresh Token, 액세스 토큰, 리프레시 토큰 문제: 이번엔 인증 과정에 JWT를 사용해보기로 했다. 건너자리 B가 코드를 다 짜왔고, 자세한 설명까지 보태서 이해가 쏙 되게 공유해줬다. (좋은 내용을 쉽게 이해하고 왔으니^^) 레거시만 운영해왔던 J에게도 JWT를 이용한 인증 관리를 설명해주려고 한다. 기존 환경과 비교해서 이해하기 쉽게 정리해봤다. 해결책: JWT(JSON W..

Daylogs/Security ohgyun 2021.02.11 0 comment
Salted Hashes vs. HMAC

발생일: 2020.05.25 키워드: HMAC, salted hash 문제: HMAC 과 hash 에 salt 를 적용한 게 어떤 차이가 있을까? 실제로 쓰다보면 큰 차이가 없는 것 같은데... 해결책: 잘 정리된 글이 있다. security.stackexchange.com/questions/29951/salted-hashes-vs-hmac 요약하면, - 해시 함수는 기본적으로 길이에 제한이 있는 취약점(length extension)이 있음 (예: 모든 해시값에 대한 사전을 만들어두고 역으로 조회) - 이런 사전형 복호화를 방어하기 위해 salt를 적용..

Daylogs/Security ohgyun 2021.02.09 0 comment
lock=none, algorithm=inplace 으로 테이블 변..

발생일: 2020.07.30 키워드: mysql, aurora, DB 컬럼 추가, DB 인덱스 추가, add index without lock, add column 문제: 크기가 큰 MySQL (Aurora) 테이블에 컬럼이나 인덱스를 추가하려고 한다. 테이블 크기가 큰 경우, 락 타임이 길어져서 운영 중일 땐 문제가 발생할 수 있다. 어떻게 하면 될까? 해결책: algorithm 절과 lock 절을 이용하면, 락을 걸지 않고 컬럼이나 인덱스를 추가 또는 삭제할 수 있다. 컬럼 추가 규모가 큰 larget_table 에 new_date 란 이름으로 DA..

Daylogs/DB ohgyun 2021.02.09 0 comment
DeepLearning.AI TensorFlow Developer 노트

발생일: 2020.11.25 키워드: tensorflow, coursera, 코세라 내용: 코세라의 TensorFlow Developer 강좌 노트 www.coursera.org/professional-certificates/tensorflow-in-practice (간단하게 기억을 더듬는 용도로 적어둔 노트임) CNN - DNN (Densed Neural Network), CNN (Convolutional Neural Network) - loss functions: binary_crossentropy, categorical_corssentropy - activation functions: relu, softmax, sigmoid - optimizer: sgd, rmsprops, adam, .....

Daylogs/AI ohgyun 2021.02.09 0 comment
강연: 호갱노노 이렇게 만듭니다

발생일: 2020.11.26 키워드: 호갱노노, 삼성전자 내용: 삼성전자 R&D 센터에 초청받아 강연하고 왔다. R&D 센터는 이번이 두 번째 방문이다. 한 때 나름 인기가 많았던ㅎㅎ 코드리뷰 경험을 주제로 강연을 부탁받아서 다녀왔었다. 벌써 4년 전 일인데, 당시 환대해주셔서 특히 기억에 남는다. 올해는 개발 문화를 주제로 하는 전사 사내 컨퍼런스라고 소개받았다. 최근에 시간적인 여유도 조금 생겼고, 마음 편하게 다녀왔던 생각에 큰 부담을 갖지 않고 수락했다. 양재라서..

Daylogs/생각_경험 ohgyun 2021.02.08 0 comment
클럽하우스와 음성 데이터

발생일: 2020.02.03 키워드: 클럽하우스, clubhouse, voice data, voice recognition, 음성 인식 내용: 요새 클럽하우스가 인기인가보다. 음성 기반의 SNS 서비스이다. 초대 받아 들어가서 잠깐 체험만 해보았는데, 음성 데이터의 가치가 엄청날 것 같아 보인다. 얼마 전에 1조 가치로 투자 받았다는데, 이런 특징들이 클럽하우스의 내재 가치를 올려주었던 게 아닐까 생각해봤다. - 화자가 명확한 음성 데이터를 수집할 수 있다는 것 - 다자간 음성 대화를 주제별로 분류할..

Daylogs/개발뉴스 ohgyun 2021.02.04 0 comment
뉴스: GPT-Neo 를 개발하고 있다는 소식

발생일: 2020.02.04 키워드: GTP-3, GTP-Neo, NLP 내용: 화제가 됐던 NLP 모델인 GTP-3의 무료 복제본인 GPT-Neo 를 개발하고 있다는 소식 GPT-Neo - GTP-3 의 복제 버전을 무료 공개용으로 제작할 목적 - GTP-3는 현재 마이크로소프트가 독점 라이선스를 가지고 있음 - 올해 8월 초까지 완성할 계획으로 목표는 GTP-3와 동일한 수준으로 구현하는 것 - 파라미터 1750억개의 버전이 목표이고, 현재 파라미터 1000억개까지는 완료함 - 사회적 편견을 없애는데..

Daylogs/개발뉴스 ohgyun 2021.02.04 0 comment
AWS: ElasticSearch 사이즈 최적화

발생일: 2020.07.28 키워드: aws, elasticsearch size, 사이즈, node size, 노드 사이즈 문제: AWS 엘라스틱서치에 몇 가지 검색을 추가해 넣으려고 한다. 예전에 몇 번 다운됐던 적이 있어서, 미리 적합한 사이즈를 알아보려고 한다. 어느 정도가 적합한 걸까? 해결책: 사이즈 찾는 가이드 문서가 있다. https://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/sizing-domains.html 적합한 스토리지 사이즈 - 클러스터 > 노드 > 샤드 - 물리 서버..

Daylogs/AWS ohgyun 2021.02.03 0 comment
엘라스틱서치 시작하기 노트

발생일: 2020.07.25 키워드: 엘라스틱서치, elastic search 문제: 엘라스틱서치로 검색을 구현하려고 한다. 시작하기 문서를 찾아서 봤는데, 너무 이해하기 쉽게 잘 설명해준다. 아래는 노트해둔 것. 해결책: 엘라스틱 서비스 - Kibana 시각화 도구 - Elastic Search 검색 도구 - Beats, Logstash 수집 도구 - 이거 합해서 엘라스틱 스택 기타 기능 - 엘라스틱 사이트 서치: 사이트 URL 넣으면 색인 모두 만들어줌. 자동완성과 검색 제공하는 자바스크립트 모듈만 넣으면 된..

Daylogs/Etc ohgyun 2021.02.03 0 comment
파일을 바이너리로 보기

발생일: 2020.12.23 키워드: byte, binary, 바이너리, 바이트, hex, hexdump, xdd, od 문제: 머신러닝 예제를 돌려보고 있는데, 1바이트에 1개의 레이블이 있고 10개씩 묶으로 가져와 처리하는 예제였다. 파일을 특정 바이트 단위로 묶어서 바이너리 형태로 보고 싶은데 어떻게 하면 될까? 해결책: xxd 툴로 바이너리로 읽어볼 수 있다. 기억을 더듬느라 좀 헷갈렸는데, 1byte = 8bit = 0~255 까지 256을 표현 = 2진수(binary)로 8자리 (00000000 ~ 11111111) = 2진수는 4자..

Daylogs/Unix ohgyun 2021.02.03 0 comment
AI For Everyone 노트

발생일: 2020.12.07 키워드: Coursera, Andrew Ng, Deep Learning, AI 문제: 코세라의 AI For Everyone 강의를 보고 정리한 노트 (강의 링크) 해결책: - AI > 머신러닝 > 딥러닝 = Neural Network - 딥러닝은 뉴런에서 영감을 받았지만, 사람의 뇌의 동작 방식은 알 수 없음 - 머신러닝의 대부분은 지도 학습(Supervised Learning) - Input A 로 B를 매핑하는 것 (A to B mapping) - 사람이 1초 안에 판단할 수 있는 것이라면 지도 학습으로 구현 가능 - AI 팀과 DS 팀은..

Daylogs/AI ohgyun 2021.02.03 0 comment
스케치의 컬러와 크롬의 컬러가 다른 이슈

발생일: 2020.04.09 키워드: 스케치, sketch, 컬러 스페이스 문제: 디자이너가 스케치에서 작업해준 컬러를 크롬에 적용했는데, 컬러 코드가 동일한데도 색상이 눈에 띄게 다르다. 왜 그런 걸까? 해결책: 프로그램마다 사용하는 컬러 스페이스가 다르기 때문이었다. (좀 찾아보니 컬러 스페이스는 색 공간, 색 영역, 컬러 프로필, 컬러 프로파일, 디스플레이 프로필 같은 용어로 쓰인다. 여기선 통일해서 컬러 스페이스라고 표기했다) 크롬을 포한한 브라우저의 컬러 스페이..

Daylogs/Etc ohgyun 2020.04.17 0 comment
Array.sort() 정렬 기준은 문자열의 유니코드..

발생일: 2019.05.31 키워드: Array.sort, sort, 정렬 문제: 아래와 같이 sort() 함수로 정렬했는데, [1, 5, 10, 20].sort(); 결과가 아래와 같이 기대했던 것처럼 나오지 않는다. [1, 10, 20, 5] 으잉? 해결책: 나만 몰랐나... Array.sort() 의 기본 정렬 기준은 문자열의 유니코드 포인트였다. 숫자로 정렬하려면 아래와 같이 compareFunction 을 넘겨주면 된다. [1, 5, 10, 20].sort((a, b) => a - b); 기존에 비슷한 코드도 확인해봐야겠다... 논의: 우린 유틸리티 모듈로 언더스코어..

Daylogs/Javascript ohgyun 2019.05.31 0 comment
MySQL: 테이블 이름 변경에 view 활용하기

발생일: 2019.04.22 키워드: mysql, view, 뷰 문제: 기존 변수를 모두 변경하면서 관련된 테이블의 이름도 함께 변경하려고 한다. 테이블 앨리어스가 있다면 가장 쉽게 운영 중인 서비스에도 문제 없이 적용할 수 있을 것 같다. 가만, view 가 업데이트도 가능했던가? 해결책: 단일 테이블로 생성한 뷰는 업데이트나 인서트도 가능하다. - view 조건에 해당되지 않는 경우에도 업데이트나 인서트가 가능하다. CREATE VIEW emp_view AS SELECT * FROM emp WHERE..

Daylogs/DB ohgyun 2019.05.20 0 comment

카테고리

분류 전체보기 (723)

About me. (6)

Daylogs (688)

영어공부 (0)

My works - 추억 (29)

비공개 (0)

티스토리툴바