조그만 사람의 개발 주머니

1. SSE 란? 웹 브라우저와 서버 사이의 단방향 통신을 가능케 하는 프로토콜 기술이다. 서버가 클라이언트로 데이터를 푸시하는데에 사용되며, 실시간 업데이트를 필요로 하는 웹 어플리케이션에 유용하다. 2. SSE의 특징 2-1. 단방향 통신 SSE는 오직 서버에서 클라이언트로만의 데이터 전송을 지원하는 단방향 통신 프로토콜이다. 즉, 클라이언트에서 서버로 요청을 보내지 않아도, 서버는 실시간 업데이트를 클라이언트로 전송할 수 있다. 2-2. 텍스트 기반 SSE는 주로 텍스트 데이터에 최적화되어 있다. ( 대용량 바이너리 파일 처리 등에는 부적합하다 ) 💡 텍스트 데이터란? 텍스트 기반으로 표현될 수 있는 모든 데이터. ( 예시 1 ) JSON 형식 data: {"event": "update", "dat..

개요 본 장에서는 MySQL 서버에서 적합한 설정 파일을 만드는 방법을 다룬다. 가령, 혹자는 "MySQL 설정 파일"에 다음과 같은 질문을 할 수도 있다. "32GB의 RAM과 12개 CPU 코어가 있는 서버에 가장 적합한 설정 파일은 무엇인가요?" 이 질문에 대한 답은 그리 간단하지 않다. 단순히 하드웨어의 스펙에 의존하는 것이 아니라 워크로드, 데이터, 어플리케이션의 특성이나 요구 사항에 맞추어 서버를 설정해야 한다. MySQL은 기본 설정으로 대부분의 시스템에서 훌륭하게 동작한다. 그래서 대부분은 기본 설정으로 MySQL 서버를 구성하고 스키마 최적화나 인덱스 및 쿼리 디자인 등에 더 많은 시간을 할애하는 것이 좋다. 심지어 기본 옵션을 변경하였을 때, 얻을 수 있는 잠재적 이점은 그리 크지 않을..

개요 MySQL에 필요한 4가지 기본 리소스는 CPU, 메모리, 디스크, 네트워크 리소스이다. 네트워크는 심각한 병목 현상을 거의 나타내지 않지만, CPU, 메모리, 디스크는 확실히 자주 나타낸다. CPU, 메모리, 디스크 간의 관계는 복잡하여, 한 영역의 문제가 종종 다른 곳에서 나타난다. 어떤 문제에 자원을 투입하기 전에 다른 문제에 자원을 대신 투입해야하는지 자문하는 과정이 필요하다. 이 장에서는 MySQL의 적절한 성능을 위해 하드웨어와 운영 체제를 어떻게 구성해나가는 것이 필요한지 다룬다. MySQL의 성능을 제한하는 요소 MySQL의 가장 흔한 병목 현상은 "CPU 고갈"이다. MySQL이 병렬로 너무 많은 쿼리를 실행하려고 하거나 수가 적더라도 CPU에서 쿼리가 너무 오랫동안 실행될 때 CP..

성능 스키마 사용 앞서서, 성능 스키마가 무엇인지, 이를 어떻게 설정하는지 알아보았다면, 이곳에서는 성능 스키마를 통해 일반적인 문제를 해결해보고자 한다. SQL문 점검 1. Performance schema 직접 사용 성능 스키마는 SQL문의 성능을 점검하기 위해 다양한 인스트루먼트 세트를 제공한다. performance_schema를 사용하면 성능 문제를 일으키는 쿼리와 이유를 쉽게 찾을 수 있다. 아래와 같은 유형의 인스트루먼트를 활성화하면 SQL 구문 인스트루먼트를 확인할 수 있다. Instrument Class Description statement/sql SELECT 또는 CREATE TABLE 과 같은 SQL문 statement/sp Stored Procedure 제어 statement/sc..

성능 스키마 소개 성능 스키마 ( Performance Schema ) 는 MySQL 서버 내에서 실행되는 작업에 대한 상세 메트릭을 제공한다. 성능 스키마는 크게 두 가지 개념을 바탕으로 작동된다. 1. 인스트루먼트 ( instrument ) 인스트루먼트는 정보를 얻고자 하는 MySQL의 코드 내 특정 부분을 나타낸다. 2. 컨슈머 ( consumer ) 어떤 코드가 수행되었는지에 대한 정보를 저장하는 테이블을 나타낸다.대부분의 DBA가 성능 스키마를 통해 사용하는 부분이 이 컨슈머이다. 인스트루먼트 요소 SELECT * FROM performance_schema.setup_instruments WHERE DOCUMENTATION IS NOT NULL; 위와 같은 쿼리문을 통해 performance_s..

개요 많은 서버들에서는 안정성을 위해 Circuit Breaker 패턴을 취하고 있다. 본 페이지에서는 Circuit Breaker 패턴의 정의와 구현 방식에 대해 정리해본다. Circuit Breaker Pattern 이란? 배경 서비스 개발 도중 외부 의존성은 피해갈 수 없다. 가령, 게시물을 올리는 서비스를 생각해보자. 개발자는 이미지를 버퍼로 받아서 Google Cloud Storage 나 AWS DynamoDB 등에 이미지를 업로드한다. 이 때, 예기치 못하게 Google Cloud Storage 나 AWS DynamoDB에 장애가 생긴다면, 어떻게 될까? 해당 API는 장애를 겪게 되고, 경우에 따라서는 장애가 다른 곳까지 전파될 수도 있다. 물론 적절한 에러 핸들링이 조치에 도움이 될 때도 ..

신뢰성 엔지니어링 그리고 DBA 지난 수년간, 데이터베이스 성능 모니터링은 단일 서버 성능에 대한 심층 분석에 의존했다. 이는, 사후 대응적인 측정에 더 중점을 경향으로 DBA가 게이트키핑으로서 역할할 때의 표준 운영 절차였다. 하지만, 현대의 DBA는 다르다. 구글은 신뢰성 엔지니어링에 대해 다음과 같이 이야기 한다. DBA의 역할은 더욱 복잡해지고 SRE(사이트 신뢰성 엔지니어) 또는 DBRE(데이터베이스 신뢰성 엔지니어)로 바뀌었으며, 팀은 시간을 최적해야합니다. 서비스 수준은 고객이 언제 불만을 느끼는지 정의하는 데에 도움이 되며, 성능 문제와 내부적으로 처리하는 작업 문제를 조율하여 시간을 보다 효율적으로 안배할 수 있습니다. 즉, 성공적인 고객 경험을 보장하기 위해 MySQL을 모니터링하는 것..

MySQL의 논리적 아키텍처 MySQL의 논리적인 뷰는 아래와 같은 그림과 같이 크게 세 개의 계층으로 나타낼 수 있다. 최상위 계층인 클라이언트부터 최하위 계층인 스토리지 엔진까지는 다음과 같이 역할이 분담되어 있다. - 첫 번째 계층 ( 클라이언트 ): 네트워크 기반 클라이언트 / 서버 도구 또는 서버에 필요한 연결 처리, 인증, 보안. - 두 번째 계층 ( 파서, 옵티마이저 등 ): 쿼리 파싱, 분석, 최적화 및 모든 기본 제공 함수 등 MySQL의 대부분의 지능적인 부분. - 세 번째 계층 ( 스토리지 엔진 ): MySQL에 데이터를 저장하고 검색하는 역할. 서버는 스토리지 엔진 API를 통해 통신하고, 이 API는 스토리지 엔진 간의 차이를 숨겨서 쿼리 계층에서는 그 차이를 느끼지 못함. "트랜..

2년간 회사를 다니면서, MySQL 데이터베이스와 관련한 다양한 이슈는 항상 내 곁을 따라왔다. 대게 이슈는 다음과 같은 형태를 가진다. 1. 슬로우 쿼리 최적화 이슈 2. 트랜잭션과 그 격리 레벨에 따른 동시성 이슈 3. 데이터 베이스이 리소스 관리 이슈 - 커넥션, CPU, 메모리 중 하나가 부족하여, 라이브 서비스에 발생한 장애가 그 예다. 위와 같은 이슈를 겪으면서 내가 가졌던 생각을 나열하면, 다음과 같다. 1. 데이터 베이스는 서버가 갖는 불가피한 외부 의존성이기에, 데이터 베이스의 장애는 서비스에 치명적일 수 밖에 없다. 2. 그렇기에, HA와 같이 장애가 발생했을 때의 방어 조치들도 중요하지만, 장애를 피할 수 있다면 최대한 피하는 것이 필요하다. 정리하면, 데이터 베이스의 선제/후속 조치..

1. 개요 이전 회사를 다니며 진행했던 SaaS 프로젝트에 대해 회고해보고자 한다. 1) Saas 프로젝트란? 더보기 SaaS(Software as a Service)는 클라우드 기반의 소프트웨어 제공 모델로, 클라우드 제공업체가 클라우드 애플리케이션 소프트웨어를 개발 및 유지 관리하고, 자동 소프트웨어 업데이트를 제공하고, 인터넷을 통해 Pay-as-you-Go 방식으로 고객에게 소프트웨어를 제공합니다. 출처: https://www.oracle.com/kr/applications/what-is-saas/ 쉽게 생각하면, 로컬한 소프트웨어를 클라우드 형식으로 제공하는데에 그 의의가 있다. 2) 왜 SaaS를 사용할까? 내가 생각하는 SaaS의 가장 큰 장점은 '접근성'에 있는 것 같다. 우선 로컬한 소프..

1. 개요 평화롭게 개발을 하고 있던 어느 날 .. 한 유저로부터 게임 접속이 되지 않는다는 문의 메일을 받게 된다. 빠르게 패킷 로그를 확인해보았고, 유저가 메일을 보낸 시간대에 DB 구문 에러가 발생한 패킷을 확인할 수 있었다. 2. 원인 원인은 바로 .. SQL Injection ....! 유저가 계정을 변경하면서, ( 실수인지 아닌지는 모르겠지만 ) 홑따옴표를 넣은 것이다. (예) user@naver.com' 확인해보니, 로그인 로직 상에서 Raw query를 사용하는 부분이 있었다. 여기서 injection에 대한 처리를 따로 해주지 않아서 발생한 문제였던 것이다. 3. 해결 1) 우선 다른 Repository에서도 Injection 문제가 발생하는지 확인해보았다. 그 결과, Sequelize의..

MySQL 서버의 구조는 다음과 같이 나누어 생각할 수 있습니다. - MySQL 엔진: 머리 역할 - 스토리지 엔진: 손발 역할 MySQL 엔진 아키텍처 My SQL 전체 구조 MySQL 서버는 다른 DBMS에 비해 구조가 상당히 독특합니다. 이 구조로 인해 엄청난 혜택이 있기도 하지만, 이상한 곳에서 문제가 되기도 합니다. MySQL은 다른 DBMS와 마찬가지로 대부분의 프로그래밍 언어에서 접근 방법을 모두 지원하고 있습니다 ( C/C++, PHP, JAVA, Python, Ruby 등 ). a) MySQL 엔진 MySQL 엔진은 클라이언트로부터의 접속 및 쿼리 요청을 처리하는 커넥션 핸들러와 SQL 파서 및 전처리기, 쿼리의 최적화된 실행을 위한 옵티마이저가 중심을 이룹니다. b) 스토리지 엔진 My..

MySQL의 사용자 계정은 단순히 사용자의 아이디 뿐 아니라 해당 사용자가 어느 IP에서 접속하고 있는지도 확인합니다. MySQL 8.0부터는 권한을 묶어서 관리하는 역할의 개념이 도입됐기 때문에 각 사용자의 권한으로 미리 준비된 권한 세트를 부여하는 것도 가능합니다. 데이터베이스의 보안은 중요하기에, 반드시 계정의 식별 방식과 권한, 역할에 대한 기본적인 내용을 숙지해야 합니다. 사용자 식별 MySQL은 다른 DBMS와 달리 사용자의 접속 지점(클라이언트가 실행된 호스트명이나 도메인 또는 IP주소)도 계정의 일부가 됩니다. → 계정을 언급할 때는 항상 아이디와 호스트를 함께 명시해야 한다. (예) svc_id@127.0.0.1 호스트가 함께 명시되기 때문에, 위 아이디로 MySQL서버에 접속을 하면, ..

MySQL 서버 설치 1) 버전 선택 가능한 한 최신 버전을 설치하는 것이 좋습니다. MySQL 8.0 버전이라면 MySQL 8.0.15와 8.0.20 사이의 버전부터 시작하는 걸 권장합니다. 커뮤니티 에디션과 엔터프라이즈 에디션 사이에 기능적인 차이는 없습니다. 다만, 기술 지원의 차이만 존재합니다. ( 이런 상용화 방식을 오픈 코어 모델이라고 합니다 ) 2) 설치 설치는 MySQL 사이트에서 DMG파일로 진행합니다. ( mac 기준 ) 저 같은 경우, Homebrew를 이용해 설치를 했습니다. brew install mysql 설치 버전에 x86과 ARM이 있는데, 두 가지의 차이는 뭘까? x86과 ARM의 차이는 사용하는 CPU의 아키텍처. 일반적으로 데스크탑에서는 x86을 주로 사용하고 스마트폰에..

MySQL의 시작 - MySQL은 스웨덴의 TcX라는 회사의 터미널 인터페이스 라이브러리인 UNIREG로부터 시작하였습니다. TcX에서 몬티와 데이빗을 중심으로 개발 시작합니다. - Oracle에 인수된 후, 시장에서 사라질 것이라는 사람들의 예상과는 달리 안정성과 성능 개선에 집중하면서 MySQL 8.0부터는 상용 DBMS가 가지고 있는 기능들이 장착되기 시작하였습니다. MySQL의 경쟁력 - 오라클과 비교했을 때, MySQL의 경쟁력은 당연히 가격이나 비용에 있습니다. - 최근 컴퓨터 시장의 변화는 방대한 데이터량을 산출하고 있는데, 이를 감당하기에 오라클 RDBMS는 비용이 많이 듭니다. - 페이스북 DBA는 이렇게 말합니다. "페이스북이 가진 데이터를 모두 오라클 RDBMS에 저장하면 페이스북은 ..