fragment

IT 기술에 대해 학습한 내용을 정리합니다.

  • 개요 파인 튜닝(fine-tuning) LLM 등의 거대 모델에서 사전훈련 모델(pre-trained model)이 기본이 되었음. 보통 위키피디아 같은 거대한 데이터로 사전훈련을 하면 언어의 기본적인 특징을 이해하게 되며, 그다음 개별 태스크에 맞게 새로운 데이터로 재학습을 하는 파인튜닝(fine-tuning)을 거침. (거대)모델의 경우는 파라미터 사이즈가 너무나 크기…

  • 개요 시스템의 소비전력 관리 및 UPS 도입 등의 자료로 활용하기 위해 시스템에 소비 전력 측정 앱을 설치함 작업 내용 ubuntu 는 Windows 나 MacOS 와 같이 시스템 기본에서 전력 관리를 해주는 앱이 없음. 따라서 서드파티 툴을 이용하여 측정해야 함. 사용할…

  • 개요 AWS 의 관리형 데이터베이스 서비스인 RDS 에서는 MySQL Community 와 같은 기존 데이터베이스 엔진을 그대로 지원하기도 하며, AWS 의 자체 엔진인 Aurora 를 통해 호환 버전을 제공하기도 함. 이전에는 Aurora 엔진을 사용하는 것에 큰 이점이 없었으나, 최근에는 여러 새로운…

  • 개요 Amazon RDS 에서는 cross-Region read replica 라는 기능을 지원한다. 해당 기능은 master 에서 다른 리전에 read replica 를 생성하여 리전 간의 DB 를 공유할 수 있는 기능임. https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/AuroraUserGuide/aurora-global-database.html https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Replication.CrossRegion.html https://aws.amazon.com/ko/blogs/database/read-scalability-with-amazon-aurora-serverless-v2/ https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/AuroraUserGuide/aurora-serverless-v2.html 기존에 MySQL 및 Aurora MySQL 에서도 지원하던 기능이었으나,…

  • 목차 개요 AWS 에서 제공하는 정보를 더 보기 좋게 정리하고, 나아가 AWS 에서 제공하지 않는 정보를 포함하여 인프라 구성 시 고려할 사항에 대해 정리함 기본정보 인스턴스의 기본 스펙은 아래의 페이지에 명시되어 있다. https://aws.amazon.com/ko/ec2/instance-types/ 하지만 클라우드에 사용된 상세 부품 내역이나 스펙에…

  • 개념 사용자의 의사 결정에 도움을 주기 위하여 분석 가능한 형태로 정보들이 저장되어 있는 중앙 저장소다. 정보(data)와 창고(warehouse)의 의미가 합성되어 만든 어휘 데이터 웨어하우스(DW)는 1980년대 중반 IBM이 자사의 하드웨어를 판매하기 위해 처음으로 도입했던 개념으로, IBM은 ‘정보창고’의 의미로 인포메이션 웨어하우스(Information Warehouse)라는 용어를 사용하였다.…

  • 개념 data lake 데이터 레이크는 대규모의 다양한 원시 데이터 세트를 기본 형식으로 저장하는 데이터 리포지토리 유형 데이터 레이크를 사용하면 정제되지 않은 데이터를 볼 수 있으며, 데이터에 대해 전체적인 대규모 리포지토리를 엔터프라이즈 환경에서 데이터 관리 전략으로 보편화할 수 있음 “데이터 레이크”라는…

  • 데이터 거버넌스 데이터 거버넌스의 개념 데이터 거버넌스란 데이터의 보안, 개인정보 보호, 정확성, 가용성, 사용성을 보장하기 위해 수행하는 모든 작업을 가리킴. 여기에는 사람이 취해야 하는 조치, 따라야 하는 프로세스, 데이터의 전체 수명 주기 동안 이를 지원하는 기술이 포함됨 데이터 거버넌스는 데이터…

  • 목차 개요 목적 인프라 수명 주기 백업 정책 복구 정책 시행 기준   개요 모든 상용 서비스는 장애 및 데이터 결손 상황을 대비해 원 서비스로 복구할 수 있도록 해야 한다. 이를 위해 데이터 및 운영 환경이 백업되어 있어야 하고, 이…

  • 목차 정의 활용 개념 참조   정의 기존 AWS 의 방화벽 관련 서비스 기존 제공하고 있는 AWS 의 방화벽 서비스는 아래와 같음 Security Group EC2 인스턴스를 보호 Network ACL VPC 내의 서브넷을 보호 WAF 웹 애플리케이션을 보호 CloudFront, Application Load Balancer,…