본문 바로가기

분류 전체보기154

[NestJs] Controller NestJSNest(NestJS)는 효율적이고 확장 가능한 Node.js 서버 측 애플리케이션을 구축하기 위한 프레임워크입니다 . 특징프로그레시브 JavaScript를 사용하고 TypeScript 로 구축되어 완벽하게 지원OOP(객체 지향 프로그래밍), FP(기능 프로그래밍) 및 FRP(기능 반응 프로그래밍) 요소를 결합내부적으로 Nest는 Express (기본값)와 같은 강력한 HTTP 서버 프레임워크를 사용하며 선택적으로 Fastify 도 사용하도록 구성할 수 있습니다!Nest는 이러한 일반적인 Node.js 프레임워크(Express/Fastify)보다 높은 수준의 추상화를 제공하지만 해당 API를 개발자에게 직접 공개이를 통해 개발자는 기본 플랫폼에서 사용할 수 있는 수많은 타사 모듈을 자유롭게 사.. 2024. 4. 26.
[ Spark ] Spark란 무엇인가 기존 MapReduced의 문제점 기존 MapReduce 에서의 문제점 데이터 복제, 디스크 I/O, 직렬화로 인한 오버헤드 발생 디스크와 메모리 간의 지속적인 데이터 전송으로 인한 트래픽 발생 오버에드 및 대량의 트래픽으로 인한 프로그래밍이 어려워짐 성능 병목 및 패치 문제 발생 가능성 증가 디스크 지속성이 메모리 작업에 비해 느려 성능 악화 Data-Flow Systems Data-flow 시스템이란 기존의 데이터 시스템과 달리, 데이터 처리를 단계적인 흐름으로 관리하는 시스템 기존에는 MapDeduce는 2가지의 등급별로 작업을 진행함 One for Map , the Second for Reduce Flow -> 직렬화가 문제가 되는 경우 발생 (병목 등의 현상) Dta-Flow Systems의 일.. 2024. 4. 21.
[ Spark ] 빅데이터의 분산 처리와 Map Reduce Data Mining : 대규모 데이터셋에서 패턴, 규칙, 트랜드 등의 유용한 정보를 추출하기 위해 사용되는 과정 지식을 추출하기 위해 데이터는 저장, 관리, 그리고 분석이 수행되어야 함 → 데이터 마이닝의 필요성 데이터 마이닝 ≈ 예측 분석 ≈ 데이터 과학 ≈ 머신 러닝 ≈ 데이터 중심 AI 매우 큰 데이터셋에서 의미 있는 정보를 추출하는 것이 어렵기 때문에 현재 관심받는 연구 분야 주로 확장가능한 알고리즘에 중점을 두는데, 이 때 병렬처리가 필수적으로 요구됨 Descriptive methods ▪ 데이터를 설명하는 사람이 해석할 수 있는 패턴 찾기 ▪ 예: 클러스터링 Predictive methods ▪ 일부 변수를 사용하여 다른 변수의 알려지지 않은 값 또는 미래 값 예측 ▪ 예: 추천 시스템 데이.. 2024. 4. 20.
머신러닝 알고리즘 - Naive Bayes Naive Bayes 나이브 베이즈(Naive Bayes)는 베이즈 정리를 기반으로 하는 확률적 분류 알고리즘 중 하나입니다. 주로 텍스트 분류, 스팸 필터링, 감성 분석 등의 문제에 많이 사용됩니다. 이름에 "Naive(순진한)"라는 말이 붙은 이유는 모든 특성이 독립이라고 가정하기 때문입니다. 확률 (Probability) 확률은 어떤 사건이 발생할 가능성을 나타내는 수치입니다. 일반적으로 0부터 1까지의 값을 가지며, 0은 사건이 발생하지 않을 확률이고, 1은 사건이 반드시 발생할 확률을 의미합니다. 확률은 주어진 상황에서 특정 사건이 일어날 가능성을 수학적으로 표현하는 데 사용됩니다. 조건부확률 (Conditional Probability) 조건부확률은 어떤 사건이 특정 조건 아래에서 일어날 확률.. 2023. 12. 29.
반응형