본문 바로가기
728x90

데이터&AI/데이터분석9

duckDB를 사용해보기 (feat. 가볍다, 근대 성능은 좋아!!? ) DuckDB란 무엇인가요?!!DuckDB를 쉽게표현하면 SQL무새입니다!!!뭐든지간에 SQL로 표현할수 있도록 해줘요!! DuckDB의 주요 특징가벼움: DuckDB는 매우 가볍고, 추가적인 서버 설정이 필요 없습니다.SQL 지원: 완전한 SQL 기능을 제공하여 복잡한 쿼리 작성이 가능합니다.내장형: DuckDB는 별도의 서버 프로세스가 필요 없으며, 로컬 파일로 모든 작업을 처리할 수 있습니다.열지향성: 열지향형 데이터베이스로, 대용량 데이터를 다룰 때 뛰어난 성능을 발휘합니다.Pandas와 통합: Pandas 데이터프레임과 쉽게 통합되어 데이터 처리 및 분석을 간편하게 수행할 수 있습니다.제일 중요한 예제!!!! 1. 우선 사용전, pkg를 설치해줍니다!!pip install duckdb DuckDB.. 2024. 8. 30.
데이터 분석가를 위한 쉬운 docker : 편리한 notebook 환경 만들기!! 데이터 분석의 기본 Tool 이 된 python 그리고 Jupyter Notebook하지만!! 노트북을 바꾸거나, 뭐할떄마다 주피터 노트북 설정하는데는 많은 어려움이있었습니다!! 대략적인 문제점은 아래아 같았는데요!! 1. 환경 설정 및 의존성 관리의 어려움 :  로컬 환경에서 여러 프로젝트를 진행하면서 서로 다른 버전의 라이브러리를 설치하다 보면 의존성 충돌 문제가 발생합니다2. 재현성 및 일관성 문제 : 로컬 환경에서 작업할 경우, 동일한 코드가 다른 머신에서는 제대로 작동하지 않을 수 있습니다. 이는 각 머신의 환경 설정이 다르기 때문입니다3. 보안 및 데이터 관리 문제 : 데이터 분석 프로젝트에서는 종종 민감한 데이터를 다룹니다. 로컬 환경에 이러한 데이터를 저장하고 처리할 경우, 데이터 유출이나.. 2024. 6. 6.
Python사용자 입장에서 이해하는 Front-end (with Pandas, React) 안녕하세요! Python을 주로 사용하는 사용자로서 back-end는Python 의 Django, Flask, Fastapi로 잘 이해가 되고그 외에 spring, ruby등도 결국 어떻게 운영되겠다~~ 는 알겠는데!  Front-end는 html 과  css, javascript로 하면 되는데,React, VUE, angular 등이 왜 필요하지?? 라고 궁금해 하시는 분이 많을것 같습니다!!   그래서!! 파이썬 관점에서 이해해보고자합니다!! 학생들 시험의 평균점수 계산하기!!# 학생들의 시험 점수 데이터 (이름, [시험1, 시험2, 시험3])students_scores = [ ("Alice", [85, 90, 78]), ("Bob", [92, 88, 76]), ("Charlie", .. 2024. 5. 24.
빠르고 쉽게 설치하는 AIRFLOW (우분투, 코드 4줄) AIRFLOW란?Airflow는 복잡한 데이터 워크플로우를 시각적으로 설계하고 관리하는 오픈소스 플랫폼입니다. Python 기반으로 작성되어 유연하고 확장 가능하며, 다양한 작업 스케줄링 및 모니터링 기능을 제공합니다. 데이터 엔지니어링, 머신러닝 파이프라인 등 다양한 분야에서 활용됩니다. 설치하기!! 간단, 4줄!!?============= 가상환경에서 하기 (필요하신분만)==============python3 -m venv airflow-envsource airflow-env/bin/activate========================= 진짜코드 =========================[설치] pip install apache-airflow[계정admin설정] airflow users cr.. 2024. 5. 22.
728x90