본문 바로가기

Python86

[snowflake] 무작정 시작하기 with Python ② - 데이터 올리기 2024.08.16 - [데이터&AI/기타개발] - [snowflake] 무작정 시작하기 with Python ① 지난 포스팅에서는 SNOWFLAKE 계정을 만들고 샘플데이터 불러오기를 테스트해보았었는데요!!오늘은 직접 만든데이터를 올리고 쿼리해보도록 하겠습니다~!! 1. 파일로 올리기!!아래의 간단한 csv 파일로 해볼게요!!,name,age0,aaaa,111,bbbb,22 사이트에 접속해서 파일 올리기부분을 클릭합니다!!  파일을 올린뒤, 저는 MYSAMPLE DB에 mysample이라는 Table로 올려보았습니다! 그리고 데이터의 성격에 대하여 세팅하고 load합니다!! 이제 파이썬에서 쿼리해볼까요~!!?import snowflake.connectorimport pandas as pd# Snowfl.. 2024. 8. 17.
[snowflake] 무작정 시작하기 with Python ① - 가입 및 Connection맺기 안녕하세요~~ 요즘 많이사용되고있는 CLOUD 기반의 DB, snowflake 사용법에 대하여 알아보겠습니다!!!1. Snowflake 소개Snowflake는 현대적인 클라우드 데이터 플랫폼으로, 데이터 웨어하우징, 데이터 레이크, 데이터 마르트 및 데이터 공유 기능을 제공하는 솔루션입니다. AWS, Azure, Google Cloud 등 주요 클라우드 플랫폼에서 실행되며, 데이터 저장, 처리, 분석을 위한 통합 환경을 제공합니다.Snowflake의 주요 특징은 다음과 같습니다:스케일링 용이성: 자동으로 확장하거나 축소할 수 있어, 트래픽 변화에 유연하게 대응합니다.성능 최적화: 데이터 쿼리와 처리를 빠르게 수행하며, 여러 사용자와 워크로드를 동시에 지원합니다.간편한 관리: 복잡한 인프라 관리 없이, 단.. 2024. 8. 17.
[프롬포트엔지니어링]wikipedia 검색해서 gpt로 글쓰기!! (feat. wikipediaapi, 사육신) GPT의 글쓰기 능력이 뛰어난것은 누구나 알고있지요!하지만, 어떻게 글을 생성해야할지. 그 재료는 우리가 잘 입력해야합니다!!  위와 같이 사육신에 대하여 물어보면 이상한 대답을합니다.그래서 위키피디아으 데이터를 가지고 사육신을 소개하는 글을 써보고자합니다  1. Wikipedia 검색을 통한 정보 수집Wikipedia API 사용하기Wikipedia는 다양한 주제에 대한 정보를 쉽게 얻을 수 있는 훌륭한 출처입니다.Wikipedia API를 사용하면 원하는 주제에 대한 정보를 수집 할 수 있습니다.Python을 이용한 간단한 예제는 다음과 같습니다: import wikipediaapi# Wikipedia API 객체 생성user_agent = 'Mozilla/5.0 (Windows NT 10.0; Wi.. 2024. 7. 14.
RMSNorm과 Layer Normalization 비교하기 오늘의 주제 요약!! LN은 합창단의 각 파트가 아름다운 화음을 만들도록 돕는 합창 지휘자라면, RMSNorm은 오케스트라 전체의 연주를 조율하여 감동적인 교향곡을 완성하는 오케스트라 지휘자와 같다!! 1. Layer Normalization - 신경망의 각 층에서 입력 데이터의 정규화를 수행하는 방법 -  합창단의 각 파트별 음량을 조절하는 것과 같음!! 소프라노, 알토, 테너, 베이스 각 파트의 음량이 너무 크거나 작으면 전체적인 화음이 깨지게 되기에 LN은 각 파트의 음량을 적절히 조절하여 전체적인 화음을 아름답게 만드는 역할을 함 입력 데이터:입력 데이터 𝑥=[𝑥1,𝑥2,...,𝑥𝑑] 의 𝑑차원 벡터. 평균 계산:  각 샘플의 평균을 계산3. 분산 계산:샘플의 분산을 계산4. 정규화: .. 2024. 6. 28.

티스토리툴바