728x90 데이터&AI149 빅데이터 분석기사 실기 요점정리 (python) 빅데이터 분석기사 실기!! 요점정리입니다!! 시험전 꼭 알아갈 파이썬 기능!! 함수 메뉴얼은 help!! import scipy.stats help(scipy.stats) 어떤 함수가 있는지 모를떄에는 dir!! import scipy.stats dir(scipy.stats) 유형1 : 간단한 판다스 사용법 알기. + 아래의 기본적인 기능 기억하기 - 1사분위: df['해당컬럼'].quantile(0.25) - 3사분위: df['해당컬럼'].quantile(0.75) - 중앙값 : df['해당컬럼'].median() - 판다스 데이트타임으루 바꾸기 : pd.to_datetime(df['date_added']) 유형2 : 머신러닝작업. 진행방법 1. 결측치 처리 : fillna로 0 이나 mean 값 넣기.. 2023. 6. 24. GPT를 On-premise에서 사용하고 싶을때는?? GPT의 시대입니다. 하루가 다르게 다양한 기술들이 나오고 있습니다 GPT plugin 이 개발되어 적시성을 필요로하는 데이터도 바로바로 GPT를 통해 볼 수 있게되고 GPT-Index(LLaMa-index)를 통하여 PDF, 위키피디아, 노션등을 바로 검색하여 답하게 할 수 도 있게되었습니다! 하지만 대부분의 방법은 OpenAI의 GPT-3, chatGPT, GPT-4 등을 활용하는 방법인데요~! 산이 높으면 그늘도 깊은법!! 화려한 GPT의 능력 때문에 다양한 곳에 활용될 수도 있으나 정보유출이 가장 큰 문제로 대두되고 있습니다! 최근에는 삼성전자에서 GPT를 통하 중요 정보가 유출되는 사건이 발생하기도 했구요! https://economist.co.kr/article/view/ecn202303300.. 2023. 4. 12. [PYTHON] openai의 gpt api를 활용하여 적은 데이터로 중요도 점수 모델 만들기 안녕하세요!!! 지난 포스팅에서 openai의 gpt api를 활용하여 문장 클러스터링 하는 방법을배워보았습니다! 2023.03.05 - [일등박사의 생각/데이터분석] - [PYTHON] openai의 gpt api를 활용하여 문장 클러스터링 하기 이번에는, 클러스터링을 넘어 나만의 텍스트 중요도 모델을 만들어보겠습니다!! 1. 모듈 임포트 및 선언 - 우선 openai의 api키 와 패키지들을 불러옵니다. - 추가로 앞으로 대화내용을 지속 저장할 신규변수(conversation_history)를 만들어줍니다. import pandas as pd import numpy as np from openai.embeddings_utils import get_embedding from openai.embeddin.. 2023. 3. 6. [PYTHON] openai의 gpt api를 활용하여 문장 클러스터링 하기 안녕하세요!!! 텍스트 분석의 기술이 날로 발전하고있습니다!! 과거의 형태소 분석을 통한 문장 클러스터링부터 직접 Bert로 언어모델을 만들고 벡터를 만들어 문장을 클러스터링하는 방법들이 등장했었습니다. 그런데!!! OpenAI의 gpt api를 활용하여 더욱 쉽게 문장들을 클러스터링 할 수 있는것을아시나요? 오늘은 이 방법에 대하여 소개하고자합니다!! 1. 모듈 임포트 및 선언 - 우선 openai의 api키 와 패키지들을 불러옵니다. - 추가로 앞으로 대화내용을 지속 저장할 신규변수(conversation_history)를 만들어줍니다. import pandas as pd import numpy as np from openai.embeddings_utils import get_embedding fro.. 2023. 3. 5. 이전 1 ··· 28 29 30 31 32 33 34 ··· 38 다음 728x90
