본문 바로가기
728x90

데이터&AI117

duckDB를 사용해보기 (feat. 가볍다, 근대 성능은 좋아!!? ) DuckDB란 무엇인가요?!!DuckDB를 쉽게표현하면 SQL무새입니다!!!뭐든지간에 SQL로 표현할수 있도록 해줘요!! DuckDB의 주요 특징가벼움: DuckDB는 매우 가볍고, 추가적인 서버 설정이 필요 없습니다.SQL 지원: 완전한 SQL 기능을 제공하여 복잡한 쿼리 작성이 가능합니다.내장형: DuckDB는 별도의 서버 프로세스가 필요 없으며, 로컬 파일로 모든 작업을 처리할 수 있습니다.열지향성: 열지향형 데이터베이스로, 대용량 데이터를 다룰 때 뛰어난 성능을 발휘합니다.Pandas와 통합: Pandas 데이터프레임과 쉽게 통합되어 데이터 처리 및 분석을 간편하게 수행할 수 있습니다.제일 중요한 예제!!!! 1. 우선 사용전, pkg를 설치해줍니다!!pip install duckdb DuckDB.. 2024. 8. 30.
구글!! 쌀아있네!! 오픈소스 gen-AI gemma2의 놀라운 한국어 실력 (feat. ollama) https://www.digitaltoday.co.kr/news/articleView.html?idxno=523053 구글 딥마인드, AI 모델 '젬마2' 공개…최대 270억개 파라미터 - 디지털투데이 (DigitalToday)[디지털투데이 AI리포터] 구글 딥마인드가 구글 I/O에서 공개됐던 최첨단 성능의 언어 모델 젬마2(Gemma 2)를 발표했다고 28일(현지시간) 일본 IT미디어가 전했다. 지난 2월 발표된 젬마는 20억개의 파www.digitaltoday.co.kr 24년 6월말!! 구글에서는 Gemma2 모델을 공개했습니다!! Gemma2는 이전 모델에서 한 단계 더 발전한 성능을 자랑하며, 자연어 처리 능력, 머신러닝 효율성, 그리고 실세계 응용 가능성 측면에서 큰 도약을 이뤘다고 자랑하는데.. 2024. 8. 29.
[DCLM] 애플의 LLM 모델 사용해보기 (feat. 19금!?) MS, 구글 등 빅테크 기업들의 LLM모델발표등에 소외되어있던!!애플이 24년 7월 LLM 모델을 공개했습니다!! Large Language Model이라기보단!!소형언어모델(Small Language Model) 로서,애플 기기 냐에서 작동될 수 있도록 하는것을 목표하는것 같은데요!! https://www.aitimes.com/news/articleView.html?idxno=161781 애플, 최강 성능 오픈 소스 sLM ‘DCLM’ 출시..."데이터 큐레이션으로 성능 극대화" - AI타임스애플이 최강 성능의 새로운 오픈 소스 소형언어모델(sLM)을 출시했다. 데이터 큐레이션을 통한 고품질 데이터셋으로 모델을 훈련한 결과라고 주장했다.벤처비트는 19일(현지시간) 애플이 2000토큰www.aitimes.. 2024. 8. 18.
[snowflake] 무작정 시작하기 with Python ② - 데이터 올리기 2024.08.16 - [데이터&AI/기타개발] - [snowflake] 무작정 시작하기 with Python ① 지난 포스팅에서는 SNOWFLAKE 계정을 만들고 샘플데이터 불러오기를 테스트해보았었는데요!!오늘은 직접 만든데이터를 올리고 쿼리해보도록 하겠습니다~!! 1. 파일로 올리기!!아래의 간단한 csv 파일로 해볼게요!!,name,age0,aaaa,111,bbbb,22 사이트에 접속해서 파일 올리기부분을 클릭합니다!!  파일을 올린뒤, 저는 MYSAMPLE DB에 mysample이라는 Table로 올려보았습니다! 그리고 데이터의 성격에 대하여 세팅하고 load합니다!! 이제 파이썬에서 쿼리해볼까요~!!?import snowflake.connectorimport pandas as pd# Snowfl.. 2024. 8. 17.
728x90