본문 바로가기

분류 전체보기112

GIT DOCKER SQL MongoDB GIT DOCKER SQL MongoDB Review 1. GIT git clone git status git add git commit git push 2. DOCKER docker image pull 이미지이름:tag // 이미지 불러오기 docker image rm 이미지이름 // 이미지 제거 docker image rmi 이미지id // 이미지 아이디로 제거 docker ps // 작동중인 컨테이너 확인 docker ps -a // 모든 컨테이너 확인 docker rm 컨테이너 id, 컨테이너id // 컨테이너 여러개 삭제가능 docker container rm `docker ps -a -q` // 전체삭제 docker inspect 이미지이름 // 환경변수 등 확인 가능 // 컨테이너 RUN d.. 2021. 3. 9.
환경만들기, DOCKER COMPOSE 환경만들기, DOCKER COMPOSE docker-compose.yaml 하나이상의 프로젝트를 하는 경우 프로젝트간에 의존하지 않게 환경을 조성하는 것이 필요합니다. 로컬 컴퓨터에 이미 존재하는 환경과 서로 꼬일 수도 있고 막상 배포하고 나서도 환경이 맞지 않아서 오류가 발생할 수 있습니다. 이런 상황에서 도커로 개발환경을 만든다면, 오류를 최소화 시킬 수 있습니다. 다만 도커만으로는 옵션을 설정하는데 많은 시간과 노력이 필요하고, 실행순서도 일일히 확인해야합니다. 어떻게 실행할지 어떤 순서로 실행할지 또 여러 옵션을 미리 적어두어서 실행하기 편하도록 파일을 만들 수 있습니다. 이 파일을 yaml, yml이라고 합니다. docker-compose.yaml version: '3' # 3으로 시작하는 최신.. 2021. 3. 8.
DOCKER BASIC DOCKER BASIC 단순 명령어 IMAGES docker image pull 이미지이름:tag // 이미지 불러오기 docker image rm 이미지이름 // 이미지 제거 docker image rmi 이미지id // 이미지 아이디로 제거 CONTAINERS docker ps // 작동중인 컨테이너 확인 docker ps -a // 모든 컨테이너 확인 docker rm 컨테이너 id, 컨테이너id // 컨테이너 여러개 삭제가능 docker container rm `docker ps -a -q` // 전체삭제 INSPECT docker inspect 이미지이름 // 환경변수 등 확인 가능 컨테이너 생성 및 종료, 실행, 진입 // 컨테이너 RUN docker container run [options].. 2021. 3. 8.
SQL Basic SQL Basic 최소한 1. SELECT Queries SELECT * FROM movies; SELECT title FROM movies; SELECT title, director FROM movies; 2. Queries with constraints SELECT * FROM movies where id=6; SELECT * FROM movies where year BETWEEN 2000 AND 2010; SELECT * FROM movies where year NOT BETWEEN 2000 AND 2010; SELECT * FROM movies where id < 6; SELECT * FROM movies where title LIKE "toy%"; SELECT * FROM movies where.. 2021. 3. 7.
내가 빚지고 있었던 사람들 많은 이들의 삶이 바뀌었다. 9시가 지난 길거리에는 사람이 없다. 집 앞은 금요일 밤이면 북적거렸는데, 이제는 잘 보이지 않는다. 극장에 영화를 보러 가지도 않고, 함께 술 한잔 걸치며 인생을 논하지도 않는다. 밥먹듯이 가던 카페도 이제는 집에서 간단히 커피로 만족해야한다. 사랑하는 사람들과 만나기도 어렵다. 여행의 그 설렘을 느낄 수도 없다. 쓸데없이 걷다가 눈에 띄는 잡화점에 가는 것도, 혼자서 자주가던 코인노래방을 가는 것도하지 못한다. 늦은밤, 갑자기 예전에 자주갔던 카페의 아이스아메리카노가 너무 먹고싶었다. 예전에는 24시간 운영했던 곳이라 열렸겠지 생각했다. 마스크를 챙기고 집을 나섰다. 규모가 꽤나 크던 곳이라 당연히 영업을 하고 있을 줄 알았는데, 문은 닫혀있었다. 길거리는 너무나 조용했다.. 2021. 3. 3.
뭣이 중헌디! 특성의 중요도 뭣이 중헌디 ! 특성의 중요도 Feature Importance, Permutation Importance, PDP, SHAP 단일 모델일 때는 상대적으로 모델이 왜 이러한 결과를 내었는가 알기 어렵지 않았습니다. Tree 모델에서는 Feature가 얼마나 잘 나누는가에 따라서 그 중요도를 나타낼 수 있었고, 선형회귀모델은 각 회귀변수를 통해서 얼마나 영향을 미치는지 알 수 있었습니다. 그래서 결과를 이해하고 설명하는데 문제가 없었습니다. 하지만 앙상블기법과 같이 여러 모델을 합치는 등, 모델이 점점 복잡해지면서 그 중요도를 나타내는데 무리가 있었습니다. 그러나 문제가 무언지 알면 항상 해결해왔듯이 여러 방법이 등장하였습니다. 이번 포스트에서는 그 중요도를 나타내고자 몇가지 방법을 소개합니다. Featu.. 2021. 2. 25.
3. Applied Predictive Modeling [2] Importance Importance Applied Predictive Modeling 1. Feature Importance zipp = [] for zipper in zip(X_train.columns, pipe.named_steps['decisiontreeregressor'].feature_importances_): zipp.append(zipper) zipp = pd.DataFrame(zipp,columns=['feature','importance']).sort_values('importance',ascending=False) plt.figure(figsize=(15, 15)) sns.barplot(y = zipp.feature, x= zipp.importance, palette='Blues_r') plt.titl.. 2021. 2. 18.
3. Applied Predictive Modeling [1] Modeling(Boost) Modeling Applied Predictive Modeling 1. XGBoost from xgboost.sklearn import XGBModel from xgboost import XGBRegressor pipe = make_pipeline( OrdinalEncoder(), XGBRegressor() ) pipe.fit(X_train, y_train) print('훈련 R^2: ', pipe.score(X_train, y_train)) print('TEST R^2: ', pipe.score(X_test, y_test)) print('\n훈련 MAE: ', mean_absolute_error(pipe.predict(X_train), y_train)) print('TEST MAE: ', mean_ab.. 2021. 2. 18.
3. Applied Predictive Modeling [0] Preparing Preparing Applied Predictive Modeling 1. Package !pip install category_encoders !pip install PublicDataReader !pip install PublicDataReader --upgrade !pip install finance-datareader !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf import seaborn as sns import matplotlib.pyplot as plt import matplotlib as mpl import FinanceDataReader as fdr import PublicDataRead.. 2021. 2. 18.
[Ensemble] Light GBM, 마이크로소프트의 부스팅 Light GBM, 마이크로소프트의 부스팅 Ensemble GBM은 최적의 Information Gain을 갖기위해서 모든 split point를 살펴봐야했습니다. XGBoost에서는 전체데이터를 버킷단위로 나누고 버킷안에서 split point를 찾음으로써 워크로드를 줄였습니다. Light GBM에서는 이를 줄이기 위한 방법으로 GOSS와 EFB를 제시합니다. 논문을 같이보고싶으신 분은 여기를 클릭하세요 Abstract GOSS (Gradient-Based One-Side Sampling) 일반적으로 개별적인 데이터들은 다른 Gradient를 갖고 있습니다. 여기서 Gradient가 큰 객체들은 더 중요한 역할을 합니다. 그래서 Information gain을 계산할 때, gradient가 작은 객체들.. 2021. 2. 14.
[Ensemble] XGBoost, 극한의 가성비 XGBoost, 극한의 가성비 Ensemble XGBoost까지의 흐름 Decision Trees를 Bagging이라는 앙상블기법을 이용하여 성능을 높였고, 여기에 Random성을 부여하여 Random Forest를 만들었습니다. 이 후에는 Stumps Tree를 베이스로하는 Adaptive Boosting이 있었고, Gradient를 이용해서 Boosting을 하는 법을 알아보았습니다. 이번 포스트에서는 XGBoost(eXtreme Gradient Boosting)에대해 알아보겠습니다. XGBoost는 Gradient의 방법을 따라가지만, 더 많은 데이터를 한번에 다룰 수 있고 더 빠르게 처리할 수 있습니다. Ada Boost와 Gradient Boosting에대해 잘 모르시는 분은 아래 포스트를 참고.. 2021. 2. 14.
[Ensemble] Gradient Boosting, 차근차근 Gradient Boosting, 차근차근 Ensemble Gradient Boost는 앙상블과 AdaBoost, 선형회귀에서의 Gradient Desent의 개념을 알고 있으면 쉽게 이해하고 사용할 수 있습니다. 이 포스트는 앞서 작성된 포스트를 기반으로 작성되었습니다. [Ensemble] 백지장도 맞들면 낫다, 앙상블 OVERVIEW 백지장도 맞들면 낫다, 앙상블 OVERVIEW Ensemble 앙상블 Ensemble 모든 데이터에서 가장 좋은 성능을 내는 모델이 있을까요? 지금까지 연구자들이 낸 답은 '없다' 입니다. 각 데이터마다 모델의 성능 exupery-1.tistory.com [Ensemble] Ada Boost, 모델의 오답노트 Ada Boost, 모델의 오답노트 Ensemble 지금까지 .. 2021. 2. 12.

티스토리툴바