Self-Attention과 Masked Self-Attention
Self-Attention Self attention에서는 Query, Key, Value가 중요한 키워드가 됩니다. 벡터화된 문장을 합쳐 X로 만들고 가중치 Wq, Wk, Wv와 내적하여 각각 Query와 Key, Value값을 도출합니다. 그럼 이렇게 각 토큰에 해당하는 X, Query, Key, Value값이 나타나게됩니다. 이 값을 Query*$Key^T$해줍니다. 말그대로 키 값을 통해서 각 토큰별로 어느정도 연관성이 있는지 알기위함입니다. 이렇게 스코어를 계산하고, 이 값을 softmax함수에 넣어 총합이 1이되게 나누어줍니다. 연관성이 클 수록 값이 커질 것 입니다. 이렇게 softmax까지 한 뒤에, Value값을 곱하고 더해주면 값이 하나 나오게됩니다. 위의 그림에서 "I"를 통해보면, ..
2021. 4. 15.
[CODE] ANN, K-fold CV, CNN
1. ANN ## Load Data from sklearn.model_selection import train_test_split X=df y=df_label.replace(2,0) X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=0.3, random_state=42) ## Build model import tensorflow as tf from tensorflow.keras.metrics import Precision, Recall model = tf.keras.models.Sequential([ tf.keras.layers.Dense(12, input_dim=69, activation='relu'), tf.keras.layers...
2021. 4. 10.
트위터 API, tweepy 사용하기
트위터 API, tweepy 사용하기 tweepy 1. API KEY 받기 developer.twitter.com/en Use Cases, Tutorials, & Documentation Publish & analyze Tweets, optimize ads, & create unique customer experiences with the Twitter API, Twitter Ads API, & Twitter Embeds. Let's start building! developer.twitter.com 먼저 트위터의 개발자사이트에서 api사용신청을하고 consumer_key, consumer_secret, access_token, access_token_secret를 받는 것 부터 시작합니다. (중요) 모..
2021. 3. 31.
