์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- How Much Knowledge Can You Pack Into the Parameters of a Language Model?
- ๋ชจ๋์๋ฅ๋ฌ๋
- 2020์ ๋ณด์ฒ๋ฆฌ๊ธฐ์ฌํ๊ธฐ
- classification text
- dialogue state tracking
- ์ ๋ณด์ฒ๋ฆฌ๊ธฐ์ฌ ์ฑ ์ถ์ฒ
- ์ ๋ณด์ฒ๋ฆฌ๊ธฐ์ฌ์ ๊ณต์
- DST zeroshot learning
- til
- nlp๋ ผ๋ฌธ๋ฆฌ๋ทฐ
- few shot dst
- ์์ฐ์ด์ฒ๋ฆฌ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ
- Zero-shot transfer learning with synthesized data for multi-domain dialogue state tracking
- fasttext text classification ํ๊ธ
- ๋ฐ์ดํฐ ํฉ์ฑ
- Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking
- DST fewshot learning
- ๋ฐฑ์ค
- SUMBT:Slot-Utterance Matching for Universal and Scalable Belief Tracking
- ์ ๋ณด์ฒ๋ฆฌ๊ธฐ์ฌ์ ๊ณต์ํฉ๊ฒฉํ๊ธฐ
- MySQL
- ๋ฅ๋ฌ๋๊ธฐ์ด
- ๋ค์ด๋๋ฏน ํ๋ก๊ทธ๋๋ฐ
- ํ๋ก๊ทธ๋๋จธ์ค
- ์ ๋ณด์ฒ๋ฆฌ๊ธฐ์ฌ ์์ ๋น
- From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap
- Python
- ํ์ด์ฌ์ ํ์ด์ฌ๋ต๊ฒ
- ๊ฒ์์์ง
- Few Shot Dialogue State Tracking using Meta-learning
- Today
- Total
๐ฒ์๋ผ๋๋์ฒญ๋
๋ชจ๋์ ๋ฅ๋ฌ๋ -ํ์ดํ ์น ch1-ch2 ์ ๋ฆฌ ๋ณธ๋ฌธ
๋ชจ๋์ ๋ฅ๋ฌ๋ ๋งํฌ : https://www.youtube.com/watch?v=SKq-pmkekTk&list=PLbbloOsdWVwTNNkjnLuqEWtzjRqfBALF7
๋ชจ๋์ ๋ฅ๋ฌ๋ ch1
์ฌ๋์ด ๊ฒฐ์ ์ ํ๋ ๋ฐฉ์
data-> human -> infer or predict
์ปดํจํฐ์ ๋ฐฉ์ ํ๋๊ฒ machine learning
data -> computer -> infer or predict
๋ชจ๋์ ๋ฅ๋ฌ๋ ch2
'์๋ ๋ฐ์ดํฐ๋ x ์๊ฐ ๊ณต๋ถํ์๋ point ๋ฅผ y๋งํผ ๋ฐ๋๋ค' ๋ฐ์ดํฐ์ด๋ค.
supervised learning ์ x-y ์ฒ๋ผ ์ ๋ต์ด ์๋ ๋ฐ์ดํฐ์ ํ์ต์ ๋งํ๋ค.
๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ธ ์
yํท์ ์ถ์ ๊ฐ์ ์๋ฏธํ๋ค.
W๋ ๊ฐ์ค์น๋ก, ๋๋ค์ผ๋ก ์์ํ์ฌ, ์ค์ ๊ฐ-์ถ์ ๊ฐ์ ํฌ๊ธฐ๋ฅผ ์ค์ด๋ ๋ฐฉํฅ์ผ๋ก ์งํํด์ผ ํ๋ค.
์ค์ ๊ฐ-์ถ์ ๊ฐ์ ์ฐจ์ด๋ฅผ ์ฌ๋ฌ๊ฐ์ง ๊ฐ์ผ๋ก ๋ํ๋ผ์ ์๋ค(loss ํจ์์ ์ข
๋ฅ๊ฐ ์ฌ๋ฌ๊ฐ์ง์ด๋ค.)
๋จธ์ ๋ฌ๋์ goal์ ์ค์ฐจ๊ฐ ๊ฐ์ฅ์์ w๋ฅผ ๊ตฌํ๋๊ฒ
์ฃผ์ด์ง ๋ฐ์ดํฐ์ ์ ์ค์ฐจ๋ฅผ ํ๊ท ์ ๊ตฌํด์, ์ง๊ธ ์ผ๋งํผ ์ค์ ๊ฐ๊ณผ ๋จ์ด์ ธ ์๋์ง๋ฅผ ๊ตฌํ๋ค.
์๋๋ ๊ฐ์ค์น์ ์ค์ฐจ์ ์๋ฏธ๋ฅผ ์ ๋ณด์ฌ์ฃผ๋ ์์์ฝ๋์ด๋ค.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | import numpy as np import matplotlib.pyplot as plt x_data = [1.0,2.0,3.0] y_data = [2.0,4.0,6.0] w=1.0 def forward(x): return x*w def loss(x,y): y_pred = forward(x) return (y_pred-y) * (y_pred-y) w_list =[] mse_list =[] for w in np.arange(0.0,4.1,0.1):#0.0๋ถํฐ 4.1๊น์ง 0.1 ๊ฐ๊ฒฉ์ผ๋ก w ์ฆ๊ฐ print ("w=",w) l_sum =0 for x_val, y_val in zip(x_data, y_data): y_pred_val = forward(x_val)#x์ ๊ฐ์ y_pred_val์ ๋ฃ์ด์ forward l = loss(x_val, y_val) l_sum += l#w์ ๋ฐ๋ฅธ loss ๊ณ์ฐ print("\t",x_val, y_val, y_pred_val, 1) print("MSE= ", l_sum / 3)#mse : ํ๊ท ์ ๊ณฑ๊ทผ ์ค์ฐจ w_list.append(w) mse_list.append(l_sum/3) plt.plot(w_list, mse_list) plt.ylabel('loss') plt.xlabel('w') plt.show() | cs |
weight์ ๋ฐ๋ฅธ mse(ํ๊ท ์ ๊ณฑ์ค์ฐจ) ๊ฐ ์ถ๋ ฅ๋๊ฒ ํด ๋ณด์๋ค.
2.0 ์ผ๋ก ๊ฐ์๋ก ์ค์ฐจ๊ฐ ์ค์ด๋๋ ์ด์ฐจํจ์๊ฐ ๋์ค๋ ๊ฒ์ ๋ณผ ์ ์์๋ค.
'ํ์ดํ ์น' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
๋ฅ๋ฌ๋ ๊ธฐ์ด 2์ผ์ฐจ (0) | 2019.07.30 |
---|---|
๋ชจ๋์ ๋ฅ๋ฌ๋ -ํ์ดํ ์น ch7 ์ ๋ฆฌ (0) | 2019.03.20 |
๋ชจ๋์ ๋ฅ๋ฌ๋ -ํ์ดํ ์น ch5-ch6 ์ ๋ฆฌ (0) | 2019.03.19 |
๋ชจ๋์ ๋ฅ๋ฌ๋ -ํ์ดํ ์น ch3-ch4 ์ ๋ฆฌ (0) | 2019.03.19 |