�� 1�¾wՓ 1

1.1�������� 1

1.2�ı��ھ��΄� 2

1.3�ı��ھ����R�����y 5

1.4���������c�����ă��ݽM�� 8

1.5�Mһ����x 10

���} 11

�� 2�”����A̎���͘�ע 12

2.1���� 12

2.2�����@ȡ 12

2.3�����A̎�� 16

2.4������ע 18

2.5�������� 20

2.5.1�h�Z�Ԅӷ��~�c�~�Ԙ�ע 20

2.5.2�䷨���� 22

2.5.3 nԪ�Z��ģ�� 23

2.6�Mһ����x 24

���} 24

�� 3���ı���ʾ 25

3.1���� 25

3.2�������gģ�� 25

3.2.1�������gģ�͵Ļ������� 25

3.2.2����헵Ę����c���� 26

3.2.3�ı��L��Ҏ���� 27

3.2.4�������� 28

3.2.5�����ı���ʾ���� 30

3.3�~�ķֲ�ʽ��ʾ 31

�ı������ھ� (�� 2��)

3.3.1�񽛾W�j�Z��ģ�� 32

3.3.2 C&Wģ�� 36

3.3.3 CBOW�c Skip-gramģ�� 38

3.3.4��•���ȹ�Ӌ�cؓ�ɘ� 39

3.3.5���~��ϵķֲ�ʽ��ʾ���� 41

3.4���Z�ķֲ�ʽ��ʾ 43

3.4.1�����~���ķֲ�ʽ��ʾ 43

3.4.2�����ԄӾ��a���ķֲ�ʽ��ʾ 43

3.5���ӵķֲ�ʽ��ʾ 46

3.5.1ͨ�õľ��ӱ�ʾ 46

3.5.2�΄����P�ľ��ӱ�ʾ 49

3.6�ęn�ķֲ�ʽ��ʾ 52

3.6.1ͨ�õ��ęn�ֲ�ʽ��ʾ 53

3.6.2�΄����P���ęn�ֲ�ʽ��ʾ 55

3.7�Mһ����x 56

���} 57

�� 4���AӖ���Z��ģ�� 58

4.1���� 58

4.2 ELMo��Դ���Z��ģ�͵��Z�����ֲ�ʽ������ʾ 58

4.2.1�����p�� LSTM���Z��ģ�� 59

4.2.2�m�������΄յ��Z���� ELMo�~���� 60

4.3 GPT������ʽ�AӖ��ģ�� 61

4.3.1 Transformer .62

4.3.2 GPT�AӖ�� 63

4.3.3 GPT΢�{ 64

4.4 BERT���p�� Transformer���a��ʾ 65

4.4.1 BERT�AӖ�� 66

4.4.2 BERT΢�{ 68

4.4.3 XLNet:�V�x�Իؚw�AӖ��ģ�� 68

4.4.4 UniLM 71

4.5�Mһ����x 72

���} 72

�� 5���ı���� 74

5.1���� 74

5.2���y�ı���ʾ 75

Ŀ� XI

5.3�����x�� 76

5.3.1����Ϣ�� 76

5.3.2��Ϣ���淨 . 79

5.3.3�����yӋ���� 80

5.3.4�������� 81

5.4���y����㷨 82

5.4.1����ؐ�~˹ģ�� 82

5.4.2 logistic�ؚw�� softmax�ؚw�c*����ģ�� 84

5.4.3֧�������C . 86

5.4.4���ɌW�� 88

5.5����񽛾W�j���� 89

5.5.1����ǰ���񽛾W�j���ı������ 89

5.5.2���ھ��e�񽛾W�j���ı������ 89

5.5.3����ѭ�h�񽛾W�j���ı������ 91

5.6�ı���������u�� 94

5.7�Mһ����x 97

���} 97

�� 6���ı���� 99

6.1���� 99

6.2�ı������Զ��� 99

6.2.1�ӱ��g�������� 100

6.2.2���g�������� 102

6.2.3�ӱ��c��֮�g�������� 103

6.3�ı�����㷨 103

6.3.1 K-��ֵ��� 103

6.3.2��� 107

6.3.3�Ӵξ�� 108

6.3.4�ܶȾ�� 111

6.4�����u�� 113

6.4.1�ⲿ�˜� 113

6.4.2�Ȳ��˜� 115

6.5�Mһ����x 115

���} 116

�� 7�����}ģ�� 117

7.1���� 117

�ı������ھ� (�� 2��)

7.2�����Z�x���� 118

7.2.1�~�-�ęn��ꇵ��殐ֵ�ֽ� 118

7.2.2�~헺��ęn�ĸ����ʾ�����ƶ�Ӌ�� 121

7.3���ʝ����Z�x���� 123

7.3.1ģ�ͼ��O 123

7.3.2�����W�� 124

7.4���ڵ������׷ֲ� 125

7.4.1ģ�ͼ��O 125

7.4.2�~헺����}���е�“�ϸ��� 127

7.4.3ģ���Ɣ� 129

7.4.4���ęn���Ɣ� 131

7.4.5 PLSA�c LDA��“ϵ�c�^�e 132

7.5�Mһ����x 132

���} 133

�� 8����з����c�^�c�ھ� 135

8.1���� 135

8.2��з����΄���� 136

8.2.1��Ŀ����ʽ���� 136

8.2.2���������Ȅ��� 137

8.3�ęn����Ӽ���з������� 139

8.3.1����Ҏ�t�ğo�O����з�� 140

8.3.2���ڂ��y�C���W���ıO����з�� 141

8.3.3����񽛾W�j���� 144

8.4�~�Z����з����c����~�䘋�� 146

8.4.1�����Z�x֪�R��ķ��� 147

8.4.2�����Z�ώ�ķ��� 147

8.4.3����~�������u�� 149

8.5���Լ���з��� 150

8.5.1���Գ�ȡ 150

8.5.2������� 153

8.5.3���}�c��е�����ʽ��ģ 157

8.6��з����е����↖�} 159

8.6.1��ИO���D�Ɔ��} 159

8.6.2�I���m�����} 160

8.7�ı���w���� 163

8.7.1����W��w��Փ 163

Ŀ� XIII

8.7.2�ı���w�R�e 163

8.7.3��wԭ���ھ� 165

8.8�Mһ����x 167

���} 168

�� 9��Ԓ�}�z�y�c��ۙ . 170

9.1���� 170

9.2�g�Z�c�΄� 172

9.2.1�g�Z 172

9.2.2�΄� 173

9.3�����Ԓ�}�ı�ʾ�c������Ӌ�� 175

9.4Ԓ�}�z�y 177

9.4.1Ԓ�}�ھ��z�y 177

9.4.2Ԓ�}���ݙz�y 179

9.5Ԓ�}��ۙ 179

9.6�u������ 181

9.7�罻ý�wԒ�}�z�y�c��ۙ 182

9.7.1�罻ý�wԒ�}�z�y 182

9.7.2�罻ý�wԒ�}��ۙ 184

9.8ͻ�lԒ�}�z�y 184

9.8.1ͻ�l��B�R�e 185

9.8.2���ęn�����ĵķ��� 187

9.8.3�����������ĵķ��� 188

9.9�Mһ����x 190

���} 190