��1�� ���ע�����cӋ��Cע����——���J�R���ҵ���������
1.1��Դ˼�����܌W�е�ע����
1.1.1�����܌W�Ę����^�c
1.1.2ע����ҕ��һ���J֪�F��
1.1.3ע����������Ҫ�о�����
1.2��·�v�̣�����W�е�ע����
1.2.1�������W�е�ע����
1.2.2�J֪����W�е�ע����
1.3�����X�����J֪�񽛿ƌW�е�ע����
1.3.1�J֪�񽛿ƌW���о����A�ͷ���
1.3.2�J֪�񽛿ƌW�е�ע�����о�
1.4�������磺Ӌ��C�ƌW�е�ע����
1.4.1�˹����ܞ�ʲôҪӑՓע������
1.4.2ע�����cӋ��Cҕ�X
1.4.3ע�����c��Ȼ�Z��̎��
1.4.4ע�����C�ƵĶ�ģ�B����
�����īI
��2�� Ӌ��Cҕ�X�е�ע����
2.1ע����ģ�͵ķ��
2.1.1���^�c���^�����¶��ϵ�ע�����c���϶��µ�ע����
2.1.2Ŀ���c�ֶΣ�ҕ�X�@���ԙz�y�cҕ�Xע�����C��
2.1.3��Ĥ�c���أ�Ӳ��ע�����c����ע����
2.1.4�����cλ�ã�������ע�����c���g��ע����
2.1.5�Լ��c�໥����ע�����c��ע����
2.2ҕ�X�@���ԙz�yԭ���cģ������
2.2.1עҕ�c�A�y
2.2.2�@�����w�z�y
2.3ע�����C�Ƶ�Ӌ��Cҕ�X�����cģ������
2.3.1Ŀ�������c�R�e
2.3.2�����ȷ��
2.3.3�񽛾W�j�е�ͨ��ע����ģ�K
�����īI
��3�� ��Ȼ�Z��̎���е�ע����——“ǰTransformer”�ĕr��
3.1�C�����g�cSeq2Seqģ��
3.1.1�C�����g
�˹�����ע�����C�ƣ��wϵ��ģ���c�㷨����3.1.2Seq2Seqģ��
3.2��Ȼ�Z��̎����ע�����C�Ƶ���Դ
3.2.1Seq2Seqģ�͵Ć��}
3.2.2ע����Seq2Seqģ��
3.3�����㷨����
3.3.1ȫ��ע�����c�ֲ�ע�����C��
3.3.2�Ӽ�ע�����C��
3.3.3��ע�����C��
3.4ע�����C�Ƶ���ʽ����ʾ
�����īI
��4�� “ֻҪע����”��Transformer
4.1Transformer���Q��
4.2Transformer�ľ��a��-��a���ܘ�
4.2.1���a���Y��
4.2.2��a���Y��
4.3Transformer��ݔ���cݔ��
4.3.1�~Ƕ��
4.3.2λ�þ��a
4.3.3Transformer��ݔ��
4.4Transformer��ע�����C��
4.4.1�s���c�eע����
4.4.2���^ע����
4.4.3���a���c��a���е�ע����ģ�K
4.5һЩ�������}
4.5.1BatchNorm�cLayerNorm
4.5.2ģ��Ӗ����Teacher Forcingģʽ
4.5.3�����A�y��Beam Search����
�����īI
��5�� ��Ȼ�Z��̎���е��AӖ����ʽ�cTransformer��“һ�y����”
5.1�Z�Խ�ģ
5.1.1�ĽyӋ�Z��ģ�͵��񽛾W�j�Z��ģ��
5.1.2�����Z��ģ���c�p���Z��ģ��
5.1.3�Իؚw�Z��ģ���c�Ծ��a�Z��ģ��
5.2��Ȼ�Z��̎���е��AӖ����ʽ
5.2.1“�AӖ�� ΢�{”��ʽ
5.2.2“�AӖ�� ��ʾ”��ʽ
5.3�AӖ��ģ�͸��[
5.4����Transformer���AӖ��ģ��
5.4.1GPT��Transformer��“����”
5.4.2BERT��Transformer��“����”
5.4.3Transformer-XL�cXLNet���������Lݔ�뵽“���õ�BERT”
5.4.4RoBERTa�cALBERT��“������BERT”�c“������BERT”
5.4.5MASS��BART�cUniLM�����е����е�ģ��
5.4.6ERNIE“�p��”�������ⲿ����������ģ��
5.4.7XLM�����Z�N�AӖ���Z��ģ��
5.4.8GPT-2.0�cGPT-3.0������ģ��
�����īI
��6�� Ӌ��Cҕ�X�е�Transformer
6.1ҕ�XTransformerģ�͸��[
6.2���e߀��ע������
6.3Transformer��Ӌ��Cҕ�X�����c�㷨����
6.3.1�D�����cͨ�����ɾW�j
6.3.2Ŀ�˙z�y
6.3.3�D��ָ�
6.3.4�ԱO���AӖ��ģ��
�����īI
��7�� ��ģ�B�C���W���е�ע�����C��
7.1��ģ�B���g�lչʷ
7.2��ģ�B�C���W�����R������
7.3ҕ�X�Z�Զ�ģ�Bģ��
7.3.1ҕ�X�Z���΄պ���
7.3.2ҕ�X�Z��ģ���е�ע�����C��
7.4�����ģ�Bģ������
7.4.1���چ��΄�ҕ�X�Z��ģ��
7.4.2ҕ�X�Z���AӖ��ģ��
7.4.3��ʾ��CVģ��
7.4.4��������ģ��
�����īI