Ŀ�
��1��Scala�Z�Ի��A1
1.1���RScala1
1.1.1Scala����1
1.1.2Scala�����d���b2
1.1.3��IDEA�_�l���������d���b
Scala���4
1.1.4�_�l**��Scala����6
1.2Scala�Ļ��A�Z��9
1.2.1•��ֵ��׃��9
1.2.2�������9
1.2.3���g�Ͳ��������d10
1.2.4���ƽY���Z��10
1.2.5�����ͺ���13
1.3Scala�Ĕ����Y��15
1.3.1���M15
1.3.2Ԫ�M18
1.3.3����19
1.4Scala�����������24
1.4.1��c����24
1.4.2�^��25
1.4.3��������Ͱ�������26
1.4.4���|28
1.5Scala��ģʽƥ���c�����29
1.5.1ģʽƥ��30
1.5.2�����31
1.6�����Y31
1.7�n�����}32
��2��Spark���A33
2.1���RSpark33Ŀ�Spark�󔵓������c����
2.1.1Spark����33
2.1.2Spark�����c34
2.1.3Spark������35
2.1.4Spark�cHadoop����36
2.2�Spark�_�l�h��37
2.2.1�h���ʂ�37
2.2.2Spark�IJ���ʽ37
2.2.3Spark��Ⱥ���b����38
2.2.4Spark HA��Ⱥ����41
2.3Spark�\�мܘ��cԭ��45
2.3.1��������45
2.3.2Spark��Ⱥ�\�мܘ�45
2.3.3Spark�\�������46
2.4�w�**��Spark����47
2.5����Spark��Shell49
2.5.1�\��Spark��Shell����49
2.5.2�\��Spark��Shell�xȡHDFS�ļ�50
2.6IDEA�_�lWordCount����52
2.6.1�Ա���ģʽ����Spark����52
2.6.2��Ⱥģʽ����Spark����54
2.7�����Y58
2.8�n�����}59
��3��Spark RDD���Էֲ�ʽ������60
3.1RDD����60
3.2RDD�Ą�����ʽ61
3.2.1���ļ�ϵ�y���d��������RDD61
3.2.2ͨ�^���м��τ���RDD62
3.3RDD��̎���^��63
3.3.1�D�Q����63
3.3.2�Є�����67
3.3.3����WordCount�~�l�yӋ����70
3.4RDD�ķօ^71
3.5RDD����ه�Pϵ71
3.6RDD�C��73
3.6.1�־û��C��73
3.6.2���e�C��75
3.7Spark���΄��{��76
3.7.1DAG�ĸ���76
3.7.2RDD��Spark��\������76
3.8�����Y78
3.9�n�����}78
��4��Spark SQL�Y���������ļ�̎��80
4.1Spark SQL�Ļ��A֪�R80
4.1.1Spark SQL���80
4.1.2Spark SQL�ܘ�81
4.2DataFrame�Ļ��A֪�R82
4.2.1DataFrame����82
4.2.2DataFrame�Ą���83
4.2.3DataFrame�ij���86
4.3Dataset�Ļ��A֪�R89
4.3.1Dataset����89
4.3.2Dataset����Ą���89
4.4RDD�D�Q��DataFrame90
4.4.1����C���Ɣ�Schema90
4.4.2���̷�ʽ���xSchema92
4.5Spark SQL��������Դ94
4.5.1����MySQL94
4.5.2����Hive������96
4.6�����Y99
4.7�n�����}99
��5��HBase�ֲ�ʽ������101
5.1HBase�Ļ��A֪�R101
5.1.1HBase���101
5.1.2HBase�Ĕ���ģ��102
5.2HBase�ļ�Ⱥ����103
5.3HBase�Ļ�������107
5.3.1HBase��Shell����107
5.3.2HBase��Java API����112
5.4����W��HBaseԭ��120
5.4.1HBase�ܘ�121
5.4.2�����惦122
5.4.3��ַ�C��123
5.4.4HBase�x����������124
5.5HBase��Hive������125
5.6�����Y130
5.7�n�����}130
��6��Kafka�ֲ�ʽ�l��ӆ���Ϣϵ�y132
6.1Kafka�Ļ��A֪�R132
6.1.1��Ϣ���fģʽ����132
6.1.2Kafka����133
6.2Kafka����ԭ��134
6.2.1Kafka���ĽM����B134
6.2.2Kafka�������̷���136
6.3Kafka��Ⱥ�����c�yԇ138
6.3.1���bKafka138
6.3.2����Kafka����140
6.4Kafka���a�ߺ����M�ߌ���141
6.4.1���������з�ʽʹ��Kafka141
6.4.2����Java API��ʽʹ��Kafka143
6.5Kafka Streams148
6.5.1Kafka Streams����149
6.5.2Kafka Streams�_�l���~Ӌ������149
6.6�����Y153
6.7�n�����}153
��7��Spark Streaming���rӋ����155
7.1���rӋ��Ļ��A֪�R155
7.1.1ʲô�nj��rӋ��155
7.1.2���õČ��rӋ����155
7.2Spark Streaming�Ļ��A֪�R156
7.2.1Spark Streaming����156
7.2.2Spark Streaming����ԭ��157
7.3Spark��DStream157
7.3.1DStream����157
7.3.2DStream����ģ��158
7.3.3DStream�D�Q����158
7.3.4DStream���ڲ���164
7.3.5DStreamݔ������168
7.3.6DStream����——���F�Wվ���~����170
7.4Spark Streaming����Kafka����173
7.4.1KafkaUtils.createDstream��ʽ173
7.4.2KafkaUtils.createDirectStream��ʽ177
7.5�����Y180
7.6�n�����}180
��8��Spark MLlib �C���W���㷨��182
8.1���R�C���W��182
8.1.1ʲô�ǙC���W��182
8.1.2�C���W����183
8.2Spark�C���W����MLlib�ĸ���184
8.2.1MLlib���184
8.2.2Spark�C���W����������185
8.3�������186
8.3.1��������186
8.3.2��ע�c186
8.3.3���ؾ��187
8.4Spark MLlib�����yӋ188
8.4.1ժҪ�yӋ188
8.4.2���P�yӋ189
8.4.3�֌ӳ��190
8.5���191
8.5.1����֧�������C191
8.5.2߉݋�ؚw192
8.6����——�������]ϵ�y193
8.6.1���]ģ�ͷ��194
8.6.2����MLlib���F�Ӱ���]194
8.7�����Y200
8.8�n�����}200
��9�¾C�ϰ���——Spark���r���ה����yӋ202
9.1ϵ�y����202
9.1.1ϵ�y������B202
9.1.2ϵ�y�ܘ��OӋ202
9.1.3ϵ�y�A�[203
9.2Redis������203
9.2.1Redis��B204
9.2.2Redis�����c����204
9.2.3Redis����������205
9.3ģ�K�_�l——�������̽Y��206
9.4ģ�K�_�l——����ӆ��ϵ�y211
9.4.1ģ�Mӆ�Δ���211
9.4.2��Kafka��Ⱥ�l��ӆ�Δ���212
9.5ģ�K�_�l——����ӆ�Δ���215
9.6ģ�K�_�l——����չʾ219
9.6.1�Web�_�l�h��219
9.6.2���F����չʾ����221
9.6.3��ҕ��ƽ�_չʾ227
9.7�����Y228