Ŀ� Contents
�g����
ǰ��
��1�¡�̽����������1
1.1��Scala���T2
1.2��ȥ������ֶε��؏�ֵ2
1.3����ֵ�ֶθ���4
1.4������������֌ӳ�Ӻ�һ�³��5
1.5��ʹ��Scala��Spark��Note-book����8
1.6�����P�ԵĻ��A12
1.7�����Y14
��2�¡������ܵ��ͽ�ģ15
2.1��Ӱ푈D16
2.2����؞ԇ���L�U̎��17
2.3��̽���c���Æ��}21
2.4����֪֮��֪23
2.5��������ϵ�y�Ļ����M��23
2.5.1�������ռ�24
2.5.2�������D�Q��25
2.5.3�����������c�C���W��26
2.5.4��UI�M��26
2.5.5����������28
2.5.6���P“����28
2.5.7���O��28
2.6�������ͽ���28
2.7�����Y29
��3�¡�ʹ��Spark��MLlib30
3.1�����bSpark31
3.2������Spark�ļܘ�32
3.2.1���΄��{��32
3.2.2��Spark�ĽM��35
3.2.3��MQTT��ZeroMQ��Flume��Kafka36
3.2.4��HDFS��Cassandra��S3��Tachyon37
3.2.5��Mesos��YARN��Standa-lone38
3.3������38
3.3.1�����~Ӌ��38
3.3.2���������Ć��~Ӌ��41
3.3.3��Spark SQL�͔�����45
3.4���C���W����46
3.4.1��SparkR47
3.4.2���D�㷨��Graphx��Graph-Frames48
3.5��Spark�������{��48
3.6���\��Hadoop��HDFS49
3.7�����Y54
��4�¡��O���W���͟o�O���W��55
4.1��ӛ䛺ͱO���W��55
4.1.1��Iirs������56
4.1.2��˺��c57
4.1.3��SVMWithSGD58
4.1.4��logistic�ؚw60
4.1.5���Q�ߘ�62
4.1.6��bagging��boosting�����ɌW������66
4.2���o�O���W��66
4.3�������S��71
4.4�����Y73
��5�¡��ؚw�ͷ��74
5.1���ؚw��ʲô74
5.2���B�m���g�Ͷ���75
5.3�����Իؚw77
5.4��logistic�ؚw81
5.5�����t��83
5.6����Ԫ�ؚw84
5.7��������84
5.8���ؚw��85
5.9����Ķ���87
5.10�������}87
5.11����֪�C87
5.12�������`����^�M��90
5.13�����Y90
��6�¡�ʹ�÷ǽY��������91
6.1��Ƕ�ה���92
6.2���������л���ʽ100
6.3��Hive��Impala102
6.4����Ԓ��104
6.5��ʹ�����|109
6.6��ʹ��ģʽƥ��110
6.7���ǽY����������������;113
6.8�����ʽY��113
6.9��ͶӰ113
6.10�����Y113
��7�¡�ʹ�ÈD�㷨115
7.1���D����115
7.2��SBT116
7.3��Scala�ĈD�Ŀ119
7.3.1�����ӹ��c��߅121
7.3.2���D�s��123
7.3.3��JSON124
7.4��GraphX126
7.4.1���l�յ�����]��130
7.4.2���Bͨ����131
7.4.3��������Ӌ��132
7.4.4�����Bͨ����132
7.4.5��PageRank133
7.4.6��SVD 134
7.5�����Y138
��8�¡�Scala�cR��Python�ļ���139
8.1��R�ļ���140
8.1.1��R��SparkR�����P����140
8.1.2��������144
8.1.3������ģ��150
8.1.4���V�x����ģ��152
8.1.5����SparkR���xȡJSON�ļ�156
8.1.6����SparkR�Ќ���Parquet�ļ�157
8.1.7����R�{��Scala158
8.2��Python�ļ���161
8.2.1�����bPython161
8.2.2��PySpark162
8.2.3����Java/Scala�{��Python163
8.3�����Y167
��9�¡�Scala�е�NLP169
9.1���ı���������170
9.2��Spark��MLlib��177
9.2.1��TF-IDF177
9.2.2��LDA178
9.3�����~����ע�ͷ։K185
9.4��POS��ӛ186
9.5��ʹ��word2vec�����~�Pϵ189
9.6�����Y192
��10�¡��߼�ģ�ͱO��193
10.1��ϵ�y�O��194
10.2���M�̱O��195
10.3��ģ�ͱO��201
10.3.1���S�r�g׃��������202
10.3.2��ģ��ͣ�ؘ�202
10.3.3��A/B�yԇ202
10.4�����Y202