序列化是将对象转换为字节流,本质上可以理解为将链表的非连续空间的数据存储转化为连续空间存储的数组中。这样就可以将数组进行流式传输或者存储。相反,反序列化就是将字节流转换为对象。
序列化的主要目的:
1.进程间的通信:不同节点之间进行数据传输
2.数据持久化存储到磁盘:本地节点讲对象写入磁盘。
spark 中,序列化拥有重要地位。无论是内存或者磁盘中的RDD含有的对象存储,还是节点间的传输数据,都要执行序列化
来源:oschina
链接:https://my.oschina.net/u/2507413/blog/525843