tracker

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Shuffle Map的过程,即Shuffle Stage的ShuffleTask按照一定的规则将数据写到相应的文件中,并把写的文件"位置信息" 以MapOutput返回给DAGScheduler ,MapOutput将它更新到特定位置就完成了整个Shuffle Map过程. 在Spark中,Shuffle reduce过程抽象化为ShuffledRDD,即这个RDD的compute方法计算每一个分片即每一个reduce的数据是通过拉取ShuffleMap输出的文件并返回Iterator来实现的 1. 对比MapReduce 1.1. 宏观比较 两者差别不大，度分为map和reduce两个阶段 。 从 high-level 的角度来看，两者并没有大的差别。 都是将 mapper（Spark 里是 ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask，也可能是 ResultTask）。Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce() （Spark

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 项目中目前使用的FastDFS做文件存储，但是最近项目并发量有点高，经常出现文件下载和上传时间较长的情况，这是需要排查是因为网络延迟、请求阻塞或者FastDFS的问题。 如何排查是否是FastDFS问题而不是网络延迟导致的，我们最好可以在部署FastDFS的服务器上手动执行上传和下载，因为FastDFS目前没有在维护导致这方面的资料比较少，所以记录下来方便有需要的朋友使用。 上传 fdfs_test /etc/fdfs/client.conf.sample upload ~/2.png 执行结果： This is FastDFS client test program v5.09 Copyright (C) 2008, Happy Fish / YuQing FastDFS may be copied only under the terms of the GNU General Public License V3, which may be found in the FastDFS source kit. Please visit the FastDFS Home Page http://www.csource.org/ for more detail. [2018-07-03 11:37:02] DEBUG

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 【前言】 在工作过程中用到了FastDFS来做分布式文件管理和存储，关于FastDFS的东西百科（详情猛击me）写的很明白，在此不再赘述;接下来主要为大家介绍一下FastDFS搭建过程。 【FastDFS搭建详解】 一、所需基本环境 1、Linux版本：CentOS7 2、FastDFS版本：5.05 3、Xsheel版本：5 二、FastDFS安装 1、安装gcc yum install gcc-c++ 2、安装libevent工具包 yum -y install libevent 3、安装wget yum -y install wget 4、安装perl （1）wget http://www.cpan.org/src/5.0/perl-5.24.1.tar.gz （2）tar -xzf perl-5.24.1.tar.gz （3）cd perl-5.24.1 （4）./Configure -des -Dprefix=$HOME/localperl （5）make （6）make test （7）make install 5、安装libfastcommon-1.0.7 （1）下载 （2）unzip libfastcommon-1.0.7.zip （若没有unzip插件则用yum install -y

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 有时有些进程占用的内存非常高，但是想知道是什么数据占用，可以使用以下工具获取部分信息，因为进程的内存都是私有人，不可能直接读出，所以需要借助一些工具获取部分信息。 1、导出内存 dump memory 通常使用top命令查询Rss驻留的内存，找到相应的pid，再用lsof -p pid查看打开了哪些文件，可以优化比较大的文件，第三步pmap -X pid查看内存分配情况。如果发在[heap]类型占用的内存较大，那就要查找程序malloc分配了哪些内容占用内容（如果是第三方程序，就需要dump内存来查看个大概是什么内容在里了）,dump内存的方法 #获取内存地址起止地址 #cat /proc/6086/maps 或#pmap 6086 #gdb --pid 1604 >dump memory /tmp/php-memory.dump 0x0146f000 0x06ebf000 --表示开始和结束内存地址（16进制） #查看数据 #strings -n 10 /tmp/php-memory.dump 2、查找内存 Valgrind http://valgrind.org/docs/manual/ms-manual.html Heaptrack http://milianw.de/blog/heaptrack-a

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 引言 FastDFS 属于分布式存储范畴，分布式文件系统 FastDFS 非常适合中小型项目，在我接手维护公司图片服务的时候开始接触到它，本篇文章目的是总结一下 FastDFS 的知识点。 用了 2 台 2 核 4G 的阿里云服务器做集群部署，具体部署步骤请参考： https://github.com/happyfish100/fastdfs/wiki 1、FastDFS 分布式文件系统概述 FastDFS 是一个轻量级的开源分布式文件系统，作者为淘宝资深架构余庆。 FastDFS 主要解决了分布式文件存储与高并发访问的问题，实现了负载均衡，适合存储图片、视频、文档等文件，而且支持存储服务器的在线扩容。 2、FastDFS 架构 FastDFS 服务端有两个角色：Tracker 与 Storage，其中 Tracker 主要做调度工作，有着负载均衡作用，Storage 负责文件存取、同步等操作。 FastDFS 系统结构： 2.1、Client 客户端访问 FastDFS 分布式存储，一般为后端应用。 2.2、Tracker Tracker 在 FastDFS 集群中有两大作用： 管理 Storage 集群，在 Storage 服务启动时，会把自己注册到 Tracker 上，并定期上报自身状态信息