尚学堂

尚学堂 hadoop

╄→尐↘猪︶ㄣ 提交于 2020-03-23 02:48:51
mr spark storm 都是分布式计算框架,他们之间不是谁替换谁的问题,是谁适合做什么的问题。 mr特点,移动计算,而不移动数据。 把我们的计算程序下发到不同的机器上面运行,但是不移动数据。 每一个split 是由一个map线程,还是map进程进行处理? 肯定的是,他们之间是并发的。 mr的shuffle阶段,是比较难于理解的,不太便于我们去控制他,我们只能通过程序,控制其中的一部分。shuffle阶段,大多数都是有MR框架自动完成的。 溢写到磁盘中:map执行完成,结果肯定是放在内存中的。 所以达到一定数量之后,就需要溢写到磁盘中。在这之前,需要进行分区(partition)和把当前这个map的输出数据进行排序(sotred) 所以说,写到磁盘中的数据已经分好区了,并且已经排好序了。这都是在map任务所在节点的本地执行的。 其中partition暂时没有体现出作用。而是在fetch的过程中提现出来的。是按照什么 进行分区的呢?是看partition是怎么写的。partition可以由程序员自己写。按照程序员自己的规则实现。也可以不写,有默认的分区规则。默认分区规则是hash模运算(1,获取hash值 ,是一个int。2,把这个int值对reduce的个数取模),默认的partition是有可能产生数据倾斜的。比如有两个reduce,没所有map产生的所有结果取模的时候

尚学堂-Day019

我怕爱的太早我们不能终老 提交于 2020-03-11 03:24:31
XML标记语言 概念 特点和作用 基础语法 Dom4j解析 正则 一、XML标记语言 1、概念 xml用于标记电子文件使其具有结构性的标记语言,可以用来标记数据、定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。 2、特点和作用 特点 xml与操作系统和编程语言开发平台无关 可以实现不同系统之间的数据交互 作用 配置应用程序( Servlet 配置、框架环境配置等)和网站 数据交互 Ajax基石 3、基础语法 3.1、定义条件 必须有声明语句 必须有,且只能有一个根元素 标签大小写敏感 属性值用双引号 标签成对 元素的嵌套 <?xml version="1.0" encoding="UTF-8"?> < scores pg = " cn.yanghuisen.test1 " > < Student > < id type = " java.lang.Integer " > 1 </ id > < name type = " java.lang.String " > 王同 </ name > < course type = " java.lang.String " > java </ course > < score type = " java.lang.Integer " > 89 </ score > </ Student > < Student > < id

尚学堂-Day020

安稳与你 提交于 2020-03-10 12:20:58
title: 尚学堂-Day020 date: 2020-03-05 20:21:04 tags: - Java - 尚学堂 categories: - 尚学堂 - Java 网络编程 端口和URL UDP和TCP 一、概念 网络即将不同区域的电脑连接到一起, 组成局域网、城域网或广域网。把分布在不同地理区域的计算机与专门的外部设备用通信线路互连成一个规模大、功能强的网络系统,从而使众多的计算机可以方便地互相传递信息,共享硬件、软件、数据信息等资源。 二、端口和URL 2.1、端口 端口是虚拟的概念,并不是说在主机上真的有若干个端口。通过端口,可以在一个主机 上运行多个网络应用程序。 public class Test { public static void main ( String [ ] args ) throws Exception { InetAddress address = InetAddress . getLocalHost ( ) ; // 获取主机的地址的IP System . out . println ( address ) ; System . out . println ( address . getHostAddress ( ) ) ; // 获取IP System . out . println ( address . getHostName (

尚学堂-Day013

守給你的承諾、 提交于 2020-03-10 10:12:38
当你清楚的知道自己想要什么,并且意愿非常强烈的时候,你总会有办法得到的。 异常 数组 常用类 String 一、异常 1、异常概念 程序没有按照自己预想的结果运行出来,出现了非正常情况 2、异常的分类 异常 异常 运行时异常 逻辑不够严谨出现的异常,可以通过增强代码的健壮性解决 检查时异常 必须要处理的异常 错误 系统出现的问题,自己无法解决 3、异常处理 1、异常产生 内部抛出了异常,这个异常为系统产生,或手动抛出的异常 2、捕获 public class Test1 { public static void main ( String [ ] args ) { try { int a = 1 / 0 ; System . out . println ( "上面发生了异常,我将不在执行" ) ; } catch ( ArithmeticException e ) { System . out . println ( e . getMessage ( ) ) ; } System . out . println ( "啊哈哈哈" ) ; } } 运行结果 / by zero 啊哈哈哈 这是一个除数为0,然后的到的异常 如果出现异常,则后面的语句将不在执行 3、抛出 public class Test2 { public static void main ( String [ ]

Java尚学堂课程总结+练习题 第一章/第二章

喜夏-厌秋 提交于 2020-03-10 07:03:07
第一章 java入门 1.Java的核心优势:跨平台。跨平台是靠JVM(虚拟机)实现的。 (JVM是一个虚拟的用于执行字节码的虚拟机) 2.Java各版本的含义: JavaSE(Java Standard Edition)标准版,定位在个人计算机的应用。 JavaEE(Java Enterprise Edition)企业版,定位在服务器端的应用。 JavaME(Java Micro Edition)微型版,定位在消费电子产品的应用。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200309132557999.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTcyOTMzNQ==,size_16,color_FFFFFF,t_70) 3.Java程序的开发运行过程为:编写代码、编译、解释运行。 4.JDK用于开发Java程序,JRE是Java运行环境; JVM是JRE的子集,JRE是JDK的子集。 5.JDK配置,需要新建JAVA_HOME环境变量;需要修改Path环境变量。 6.Java是面向对象的语言,所有代码必须位于类class里面

尚学堂-第四章答案

只愿长相守 提交于 2020-01-27 00:15:03
一、选择题 1.以下语句中关于Java构造方法的说法错误的是( )。(选择一项) A.构造方法的作用是为创建对象进行初始化工作,比如给成员变量赋值 B.一个Java类可以没有构造方法,也可以提供1个或多个构造方法 C.构造方法与类同名,不能书写返回值类型 D.构造方法的第一条语句如果是super(),则可以省略,该语句作用是调用父类无参数的构造方法 2.在Java中,以下程序编译运行后的输出结果为( )。(选择一项) public class Test { int x , y ; Test ( int x , int y ) { this . x = x ; this . y = y ; } public static void main ( String [ ] args ) { Test pt1 , pt2 ; pt1 = new Test ( 3 , 3 ) ; pt2 = new Test ( 4 , 4 ) ; System . out . print ( pt1 . x + pt2 . x ) ; } } A.6 B.34 C.8 D.7 3.在Java中关于静态方法,以下说法中正确的是( )。(选择二项) A.静态方法中不能直接调用非静态方法 B.非静态方法中不能直接调用静态方法 C.静态方法可以用类名直接调用 D.静态方法里可以使用this 4

尚学堂java 答案解析 第六章

你离开我真会死。 提交于 2020-01-18 03:30:09
本答案为本人个人编辑,仅供参考,如果读者发现,请私信本人或在下方评论,提醒本人修改 一.选择题 1.C 解析:对void下的函数,可以使用"return;"表示结束之意,但不能"return i",因为数据是void, try-catch-finally:正确执行:try->finaly,除非try里含有System.exit(0)强制退出.错误执行:try(错误时跳)->catch->finally,对finally同上理. 2.C 解析:因为一般情况下无论try-catch语句是否异常,finaly语句最后都会执行. 3.AC 解析:throws用于 申明异常 ,在方法申明时候使用;throw用于 抛出异常, 在方法体内部使用. 4.BC 解析:A:Exception是所有异常类的父类,不是运行异常,SexException不存在 B:NullPointerException是运行时发现在不能引用NULL对象的情况下引用NULL对象 InputMismatchException是输入时发现类型不对 C.ArithmeticException计算时发现的错误,最常见的是除0操作 ArrayIndexOutOfBoundsException数组越界 ,java在编译之前是不检查数据越界问题 的. D.ClassNotFoundException没有发现相关类

Java自学视频整理(持续更新中...) .

无人久伴 提交于 2019-12-06 13:30:02
1.Java基础视频 《张孝祥JAVA视频教程》完整版[RMVB](东西网) 历经5年锤炼(史上最适合初学者入门的Java基础视频)(传智播客) 张孝祥2010年贺岁视频:Java高新技术(传智播客) Java多线程与并发库高级应用(传智播客) 尚学堂JAVA视频下载大全(持续更新中...请关注!)(尚学堂) 《动力节点,王勇JAVA系列视频教程》(东西网) 张孝祥Java高新技术(学习资料网) Java视频教程(最适合Java初学者的经典入门视频)(传智播客) 《马士兵 JAVA JSP视频教程》尚学堂科技(尚学堂) 《 尚学堂科技_马士兵_JAVA视频教程》(百度空间) 《尚学堂马士兵 手把手java视频教程》第二版(东西网) java视频教程、java教学视频、java视频下载大全(尚学堂) Java语言资源列表(东西网) Java私塾Java初级教程(学习资料网) Java精品学习视频教程下载汇总(大家论坛) 上海交大最新版JAVA程序设计(学习资料网) JAVA私塾基础视频教程(PlaySoft网) JAVA教程/视频教程类专题资料(学习资料库网) 2.SSH相关视频 hibernate视频教程(华为网盘) 王胜Hibernate(资源共享) 王胜Hibernate(零度软件园) 北京圣思园Hibernate视频教程(学习资料库) struts2实用简洁版视频(传智播客)

尚学堂卓越班入学考试试卷笔试(A卷)

混江龙づ霸主 提交于 2019-11-28 15:49:40
尚学堂卓越班入学考试试卷笔试(A卷) 一、填空题(共15个题目,总计15分) 安装JDK后,为了告诉计算机javac.exe和java.exe等执行文件的位置,需要配置的环境变量是_____________。 Java提供了三种注释类型,分别是单行注释,多行注释和_____________。 char 类型用来表示在Unicode编码表中的字符,长度是______个字节。 _________是短路与运算符,如果左侧表达式的计算结果是false,右侧表达式将不再进行计算。 _____________语句用在循环语句体中,用于终止某次循环过程,即跳过循环体中尚未执行的语句,接着进行下一次是否执行循环的判定。 基本数据类型的类型转换中,要将double类型的常量3.14159赋给为整数类型变量n的语句是_____________________。 执行Person p = new Person();语句后,将在___________中给Person对象分配空间,并在栈内存中给引用变量p分配空间,存放Person对象的引用。 使用static修饰的变量称为静态变量,静态变量可以有两种访问方式,分别是类名.静态变量名和_______________________。 在一个类文件中的关键字package,import,class出现的可能顺序是________________________