yarn

一、taro介绍 Taro 是一套遵循 React 语法规范的 多端开发 解决方案。从web、小程序、React-Native... 当业务要求同时在不同的端都要求有所表现的时候，针对不同的端去编写多套代码的成本显然非常高，这时候只编写一套代码就能够适配到多端的能力就显得极为需要。 使用 Taro，我们可以只书写一套代码，再通过 Taro 的编译工具，将源代码分别编译出可以在不同端（微信/百度/支付宝/字节跳动小程序、H5、React-Native 等）运行的代码。 h ttps://nervjs.github.io/taro/ 二、特性 taro的语法风格： 　　taro的语法是遵循react的语法规则，如果对react了解的情况下则很容易上手。跟react一样，使用的是JSX的语法。 taro的开发支持： 　　taro最初就是为了多端项目开发而进行的研发的框架。目前支持 　　React-Native、H5、微信小程序、支付宝小程序、百度小程序、字节跳动小程序 　　因为微信小程序不支持npm进行第三方库管理工具。而且还无法使用一些比较新的 ES 规范等等。则taro对这一方面进行的改进，进行了优化。 　　✅ 支持使用 npm/yarn 安装管理第三方依赖 　　✅ 支持使用 ES7/ES8 甚至更新的 ES 规范，一切都可自行配置 　　✅ 支持使用 CSS 预编译器，例如 Sass

Docusaurus2 可快速搭建文档、博客、官网等网站，并发布到 GitHub Pages, Serverless 等。 我们只需 Markdown 写写内容就行，也可直接编写 React 组件嵌入。而 SEO、搜索、版本等都友好支持了。 另外重要的一点是此项目是 Facebook 开源维护的，他们自己也在用，所以质量、长久性能有所保证。 代码： https://github.com/ikuokuo/start-docusaurus2 演示： https://ikuokuo.github.io/start-docusaurus2/ 👀 前提准备 Node.js version >= 10.15.1 Yarn version >= 1.5 ❯ node -v v12.18.4 ❯ yarn version yarn version v1.22.10 创建项目 # npx @docusaurus/init@latest init [name] [template] npx @docusaurus/init@latest init my-website classic 运行输出： Success! Created my-website Inside that directory, you can run several commands: yarn start Starts the

centos7下hadoop-3.1.0集群搭建 环境准备 1.服务器概览 hostname ip 说明 node1.spark 192.168.2.140 node1节点(master) node2.spark 192.168.2.141 node2节点 node3.spark 192.168.2.142 node3节点 分别在三台服务器上执行以下命令 #添加host [root@node1 ~] vim /etc/hosts 192.168.2.140 node1.spark 192.168.2.141 node2.spark 192.168.2.142 node3.spark #执行以下命令关闭防火墙 [root@node1 ~]systemctl stop firewalld && systemctl disable firewalld [root@node1 ~]setenforce 0 #将SELINUX的值改成disabled [root@node1 ~]vim /etc/selinux/config SELINUX=disabled #重启服务器 [root@node1 ~]reboot 2.配置免密码登录 #node1执行以下命令 #生成密钥Pair,输入之后一直选择enter即可。生成的秘钥位于 ~/.ssh文件夹下 [root@node1 ~]# ssh

Hadoop（二）搭建伪分布式集群 前言 　　前面只是大概介绍了一下Hadoop，现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享，先要看一下效果吧！ 一、Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone Mode） 　　-默认情况下，Hadoop即处于该模式，用于开发和调式。 　　-不对配置文件进行修改。 　　-使用本地文件系统，而不是分布式文件系统。 　　-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 　　-用于对MapReduce程序的逻辑进行调试，确保程序的正确。 1.2、伪分布式模式（Pseudo-Distrubuted Mode） 　　-Hadoop的守护进程运行在本机机器，模拟一个小规模的集群　 　　-在一台主机模拟多主机。 　　-Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。 　　-在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由JobTraker服务，来管理的独立进程。在单机模式之上增加了代码调试功能

react项目构建可以很简单，但是如果是结合typescript，其实也不是很麻烦，官网也有很明确的说明。有两种办法： 1、直接构建带有typescript的react项目，我们需要增加额外的参数，模版不能使用默认的cra-template。而是使用cra-template-typescript。 npx create-react-app tsreactdemo --template typescript 创建完成的成功提示与原来没有太大的区别，直接进入项目路径下，然后yarn start或者npm start。 进入项目，我们不着急启动，首先看看文件长得怎么样，默认会创建一个tsconfig.json，而且src目录下的默认的index.js,App.js文件变为了ts版本的index.tsx,App.tsx。 我们可以看看package.json中的依赖： 其实，依赖就是多了@types/jest,@types/node,@types/react,@types/react-dom 。 最早，我们创建typescript的react项目命令好像直接就是npx create-react-app xxx --typescript，可是现在这样不行了，后面的参数必须是--template typescript，而不是直接--typescript。这个需要说明一下，并不是我们搞错了

Hadoop Linux环境安装 1. 安装环境 Linux CentOS 7操作系统 JDK1.8 Hadoop 3.1.1 2. 具体步骤 2.1. 安装JDK1.8 官网下载 解压文件（命令：tar -zxvf jdk-8u191-linux-x64.tar.gz） 。 配置环境变量（命令：vi/etc/profile）在末尾添加一下配置： export JAVA_HOME=/home/tools/jdk1.8.0_191 export JRE_HOME=/home/tools/jdk1.8.0_191/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 1 2 3 4 刷新配置文件（命令：source /etc/profile） 验证是否安装成功（命令：java -version） 2.2 安装Hadoop 官网下载 版本3.1.1 解压文件（命令：tar -zxvf hadoop-3.1.1.tar.gz -C hadoop） 配置环境变量（命令：vi/etc/profile）在末尾添加一下配置： export HADOOP_HOME=/home/hadoop/hadoop export HADOOP

1.前置软件： 　　JDK1.8 2.修改配置文件： cp slaves.template slaves vi slaves 　　添加从节点： 　　　　slave1 　　　　slave2 cp spark-env.sh.template spark-env.sh vi spark-env.sh 　　添加环境变量： 　　　　export SPARK_MASTER_HOST=master 　　　　export SPARK_MASTER_PORT=7077 　　　　export SPARK_WORKER_CORES=2 　　　　export SPARK_WORKER_MEMORY=3g 　　　　export JAVA_HOME=/opt/module/jdk1.8.0_171 3.基于yarn 提交任务有可能报错虚拟内存不足 在每台节点中的yarn-site.xml中配值关闭虚拟内存检查 <property> 　　<name>yarn.nodemanager.vmem-check-enabled</name> 　　<value>false</value> </property> 4.Standalone 提交命令： ./bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 在前面的文章中，Fayson介绍了《 如何在Redhat7.4安装CDH5.15 》，这里我们基于这个环境开始安装MIT Kerberos。关于在CDH中启用Kerberos也可以参考之前的文章《 如何在CDH集群启用Kerberos 》，《 如何在Redhat7.3的CDH5.14中启用Kerberos 》和《 如何在CDH6.0.0-beta1中启用Kerberos 》。本文Fayson主要介绍如何而在Redhat7.4的CDH5.15中启用Kerberos。 内容概述： 1.如何安装及配置KDC服务 2.如何通过CDH启用Kerberos 3.如何登录Kerberos并访问Hadoop相关服务 4.总结 测试环境： 1.操作系统：Redhat7.4 2.CDH5.15 3.采用root用户进行操作 2.KDC服务安装及配置 本文档中将KDC服务安装在Cloudera Manager Server所在服务器上（KDC服务可根据自己需要安装在其他服务器） 1.在Cloudera Manager服务器上安装KDC服务 [root@ip-

1、 hadoop高可用安装和原理详解 2、 hadoop2.7+spark2.2+zookeeper3.4.简单安装 3、 windows下通过idea连接hadoop和spark集群 4、 hadoop2.7之作业提交详解（上） 5、 hadoop2.7之作业提交详解（下） 6、 hadoop2.7作业提交详解之文件分片 7、 hadoop之hdfs命令详解 8、 hadoop之hdfs架构详解 9、 hadoop之mapreduce详解（基础篇） 10、 hadoop之mapreduce详解（进阶篇） 11、 hadoop之mapreduce详解（优化篇） 12、 hadoop之yarn详解（基础架构篇） 13、 hadoop之yarn详解（命令篇） 14、 hadoop之yarn详解（框架进阶篇） 来源： oschina 链接： https://my.oschina.net/u/4387530/blog/3390616

1.1 什么是Spark ​ Apache Spark 是专为大规模数据处理而设计的 快速通用 的计算引擎。 ​ 一站式管理大数据的所有场景(批处理,流处理,sql) ​ spark不涉及到数据的存储,只做数据的计算 ​ Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点； ​ 但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 注意:spark框架不能替代Hadoop,只能替代MR,spark的存在完善了Hadoop的生态系统. ​ Spark是Scala编写，方便快速编程。 ​ 学习spark的三个网站 ​ 1) http://spark.apache.org/ ​ 2) https://databricks.com/spark/about ​ 3) https://github.com/apache/spark ​ 官网： http://spark.apache.org Apache Spark™ is a fast and general engine for large-scale data