fedora

DolphinDB与Pandas对于大文本文件处理的性能对比 智臾科技

删除回忆录丶 提交于 2020-12-04 13:44:14
DolphinDB Database 是一款高性能的分布式时序数据库。它集成了功能强大的编程语言和高容量高速度的流数据分析系统,为海量数据(特别是时间序列数据)的快速存储、检索、分析及计算提供一站式解决方案。 Pandas是Python的一个包,最初被作为金融数据分析工具而开发,为时间序列分析提供了很好的支持。 DolphinDB是一个分布式系统,但也可以作为工作站使用。DolphinDB和Pandas都能够处理大文本文件,哪个的表现更出色呢?在处理大文本文件时,我们最关心的两个因素是性能和内存占用情况。因此,我们将从这两方面对DolphinDB和Pandas进行对比。 本次测试使用的硬件和操作系统如下: Dell PowerEdge R830 服务器 内存:1024GB CPU:E5-4640 v4 48 核 2.1GHZ 操作系统:Fedora27 RAID 0:8X1.2TB 10000 RMP HDD DolphinDB提供了修改内存使用限制的配置项,所以我们把内存限制设置为128G,24核,这更符合大部分实际用户的服务器配置。而在Pandas中,我们无法对内存使用进行限制。 数据生成 我们在 DolphinDB database 中生成一个40G文本文件,包含了16列,一共有390,000,000行数据。生成数据的脚本如下: n=390000000 workDir = "

DolphinDB与Pandas对于大文本文件处理的性能对比

空扰寡人 提交于 2020-12-02 16:39:11
Pandas是Python的一个包,最初被作为金融数据分析工具而开发,为时间序列分析提供了很好的支持。 DolphinDB Database 是一款高性能的分布式时序数据库。它集成了功能强大的编程语言和高容量高速度的流数据分析系统,为海量数据(特别是时间序列数据)的快速存储、检索、分析及计算提供一站式解决方案。 DolphinDB是一个分布式系统,但也可以作为工作站使用。DolphinDB和Pandas都能够处理大文本文件,哪个的表现更出色呢?在处理大文本文件时,我们最关心的两个因素是性能和内存占用情况。因此,我们将从这两方面对DolphinDB和Pandas进行对比。 本次测试使用的硬件和操作系统如下: Dell PowerEdge R830 服务器 内存:1024GB CPU:E5-4640 v4 48 核 2.1GHZ 操作系统:Fedora27 RAID 0:8X1.2TB 10000 RMP HDD DolphinDB提供了修改内存使用限制的配置项,所以我们把内存限制设置为128G,24核,这更符合大部分实际用户的服务器配置。而在Pandas中,我们无法对内存使用进行限制。 数据生成 我们在 DolphinDB database 中生成一个40G文本文件,包含了16列,一共有390,000,000行数据。生成数据的脚本如下: n=390000000 workDir = "

如何解决Ubuntu提示没有找到ifconfig命令

社会主义新天地 提交于 2020-12-01 12:35:38
导读 在我们新安装的Ubuntu 20.04操作系统中,我们想要查看ip地址,发现使用ifconfig 命令 ,提示找不到这个 命令 。在下面文章汇总,会介绍如何安装这个工具。 当在运行 ifconfig 命令是,提示下面的错误,就代表没有安装它: bob@ubuntu-20-04:~$ ifconfig Command 'ifconfig' not found, but can be installed with: sudo apt install net-tools 或者提示下面的信息: -bash: ifconfig: command not found 在Ubuntu 20.04中,不建议使用ifconfig命令。这就是为什么会收到有关缺少的ifconfig命令的错误的原因。若想要查看ip地址。可以使用 ip addr 命令,它几乎可以执行与ifconfig命令相同的任务,如下面的代码所示: bob@ubuntu-20-04:~$ ip addr 1: lo: mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft

.NETCore Docker实现容器化与私有镜像仓库管理

此生再无相见时 提交于 2020-11-29 04:50:05
一、Docker介绍 Docker是用Go语言编写基于Linux操作系统的一些特性开发的,其提供了操作系统级别的抽象,是一种容器管理技术,它隔离了应用程序对基础架构(操作系统等)的依赖。相较于虚拟机而言,Docker共享的是宿主机的硬件资源,使用容器来提供独立的运行环境来运行应用。虚拟机则是基于Supervisor(虚拟机管理程序)使用虚拟化技术来提供隔离的虚拟机,在虚拟机的操作系统上提供运行环境!虽然两者都提供了很好的资源隔离,但很明显Docker的虚拟化开销更低! Docker涉及了三个核心概念:Register、Image、Container。 1. Registry:仓库。用来存储Docker镜像,比如Docker官方的Docker Hub就是一个公开的仓库,在上面我们可以下载我们需要的镜像。 2. Image:镜像。开发人员创建一个应用程序或服务,并将它及其依赖关系打包到一个容器镜像中。镜像是应用程序的配置及其依赖关系的静态形式。 3. Container:容器。Container是镜像的运行实例,它是一个隔离的、资源受控的可移植的运行时环境,其中包含操作系统、需要运行的程序、运行程序的相关依赖、环境变量等。 它们三者的相互作用关系是: 当我们执行Docker pull或Docker run命令时,若本地无所需的镜像,那么将会从仓库(一般为DockerHub)下载

使用 LVM 扩展卷空间

我的未来我决定 提交于 2020-11-28 08:39:39
LVM 是一个逻辑卷管理工具,包括分配磁盘、条带化、镜像和调整逻辑卷的大小。它在 Fedora 安装中被普遍使用(在 BTRFS 作为默认文件系统之前是 LVM + Ext4)。但是你是否曾经遇到过启动系统时,GNOME 提示 home 卷几乎没有空间了!幸运的是,很有可能有一些空间在另一个卷中,而未被使用,可以用于重新分配。下面就来看看如何用 LVM 回收硬盘空间。 在卷之间轻松重新分配空间的关键是 逻辑卷管理器(LVM) 。Fedora 32 及以前的系统默认使用 LVM 来划分磁盘空间。这种技术类似于标准的硬盘分区,但 LVM 更加灵活。LVM 不仅可以实现灵活的卷大小管理,还可以实现一些高级功能,比如读写快照、在多个硬盘上进行数据条带化或镜像、将高速硬盘作为慢速硬盘的缓存等等。所有这些高级选项可能会让人有点不知所措,但调整卷的大小很简单的。 LVM 基础 卷组 (VG)作为 LVM 系统中的主要容器。默认情况下,Fedora 只定义了一个卷组,但你可以根据需要定义多个卷组。实际的硬盘和硬盘分区被添加到卷组中作为 物理卷 (PV)。物理卷会将可用的空间添加到卷组中。一个典型的 Fedora 安装有一个格式化的启动分区,其余的硬盘是一个配置为 LVM 物理卷的分区。 从这个可用空间池中,卷组分配了一个或多个 逻辑卷 (LV)。这些卷类似于硬盘分区,但没有磁盘上连续空间的限制

如何在 Fedora 中安装 VirtualBox | Linux 中国

送分小仙女□ 提交于 2020-11-25 10:03:36
这样,你可以在你的操作系统上像使用应用程序一样使用 Fedora。 来源: https:// linux.cn/article-12854- 1.html 作者:Dimitrios Savvopoulos 译者:frogOAO (本文字数:4870,阅读时长大约:7 分钟) 如果你对 Fedora Linux 感兴趣,这有几种方式可以尝试它。 最简单还不影响你操作系统的方式是 制作 Fedora 的 USB 临场启动盘 。 LCTT 译注 : 在 Linux 发行版的使用方式上,有一种可以无需安装而通过光盘或 USB 存储棒直接在计算机上启动完整的 Linux 操作系统的方式,这种方式称之为 “Live” 方式,如 Live CD、Live USB。 通常,Live 一词并不翻译,不过,我认为,除了英文缩写和部分历史原因造成直接使用的英文单词,大部分场景都应该使用本地化的语言来描述,否则,中英文混杂的港台式中文,实在有些不伦不类;抑或,外文翻译本身就不存在意义了。 因此,对于 “Live” 一词如何翻译,我们也颇费心思。这个词,在维基百科中文中,被翻译为“ 自生系统 ”,在某些场景下偶见 “现场”、“临场” 等翻译。考虑到 Live CD/USB 的特性,我认为翻译为 “临场” 比较好。 于此抛出愚见,希望得到大家的积极反馈。wxy@LCTT 另一种方式是安装 VirtualBox

Fedora Linux安装deb包

烈酒焚心 提交于 2020-11-23 06:35:24
前言: 我们知道,在Linux系统上有两种主要的软件包格式,分别是RPM和deb. RPM是“RPM Package Manager(RPM软件包管理器)”的递归缩写。RPM是一种用于软件打包、安装、卸载和升级的管理工具,其生成的文件扩展名为“.rpm”. RedHat Linux、OpenLinux和Turbo Linux等Linux发行版中都使用了RPM. deb是基于Debian的操作系统(如Debian、Ubuntu和Kali)中软件包格式的扩展名(.deb). “deb”的名称来源和“Debian”一样,都是取自Debian的创始人Lan Murdock的妻子Debra Murdock. 处理deb包经常使用的工具是dpkg. 有时,我们可能会需要在使用了RPM的Linux上使用deb包。这时候我们可以使用Alien工具将deb包转换成RPM包。 下面介绍将deb包转换成RPM包的方法以及如何在Fedora上安装RPM包。 一 安装Alien 安装Alien需要使用root权限,如果我们是以普通用户的身份登陆的Fedora,那么我们就需要首先切换到root用户再进行接下来的操作或者使用命令: sudo 临时获取root权限(我在Fedora中使用“sudo”命令时发生了无法使用的问题,解决方法请查看我的博文 Fedora Linux中解决“xxx不在sudoers文件中”

fedora创建快捷键打开终端(terminal)

那年仲夏 提交于 2020-11-21 10:42:27
刚刚安装完fedora 18,发现使用ctrl+alt+t快捷键不能打开终端(以前使用linux mint13时是可以的),于是自己探索了一番,解决了这个问题。 1.点击桌面右上角的用户菜单 2.点击System Settings 3.点击Keyboard 4.点击Shortcuts 5点击Custom Shortcuts 6.点击加号 7.出现了一个Custom Shortcut框 在name框中填写这个快捷键的名称,比如open terminal(打开终端窗口) 在command框中填写执行这个快捷键的shell命令,此处可填写gnome-terminal 8.点击Apply 9.点击自定义快捷键右边的disable,就会让你输入自定义的快捷键组合,这时你要按下你希望的快捷键组合即可,比如我常使用 ctrl+alt+t 快捷键来打开命令行终端,我就按下 ctrl+alt+t 的组合键即可。 这时,我再按下 ctrl+alt+t 快捷键就可以打开terminal了。 打开终端后,你还可以使用 ctrl+shift+t 快捷键在同一个窗口中新建一个终端标签,并可以使用 alt+n 快捷键来切换到不同的终端标签,其中 n 表示从1-9的数字。 来源: oschina 链接: https://my.oschina.net/u/1023919/blog/121499

通过微软的 WSL2 使用 Fedora 33 | Linux 中国

混江龙づ霸主 提交于 2020-11-21 08:14:33
通过 WSL 使用 Fedora 可以让你将这两种环境融合在一起,创造一个奇妙的开发环境。 来源: https:// linux.cn/article-12845- 1.html 作者:Jim Perrin 译者:Xingyu.Wang (本文字数:2425,阅读时长大约:3 分钟) 如果你像我一样,你可能会发现自己因为各种原因而运行 Windows,无论是因为工作还是游戏。当然,你可以在虚拟机或容器中运行 Fedora,但这些并不像 Windows 的 Linux 子系统(WSL)那样容易融合到普通的 Windows 体验中。通过 WSL 使用 Fedora 可以让你将这两种环境融合在一起,创造一个奇妙的开发环境。 先决条件 为了达成这一目标,你需要一些基本条件。你应该运行 Windows 10,并且已经安装了 WSL2。如果没有,请查看 微软文档说明 ,完成后再回来这里。微软建议为了简单起见,将 WSL2 设置为发行版的默认设置。本指南假设你已经这样做了。 接下来,你将需要一些解压 xz 压缩文件的方法。你可以用另一个基于 WSL 的发行版来解压,或者使用 7zip 。 下载 Fedora 33 rootfs 由于 Fedora 并没有提供实际的 rootfs 存档,所以我们将借用一个用于生成 Dockerhub 容器镜像的存档。你需要从 fedora-cloud 的

MySQL8 重置密码

余生长醉 提交于 2020-11-20 08:37:35
环境:fedora-server 29 MySQL版本:8 由于MySQL8相比其他的MySQL版本变化太大,所以重置密码的方法有很大的不同。 在/etc/my.cnf中添加 skip-grant-tables 跳过mysql登陆密码认证 重启MySQL服务 service mysqld restart 输入 mysql -u root 进入MySQL 将密码设置为空 UPDATE mysql.user SET authentication_string= "" WHERE user= ' root ' and host= ' localhost ' ; 退出MySQL并在/etc/my.cnf注释掉第1步所添加的字段并重启MySQL服务 输入 mysql -u root -p 执行后不输入密码直接回车进入 修改密码 ALTER user ' root ' @ ' localhost ' IDENTIFIED BY ' 你的密码 ' ; // 密码必须含有大写字符、数字、特殊字符,不然可能会报错 退出mysql再输入 mysql -u root -p 执行后输入刚才修改的密码即可进入 来源: oschina 链接: https://my.oschina.net/u/4362113/blog/4107268