临时文件

Mysql修改临时文件目录

社会主义新天地 提交于 2020-01-27 01:17:59
环境:windows 之前同事写了个存储过程,处理的数据量很大,今天发现执行过程中出现了这么个错误: java.sql.SQLException: Error writing file 'C:\Windows\TEMP\MYF1F1.tmp' (Errcode: 28 - No space left on device) 硬盘空间不足是个什么鬼,这个报错明显是说临时文件过大硬盘装不下了,赶紧查下mysql临时文件目录在哪。 show variables like 'tmpdir'; 之前临时文件目录在C盘,已看C盘只剩4.66G空间了,里面的东西又不敢乱动,只能修改一下临时文件的目录了。 修改mysql安装目录下的my.ini文件,在[mysqld]下加一句tmpdir=G:/mysql/temp(你要放的路径) PS: 这里要说明一下的是这个路径不使用要用 \ 分隔, \t 会被转义成制表符,从而导致 mysql 服务启动失败且没有任何错误报告 重启mysql服务 service mysqld restart 再次查看临时文件目录会发现修改成功 参考: https://blog.pythian.com/mysql-myini-gotcha-on-windows/ https://blog.csdn.net/weixin_30799995/article/details

php大文件上传失败的原因及解决方法

情到浓时终转凉″ 提交于 2020-01-19 07:03:02
php.ini无法上传大文件解决办法 1、打开php.ini 2、查找post_max_size:(修改上传大小限制) 表单提交最大数值,此项不是限制上传单个文件的大小,而是针对整个表单的提交数据进行限制的默认为8m,设置为自己需要的值,此参数建议要设置比upload_max_filesize大一些 3、查找file uploads: (修改上传开关限制) 是否允许通过http上传文件的开关,确认file_uploads = on 4、查找upload_tmp_dir: (修改上传临时文件限制) 文件上传至服务器上存储临时文件的地方,如果没指定就会用系统默认的临时文件夹如果系统报错提示有“xxx临时目录xxx”的话,这个目录就需要你来设置一个有效目录,没报错就不用管 5、查找upload_max_filesize: (修改上传大小限制) 允 许上传文件大小的最大值,默认为2m,设置为自己需要的值此参数建议不要超过post_max_size值,因为它受控于post_max_size值 (就算upload_max_filesize设置了1g, 而post_max_size只设置了2m时,大于2m的文件照样传不上去,因为它受控于 post_max_size值) 6、如果要上传大于8m的文件,还需要对下面的参数也进行设置:(修改上传时间限制) 查找max_execution_time =

MR的shuffle和Spark的shuffle之间的区别

核能气质少年 提交于 2020-01-16 05:04:00
mr的shuffle mapShuffle 数据存到hdfs中是以块进行存储的,每一个块对应一个分片,maptask就是从分片中获取数据的 在某个节点上启动了map Task,map Task读取是通过k-v来读取的,读取的数据会放到环形缓存区,这样做的目的是为了防止IO的访问次数,然后环形缓存区的内存达到一定的阀值的 时候会把文件益写到磁盘,溢出的各种小文件会合并成一个大文件,这个合并的过程中会进行排序,这个排序叫做归并排序 map阶段会涉及到 1.sort排序(默认按字典排序) 2.合并(combiner合并) 3.文件合并(merage 合并 总共有三种,默认是内存到磁盘) 4.压缩(设置压缩就会执行) reduce Shuffle 归并排序完成后reduce端会拉取map端的数据,拉取的这个过程叫做copy过程,拉取的数据合并成一个文件,GroupComparator(默认,这个我们也可以自定义)是专门对文件夹里面的key进行分组 然后就形成k-List(v1,v2,v3)的形式,然后reduce经过业务处理,最终输出到hdfs,如果设置压缩就会执行,不设置则不执行 reduce阶段会涉及到: 1.sort排序 2.分组(将相同的key的value放到一个容器的过程) 3.merge文件合并 4.压缩 spark shuffle的版本一 1

Python模块学习——tempfile

北城余情 提交于 2020-01-07 08:26:19
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 主要有以下几个函数: tempfile.TemporaryFile 如何你的应用程序需要一个临时文件来存储数据,但不需要同其他程序共享,那么用TemporaryFile函数创建临时文件是最好的选择。其他的应用程序是无法找到或打开这个文件的,因为它并没有引用文件系统表。用这个函数创建的临时文件,关闭后会自动删除。 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 import os import tempfile print 'Building a file name yourself:' filename = '/tmp/guess_my_name.%s.txt' % os.getpid() temp = open (filename, 'w+b' ) try : print 'temp:' , temp print 'temp.name:' , temp.name finally : temp.close() os.remove(filename) # Clean up the temporary file yourself print print 'TemporaryFile:' temp = tempfile.TemporaryFile()

网络硬盘

人走茶凉 提交于 2019-12-25 03:52:28
1、http://www.filefront.com/ 无限空间,速度比较理想,推荐! 2、http://www.megashares.com/ 上传1.5G文件,无限制下载 。 3、http://www.filefactory.com/upload/ 可以上传1.5G的文件,保存30天。 4、http://datapickup.com/ 上传1.5G文件,保存7天 。 5、http://www.yousendit.com/ 上传1G文件,保留7天,限制下载次数,可多线程,推荐! 6、http://www.transferbigfiles.com/ 上传1G文件,保存5天 。 7、http://www.zupload.com/ 允许上传500m的文件,几乎无时限。 8、http://www.spread-it.com/ 上传500M文件,30天没人下砍档 。 9、http://ww3.sharebigfile.com/ 上传300M文件,可以开多个线程无限制下载,非常好! 10、http://fileupyours.com/ 上传200M文件,无限期保存,无限期下载 。 http://www.lx1000.cn/ 国家: 中文 硬盘大小: 100 MB 支持文件: 普通文件 图片文件 音乐文件 视频文件 文件限制: 50 MB 对外共享: 否 临时文件: 否 上传方式: 浏览器

mysql原理~binlog原理之binlog-cache

跟風遠走 提交于 2019-12-22 03:06:50
一 简介:来聊聊binlog cache 二 定义 为每个session 分配的内存,在事务过程中用来存储二进制日志的缓存。 三 参数 1 binlog_cache_size 默认 32K 用于指定存储整个事物生成的binlog event的内存大小,对于大事物来讲很可能超过这个参数的设置,则需要开启binlog 临时文件用于存储。 2 max_binlog_cache_size 用于指定当某个事物的binlog event超过了binlog_cache_size大小的设置开启binlog 临时文件的可用大小,如果事物的binlog event生成量超过了max_binlog_cache_size+binlog_cache_size设置的大小则会抛错: 四 临时文件 1 临时文件存放在tmpdir的定义的目录下,文件名为”ML”开头。但是这个文件不能用ls看到,需要lsof命令 2 当我们执行多语句事务的时候 所有session的使用的内存超过max_binlog_cache_size的值时 就会报错:“Multi-statement transaction required more than 'max_binlog_cache_size' bytes ofstorage 五 状态 查看 binlog_cache的使用情况 单位是次 Binlog_cache_disk_use

mysql运行参数详解

天涯浪子 提交于 2019-12-21 17:24:11
1, 查看MySQL服务器配置信息 mysql> show variables; 2, 查看MySQL服务器运行的各种状态值 mysql> show global status; 3, 慢查询 mysql> show variables like '%slow%'; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | log_slow_queries | OFF | | slow_launch_time | 2 | +------------------+-------+ mysql> show global status like '%slow%'; +---------------------+-------+ | Variable_name | Value | +---------------------+-------+ | Slow_launch_threads | 0 | | Slow_queries | 279 | +---------------------+-------+ 配置中关闭了记录慢查询(最好是打开,方便优化),超过2秒即为慢查询,一共有279条慢查询 4, 连接数 mysql> show variables like 'max

系统垃圾清理清单

ぃ、小莉子 提交于 2019-12-19 14:34:05
计算机使用时间一久,垃圾文件随之增加,如何准确找到垃圾文件而不误删有用的系统文件是系统管理员的必备技能。 1.上网产生的临时文件 首先讲大家较为熟悉的部分,上网产生的临时文件,这些文件一方面占用磁盘空间,另一方面也含有你个人的隐私信息。不同Windows版本存放这些文件的路径略有差异,但是在IE上均能较为直观找到并清除这些文件,参考下图。(其它浏览器设置面板中也基本都有相关设置) 2.软件卸载后的遗留文件 Windows的软件多数使用了动态链接库(DLL),也有部分软件在设计方便不足够成熟,导致软件在被卸载后还在硬盘中留下一些文件夹、*.dll、*.hlp问文件和注册表键值垃圾(注册表后期会有专题文章)。可以从软件的安装文件夹 【 win7、Win10默认均为Program Files及Program Files(x86)】及程序数据文件夹【ProgramData】查看。 3.软件安装过程中产生的临时文件 许多软件在安装时会把自身的安装文件解压缩到一个临时目录(一般为Windows文件夹下的Temp目录),如果软件设计者疏忽或者遇到特殊系统故障时这些临时文件就会变成垃圾留在你的硬盘里。当然软件运行过程中也会产生一些临时交换*.old、*.bak文件。 4.系统产生的临时文件 此部分结合文件目录和后缀来看,Windows在使用过程中产生的垃圾包括临时文件(*.tmp、*_mp等)

Unix标准IO库

拥有回忆 提交于 2019-12-16 16:04:55
  在Unix中,当我们使用标准IO库来进行文件操作时,我们就对该文件创建了一个文件流。每一个文件流都具有缓冲区,可以用来缓存从文间中读取(写入)的内容,缓冲可以分为三种方式: 全缓冲(fully buffered),当缓冲区全部填满时才调用系统函数执行读写操作。 行缓冲(line buffered),当缓冲区内读取到换行符,或缓冲区被写满时才调用系统函数执行读写操作。 无缓冲(unbuffered),没有缓冲区,每次根据要求调用系统函数进行单个字符的连续读取操作。   可以通过调用fflush函数对指定文件流缓冲区进行强制刷新,调用系统函数执行相应读写操作,并清空缓冲区中内容。setbuf函数和setvbuf函数可以修改指定文件流的缓冲方式及缓冲区位置,其函数原型为: void setbuff ( FILE *fp, char *buf); void setvbuf ( FILE *fp, char *buf, int mode, size_t size);   参数fp为指定文件流,buf为指定缓冲区,buf的长度必须与BUFSIZE(宏定义于stdio.h文件)保持一致。在setbuff函数中,当buf为NULL时,文件流缓冲方式将调整为无缓冲(unbuffered);当buf不为NULL时,文件流缓冲方式将调整为全缓冲或行缓冲。在函数setvbuff中

android studio 常见编译问题及解决思路总结

ぐ巨炮叔叔 提交于 2019-12-15 11:04:46
问题一: 编译运行成功后放置一段时间后再运行会报错 这个问题让我纠结了不少时间,最后才发现遇到类似的错误,clear一下project就好了。这个一般是上次生成的临时文件和这次的有冲突造成的。 问题二 :run 按钮为灰色,旁边的选择框下拉后也没有看见APP选项 点击sync project with gradle files按钮(如下图)同步一下就好了。我想这个可能是我离线下载Gradle文件的缘故。 来源: https://www.cnblogs.com/dylancao/p/12042139.html