Worker Pool

[TOC] 更新、更全的《Go从入门到放弃》的更新网站，更有python、go、人工智能教学等着你： https://www.cnblogs.com/nickchen121/p/11517502.html <p>并发是编程里面一个非常重要的概念，Go语言在语言层面天生支持并发，这也是Go语言流行的一个很重要的原因。</p> 一、Go语言中的并发编程 二、并发与并行 <p>并发：同一时间段内执行多个任务（你在用微信和两个女朋友聊天）。</p> <p>并行：同一时刻执行多个任务（你和你朋友都在用微信和女朋友聊天）。</p> <p>Go语言的并发通过<code>goroutine</code>实现。<code>goroutine</code>类似于线程，属于用户态的线程，我们可以根据需要创建成千上万个<code>goroutine</code>并发工作。<code>goroutine</code>是由Go语言的运行时（runtime）调度完成，而线程是由操作系统调度完成。</p> <p>Go语言还提供<code>channel</code>在多个<code>goroutine</code>间进行通信。<code>goroutine</code>和<code>channel</code>是 Go 语言秉承的 CSP（Communicating Sequential Process

先来个段子：【并发处理连接数】 多高？ 很高！ 到底多高？ 没有一亿，都算少了！ . . . 然后就没有然后了。。。 “段子 END” 这就是目前中国企业的通病：提个概念，没有答案，最后造成概念也模糊了，其实，我感觉它根本不知道要干什么！从头到脚都是病啊！ 下面，我们谈谈，web服务连接和速度问题 现在，随着网络普及，对于服务的响应速度和并发处理能力都有了不同寻常的要求 所以，对于服务的标准也越来越高 我以最简洁的说法把问题描述一下，其它不解释 1. 响应速度，是指：对于客户端请求的事务处理时间的快慢，一般，要用分布式处理来快速得到可以分布式处理的事务的结果 2. 并发处理，是指：对于客户端的请求的事务可以并行在服务端处理，一盘要有线程池，工作者的逻辑概念介入 需要澄清一个概念，并发不是指客户端并发连接到服务器！！！！！！，这个是大多数中国开发者的死穴，而且死不悔改！！！！！ 所以，你要好好考虑一下，这些固执的人群里，算不算有你有一个！！！ 3. 服务器硬件性能越高，自然并发能力越高（多CPU，多内核）；分布式算法优秀，自然响应越快了 好吧，关于文字，我就算这么多，我的博文不是教小白上路的，而是给学者指出路上哪里有坑的。希望你好好揣摩，也许直到今天你也是不懂web的吧 //DEMO 下面，还是上例程，出自于国外的一篇文章。 原作者，出于公司商业性质，说了90%的话，剩下的10

在SQL Server 2017的错误日志中出现"Parallel redo is started for database 'xxx' with worker pool size [2]"和 “ Parallel redo is shutdown for database 'xxx' with worker pool size [2]. ” 这种信息，这意味着什么呢？ 如下所示 Date 2020/5/16 11:07:38 Log SQL Server (Current - 2020/5/16 11:08:00) Source spid33s Message Parallel redo is started for database 'YourSQLDba' with worker pool size [2]. Date 2020/5/16 11:07:38 Log SQL Server (Current - 2020/5/16 11:08:00) Source spid33s Message Parallel redo is shutdown for database 'YourSQLDba' with worker pool size [2]. 其实这个要涉及 parallel redo 这个概念，官方文档有详细介绍，摘抄部分如下【详情请见参考资料】： When

Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL，我觉得错误的教学指导才是主要问题。 常见的经典 Python 多线程、多进程教程多显得偏"重"。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。 传统的例子 简单搜索下"Python 多线程教程"，不难发现几乎所有的教程都给出涉及类和队列的例子： import os import PIL from multiprocessing import Pool from PIL import Image SIZE = (75,75) SAVE_DIRECTORY = 'thumbs' def get_image_paths(folder): return (os.path.join(folder, f) for f in os.listdir(folder) if 'jpeg' in f) def create_thumbnail(filename): im = Image.open(filename) im.thumbnail(SIZE, Image.ANTIALIAS) base, fname = os.path.split(filename) save_path = os.path.join(base, SAVE_DIRECTORY, fname) im.save(save_path)

在SQL Server 2017的错误日志中出现"Parallel redo is started for database 'xxx' with worker pool size [2]"和 “ Parallel redo is shutdown for database 'xxx' with worker pool size [2]. ” 这种信息，这意味着什么呢？ 如下所示 Date 2020/5/16 11:07:38 Log SQL Server (Current - 2020/5/16 11:08:00) Source spid33s Message Parallel redo is started for database 'YourSQLDba' with worker pool size [2]. Date 2020/5/16 11:07:38 Log SQL Server (Current - 2020/5/16 11:08:00) Source spid33s Message Parallel redo is shutdown for database 'YourSQLDba' with worker pool size [2]. 其实这个要涉及 parallel redo 这个概念，官方文档有详细介绍，摘抄部分如下【详情请见参考资料】： When

将sqlserver数据库从Windows服务器迁移到了linux服务器，经过一番折腾终于是安装好了。数据库也正常运行，但下午的时候同事告诉我说，软件在做操作的时候提示排序规则有问题。部分中文乱码，显示为问号，如下图所示 经过对比迁移前后的数据库master，发现：Windows下Sqlserver排序规则为：Chinese_PRC_CI_AS,Linux系统下则为SQL_Latin1_General_CP1_CI_AS。于是就想到了修改排序规则，很快查到一些资料。 1.网上所说的方法，在sqlcmd命令下执行 ALTER DATABASE [ 数据库名 ] COLLATE Chinese_PRC_CI_AS; 这种方法对于master这类系统级别的表没有任何作用，该命令只适用于系统表除外的表。 修改失败后，继续查找能修改系统表排序规则的方法。问过很多人，查找过很多资料，没啥用。 无意间发现之前自己安装mssql时写了一篇博客：里面有用到mssql-conf这个工具，然后就查看了一下该命令用法。发现里面有个参数( set - collation )可以直接修改系统表排序规则 具体参数如下 root @newings : / opt / mssql / bin# sudo / opt / mssql / bin / mssql - conf usage: mssql - conf [

worker pool简介 worker pool其实就是线程池thread pool。对于go来说，直接使用的是goroutine而非线程，不过这里仍然以线程来解释线程池。 在线程池模型中， 有2个队列一个池子：任务队列、已完成任务队列和线程池 。其中已完成任务队列可能存在也可能不存在，依据实际需求而定。 只要有任务进来，就会放进任务队列中。只要线程执行完了一个任务，就将任务放进已完成任务队列，有时候还会将任务的处理结果也放进已完成队列中。 worker pool中包含了一堆的线程(worker，对go而言每个worker就是一个goroutine)，这些线程嗷嗷待哺，等待着为它们分配任务，或者自己去任务队列中取任务。取得任务后更新任务队列，然后执行任务，并将执行完成的任务放进已完成队列。 下图来自wiki： 在Go中有两种方式可以实现工作池：传统的互斥锁、channel。 传统互斥锁机制的工作池 假设Go中的任务的定义形式为： type Task struct { ... } 每次有任务进来时，都将任务放在任务队列中。 使用传统的互斥锁方式实现，任务队列的定义结构大概如下： type Queue struct{ M sync.Mutex Tasks []Task } 然后在执行任务的函数中加上Lock()和Unlock()。例如： func Worker(queue