leveldb

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1. 消息生产者、消息者、队列 消息生产者Producer：发送消息到消息队列。 消息消费者Consumer：从消息队列接收消息。 Broker：概念来自与Apache ActiveMQ，指MQ的服务端，帮你把消息从发送端传送到接收端。 消息队列Queue：一个先进先出的消息存储区域。消息按照顺序发送接收，一旦消息被消费处理，该消息将从队列中删除。 2.设计Broker主要考虑 1）消息的转储：在更合适的时间点投递，或者通过一系列手段辅助消息最终能送达消费机。 2）规范一种范式和通用的模式，以满足解耦、最终一致性、错峰等需求。 3）其实简单理解就是一个消息转发器，把一次RPC做成两次RPC。发送者把消息投递到broker，broker再将消息转发一手到接收端。 总结起来就是两次RPC加一次转储，如果要做消费确认，则是三次RPC。 3. 点对点消息队列模型 点对点模型 用于 消息生产者 和 消息消费者 之间 点到点 的通信。 点对点模式包含三个角色： 消息队列（Queue） 发送者(Sender) 接收者(Receiver) 每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，可以放在 内存 中也可以 持久化，直到他们被消费或超时。 特点 每个消息只有一个消费者（Consumer）

记内存中的树为T0, 硬盘上的树按时间顺序，记做T1, ..., Tk 读: T0 Tk -> Tk-1 -> ... -> T0 写 T0 T0超过一定大小后，插入硬盘变为Tk+1 复杂度 读：最坏需要读k+1棵树，所以需要定期合并，从而使得只有常数棵树。 写：T0需要O(log)次操作，T0写入硬盘是Append-only的。 比较B+-Tree和LSM-Tree，可以发现对于Scan，前者需要O(logN)次查找，而后者只需要O(k)次（Ti的大小和N无关）。 原理上，无论是B+-Tree还是LSM-Tree都是针对现代存储器的特点而设计的，前者注意利用了Bulk读写，而后者则是力求减少Seek操作，可以说各有侧重。 发布于 2018-10-24 作者：匿名用户 链接：https://www.zhihu.com/question/19887265/answer/517406632 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 LSM的思想，在于对数据的修改增量保持在内存中，达到指定的限制后将这些修改操作批量写入到磁盘中，相比较于写入操作的高性能，读取需要合并内存中最近修改的操作和磁盘中历史的数据，即需要先看是否在内存中，若没有命中，还要访问磁盘文件。 原理：把一颗大树拆分成N棵小树，数据先写入内存中，随着小树越来越大

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> python学习笔记整理于猿人学网站的 python教程 和 python爬虫 互联网时代，信息产生的数量和传递的速度非常快，语言文字也不断变化更新，新词层出不穷。一个好的新词发现程序对做NLP（自然预言处理）来说是非常重要的。 N-Gram加词频 最原始的新词算法莫过于n-gram加词频了。简单来说就是，从大量语料中抽取连续的字的组合片段，这些字组合片段最多包含n个字，同时统计每个字组合的频率，按照词频并设置一个阈值来判断一个字组合片段是否为词汇。 该方法简单处理速度快，它的缺点也很明显，就是会把一些不是词汇但出现频率很高的字组合也当成词了。 凝固度和自由度 这个算法在文章《互联网时代的社会语言学：基于SNS的文本数据挖掘》 里有详细的阐述。 凝固度 就是一个字组合片段里面字与字之间的紧密程度。比如“琉璃”、“榴莲”这样的词的凝固度就非常高，而“华为”、“组合”这样的词的凝固度就比较低。 自由度 就是一个字组合片段能独立自由运用的程度。比如“巧克力”里面的“巧克”的凝固度就很高，和“巧克力”一样高，但是它自由运用的程度几乎为零，所以“巧克”不能单独成词。 Python实现 根据以上阐述，算法实现的步骤如下： 1. n-gram统计字组合的频率 如果文本量很小 ，可以直接用Python的dict来统计n