openresty最佳实践

高频访问IP限制 --Openresty(nginx + lua) [反爬虫之旅]

泄露秘密 提交于 2020-03-17 00:51:12
嗯….本人是从写爬虫开始编程的,不过后面做web写网站去了,好了,最近web要搞反爬虫了,哈哈哈,总算有机会把之以前做爬虫时候见识过的反爬一点点给现在的网站用上了~ 做爬虫的同志,有怪莫怪喽~还有求别打死 > < 首先要提一下AJAX,现在普天下网页几乎都是往特定的数据接口请求数据了,除了什么首屏渲染这种服务端渲染好html以外,几乎没有什么静态网页了。我看了有一些帖子说AJAX让爬虫难做,可是我觉得结合一些工具(比如chrome的开发者工具),找到AJAX所请求的后端数据接口一点也不难,而且现在自己也写过一段时间的web后端数据接口,发现接口的设计往往都是往简单易懂的方向做,外加从2000年出现REST风格,更是让接口设计越来越简明了。所以其实如果一个web站点没有察觉到有爬虫的存在,或者察觉到了,但是没有想要做一点数据保护措施,它是不会再AJAX上做文章的,那么如果单纯的AJAX,其实并没有任何反爬的作用,所以别再说AJAX反爬什么的了,何况AJAX生出来就不是为了反爬的 然而在现在的前后端分离的时代,前端反爬还是有的搞的,基于我不太懂JavaScript,就不展开来说,我只是听说过什么参数加密啊,数据混淆什么的,但其实概括起来都是一种对数据接口的隐藏,这让一些不太懂js的人,也跟着懵逼了(比如说我 : <),但是你要知道,前端代码最终还是要请求一个url的

OpenResty从入门到开发一个网关服务(使用etcd作为注册中心)

北城余情 提交于 2020-02-25 19:39:29
简介 OpenResty(也称为 ngx_openresty)是一个全功能的 Web 应用服务器。它打包了标准的 Nginx 核心,很多的常用的第三方模块,以及它们的大多数依赖项。 通过揉和众多设计良好的 Nginx 模块,OpenResty 有效地把 Nginx 服务器转变为一个强大的 Web 应用服务器,基于它开发人员可以使用 Lua 编程语言对 Nginx 核心以及现有的各种 Nginx C 模块进行脚本编程,构建出可以处理一万以上并发请求的极端高性能的 Web 应用。 ngx_openresty 目前有两大应用目标: 通用目的的 web 应用服务器。在这个目标下,现有的 web 应用技术都可以算是和 OpenResty 或多或少有些类似,比如 Nodejs, PHP 等等。ngx_openresty 的性能(包括内存使用和 CPU 效率)算是最大的卖点之一。 Nginx 的脚本扩展编程,用于构建灵活的 Web 应用网关和 Web 应用防火墙。有些类似的是 NetScaler。其优势在于 Lua 编程带来的巨大灵活性。 引用自:OpenResty最佳实践 入门教程 OpenResty 最佳实践 跟我学OpenResty(Nginx+Lua)开发 目前已经有大佬写了很完整的教程,没有必要重复造轮子了,我觉得这两个是最好的。更多openresty相关资料可以看这里https:/

再谈 APISIX 高性能实践

跟風遠走 提交于 2019-12-03 04:00:54
2019 年 8 月 31 日,OpenResty 社区联合又拍云,举办 OpenResty × Open Talk 全国巡回沙龙·成都站,APISIX 主要作者王院生在活动上做了《APISIX 高性能实践》的分享。 OpenResty × Open Talk 全国巡回沙龙是由 OpenResty 社区、又拍云发起,邀请业内资深的 OpenResty 技术专家,分享 OpenResty 实战经验,增进 OpenResty 使用者的交流与学习,推动 OpenResty 开源项目的发展。 王院生,APISIX 项目发起人和主要作者,OpenResty 社区、OpenResty 软件基金会发起人,《OpenResty 最佳实践》主要作者。 以下是分享全文: 首先做下自我介绍,我大学毕业后在传统金融行业工作九年,2014 年加入奇虎 360,期间撰写了《OpenResty 最佳实践》。我个人比较喜欢研究技术和开源,可能是受老罗影响,喜欢尝试理想化的事情。今年 3 月份与志同道合的伙伴一起创办了深圳支流科技公司,这是一家以开源方式创业的科技公司,在国内屈指可数,APISIX 是我们目前的主要项目。 APISIX 是微服务 API 网关产品,今年 7 月份我在上海做过一次关于“ APISIX 高性能实践”的分享,这次的内容是在上次分享的基础上,并会将最近的新积累分享给大家。 什么是 API

再谈 APISIX 高性能实践

匿名 (未验证) 提交于 2019-12-03 00:15:02
2019 年 8 月 31 日,OpenResty 社区联合又拍云,举办 OpenResty × Open Talk 全国巡回沙龙・成都站,APISIX 主要作者王院生在活动上做了《APISIX 高性能实践》的分享。 OpenResty × Open Talk 全国巡回沙龙是由 OpenResty 社区、又拍云发起,邀请业内资深的 OpenResty 技术专家,分享 OpenResty 实战经验,增进 OpenResty 使用者的交流与学习,推动 OpenResty 开源项目的发展。 王院生,APISIX 项目发起人和主要作者,OpenResty 社区、OpenResty 软件基金会发起人,《OpenResty 最佳实践》主要作者。 以下是分享全文: 首先做下自我介绍,我大学毕业后在传统金融行业工作九年,2014 年加入奇虎 360,期间撰写了《OpenResty 最佳实践》。我个人比较喜欢研究技术和开源,可能是受老罗影响,喜欢尝试理想化的事情。今年 3 月份与志同道合的伙伴一起创办了深圳支流科技公司,这是一家以开源方式创业的科技公司,在国内屈指可数,APISIX 是我们目前的主要项目。 APISIX 是微服务 API 网关产品,今年 7 月份我在上海做过一次关于“ APISIX 高性能实践”的分享,这次的内容是在上次分享的基础上,并会将最近的新积累分享给大家。 API

Lua+openresty学习资料

纵饮孤独 提交于 2019-11-27 15:20:21
Lua学习资料 Lua是一个强大的、快速、轻量级、可嵌入的脚本语言。     Lua结合了简单的程序语法和功能强大的数据结构描述基于关联数组和可扩展的语义。Lua是动态类型的,解释字节码的一个基于寄存器的虚拟机运行,并与增量垃圾收集自动内存管理,使它适合配置脚本,快速原型。 lua官方网站 http://www.lua.org lua5.3官方参考手册 http://www.lua.org/manual/5.3/ lua5.3中文翻译手册 http://www.runoob.com/manual/lua53doc/ lua入门教程 http://www.runoob.com/lua/lua-environment.html 语法 Lua程序设计Programming in Lua 果冻想-Lua 语法入门 源码 the implementation of lua 50 英文原版 中文翻译 探索Lua52内部实现 一份朴实的Lua51虚拟机指令介绍英 Lua源码鉴赏-云风 详解关于Lua源码分析学习教程 lua metatable使用和源码分析 Lua源码 应用 Lua51 参考手册 Lua53 参考手册 云风博客 Lua Programming Gems 用好LuaUnity 等等 --------------------------------------------------

OpenResty的现状、趋势、使用及学习方法

流过昼夜 提交于 2019-11-25 20:19:58
温铭,奇虎 360 企业安全服务端架构师,OpenResty 社区咨询委员会成员。一直在互联网安全公司从事服务端的开发和架构工作,致力于用互联网技术帮助企业提高安全防护。曾负责开发过***云查杀和反钓鱼系统。 OpenResty 是什么,适合什么场景下使用 和大部分知名开源软件诞生在欧美国家不同,OpenResty 自身和依赖的主要组件都是金砖国家的开发者发明的,这点还挺有意思。 Nginx 是俄罗斯人发明的, Lua 是巴西几个教授发明的,中国人章亦春把 LuaJIT VM 嵌入到 Nginx 中,实现了 OpenResty 这个高性能服务端解决方案。 通过 OpenResty,你可以把 nginx 的各种功能进行自由拼接, 更重要的是,开发门槛并不高,这一切都是用强大轻巧的 Lua 语言来操控。 它主要的使用场景主要是: 在 Lua 中揉和和处理各种不同的 nginx 上游输出(Proxy,Postgres,Redis,Memcached 等) 在请求真正到达上游服务之前,Lua 可以随心所欲的做复杂的访问控制和安全检测 随心所欲的操控响应头里面的信息 从外部存储服务(比如 Redis,Memcached,MySQL,Postgres)中获取后端信息,并用这些信息来实时选择哪一个后端来完成业务访问 在内容 handler 中随意编写复杂的 Web 应用,使用 同步但依然非阻塞