很久很久没有更新博客了，最近遇到了一个线上内存泄露问题，简单记录一下排查的过程。

很早前就有小伙伴反馈调用我们的一个应用响应非常慢，往往更新到最新的部署代码之后就恢复正常了，所以一直没有重视这个问题。这次出现用户反馈，严重影响了正常业务。 现象是：

一个简化版的有赞搜索实践。

感谢@有赞 提供的思路，可以去看这篇文章：有赞搜索引擎实践

实际上想达到店铺去重的效果通过分桶搜索是很容易做的事情. 我们假设每页搜索20个结果, 我们把索引库分成4个桶, 每个商品对桶数取模得到所在桶的编号. 这样可以保证同一店铺的商品仅在一个桶里面.

最近又双叒叕开始写起了爬虫。

写一个爬虫的思路

链接发现

• 有序/规则 -> 生成：链接的规则是规则有序的，适用于一个有序的列表，例如：https://example.com/some_content?page=1
• 无序/规则 -> 发现：从上一次请求的响应中抽取链接，例如详情页的链接可以从列表页抽取。

认证

• 账号获取 -> 自动注册：通过接收验证码的平台，识别验证码的平台做自动的账号处理

加解密

• 密钥获取 -> 客户端反编译

内容抽取

• html页面 -> JsoupXpath
• json响应 -> JsonXpath

应对反爬

• 切换请求IP -> 拨号vps
• 切换User-Agent
• 切换账号
• 控制请求频率

一个好的爬虫

我心目中一个好的爬虫：

基于RocketMQ的JAVA消息服务

Java消息服务（ JMS）基础

Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。 Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。 Java消息服务- 维基百科，自由的百科全书 https://zh.wikipedia.org/zh-hans/Java消息服务

记Funnel的内购破解。

最近学英语用Funnel听国外新闻。 Funnel 包含一个 25 元的内购，解锁后可以开启自动播放和连播功能。 IAP的通用破解此处不表，Funnel多做了一步二次校验：