CentOS上安装elasticsearch

首先需要JAVA环境，这里不再详述。 在官网下载页面找到RMP包的下载路径，通过wget命令下载安装包到本地：

1

wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.3/elasticsearch-2.3.3.rpm

执行安装

1

sudo rpm -ivh elasticsearch-2.3.3.rpm

默认安装到/usr/share/elasticsearch/，配置文件在/etc/elasticsearch，init脚本在/etc/init.d/elasticsearch。 添加为服务：

背景

我司的爬虫现在运行在一个通过ADSL拨号联网的VPS上，通过重新拨号切换IP来应对目标网站的防爬措施。

问题现象

应用通过druid数据源连接到mysql保存数据，每次切换IP后，会通过下面这条简单sql尝试获取数据源连接：

1

SELECT '1' FROM DUAL; 

但是通过查看日志这条sql每次都要等待长达17分钟才能执行完成：

今天跟同事们一起主要就是否需要按照严格的分层架构来规范当前代码讨论了应用的几个架构问题。

之前第一家公司采用的是经典的SpringMVC架构，主要划分为Controller，Service，DAO三层。Controller层控制页面逻辑，数据库操作通过自己编写hql在DAO层实现，事务控制在Service层。这样的架构容易理解和上手，但是无法对DAO层的代码逻辑进行控制，很容易出现以下问题：

用于我司内部分享会，主要结合做过的项目简单介绍一下常用的爬虫模式。

前言

什么是爬虫？

网络蜘蛛

关于爬虫是否合法的讨论？

用爬虫抓取数据，这样的行为是否合法

比较知名的开源的爬虫主要包括： JAVA : Webmagic，WebCollector，Crawler4j PYTHON : Scrapy

看到少数派的微博上推荐了一款markdown编辑器，体验了一下觉得不错，但是有未内购只能创建2个文件夹的限制，遂尝试通过逆向解除限制。

半年前写这篇文章的时候，因为软件作者的抗议和谐了文章内容，现在将内容放出。 -20161216

使用工具：Hopper Disassembler， 逆向App：TextNut