Reference: http://bigg.top/2015/11/29/elasticsearch%E7%9A%84python%E5%A2%9E%E5%88%A0%E6%9F%A5%E6%94%B9%E5%AE%9E%E4%BE%8B%E5%88%86%E6%9E%90/
ES的部署请查看相关文档，我这里就不在赘叙。提醒，官方建议ES的在60G以上内存的环境下运行，如果你的服务器的内存是16G，建议至少需要4台机器。- ES连接到服务器比较容易，如下：
import elasticsearch class ES(object): @classmethod def connect_host(cls): hosts=[{ "host": "xx.xxx.x.xx"}, { "host": "xx.xxx.x.xx"}, { "host": "xx.xxx.x.xx"}, { "host": "xx.xxx.x.xx"},] es = elasticsearch.Elasticsearch( hosts, sniff_on_start=True, sniff_on_connection_fail=True, sniffer_timeout=600 ) return es |
查询操作
- 通过对RESTAPI的改造，可以很容易实现查询功能。如下，实现了对一个domain相关doc的查询，筛选条件包括起止时间，数据排列顺序和限制查询数据的个数。
def es_query(domain="", start=None, end=None, reverse=False, limit_cnt=20, category=0): es = ES.connect_host() now = datetime.datetime.now() if reverse: order = "desc" else: order = "asc" if not start: start = now - datetime.timedelta(weeks=2000) if not end: end = now range_body = { "range": { "time": { "gte": start, "lte": end } } } and_list = [range_body] domain_body = { "term": { "domain": domain } } category_body = { "term": { "category": category } } if domain: and_list.append(domain_body) if category: and_list.append(category_body) q_body = { "size": limit_cnt, "sort": [ { "time": { "order": order } } ], "query": { "filtered": { "query": { "matchAll": {}}, "filter": { "and": and_list } } } } res = es.search(body=q_body) ret = [] for hit in res["hits"]["hits"]: value = {} src = hit["_source"] if src: try: the_time = src["time"] if len(the_time) < 20: value["time"] = datetime.datetime.strptime(the_time, "%Y-%m-%dT%H:%M:%S") else: value["time"] = datetime.datetime.strptime(the_time, "%Y-%m-%dT%H:%M:%S.%f") ret.append(value) except Exception as e: print str(e) ret = [] print "Query xxxxx data failed!" return ret |
- 其中，
reverse表示数据排列的顺序，linit_cnt表示限制数量。其中涉及range,sort,size,filter,and等来执行es.search操作。最后一个for循环是一个取数据的过程。 - 在实际应用过程中，对于一个复杂的查询，第一次操作失败率很高，如果查询结果有几千个，第一次的
query查询到的success个数通常只有1/3左右。当然，当你用该查询条件再次查询时，可以瞬间得到完全成功的结果，所以在你对查询成功个数要求比较高的情况下，建议多次发起请求，这样可以得到比较完整的结果。
删除操作
- ES的查询分为按
index删除和按doc删除。按index查询相对比较容易理解，即删除该索引下的所有数据，删除之后该索引就不存在了。但是有时我们会碰到一些按照doc的情况，即按照一定的query条件查询到相关的doc,然后删除相关的所有记录。ES官方不推荐进行这种操作，而且还有一定的失败率。如果一定需要这方面的功能，证明你的数据不适合用ES进行存储。 - 由于我当时对ES的认识不够，把大量的数据存储在了ES，因此对
doc的删除操作需求比较大，写了一个删除操作功能（仅供参考，不建议使用，如果需要删除，建议存储数据之前设计好数据结构,方便以index为单位删除）
def es_delete(domain, m_type="xxxx"): m_data = { "query": { "query_string": { "query": "domain: %s AND type: %s" % (domain, m_type) } } } data = json.dumps(m_data) request = urllib2.Request(QUERY_URI, data) request.get_method = lambda: "DELETE" urllib2.urlopen(request) print "Deleted the data!" |
更新操作
- ES不适合对大量的数据（doc）进行修改，与删除一样，这是官方极度不推荐的。当然，按照一定的查询条件更新某些
doc也是可以实现的。如果你和我一样，遇到了比较极端的情形或是一个强迫症患者。请组合以上两个操作，写一个比较复杂的query执行删除操作，然后把新的数据（doc）插入到对应的索引和类型中。
插入操作
- 插入操作是ES的最基本操作，ES提供了最基本的插入功能，ES入库时需要批量的插入操作。举个简单的插入操作例子：
es = ES.connect_host() es.index(index=data_index, doc_type="xxxx", body=data, request_timeout=10000) |
- 其中，
index表示索引，doc_type表示数据类型，body表示具体的doc数据，最后一个参数表示超时时间。如果是日志文件或其它记录内容，建议index设置为时间或时间的组合体，如log_2015_11_29。数据类型即当前索引下数据的分类名称，可以把当前的数据按照不同的类型分类，同时也方便了查询，查询时可以很方便的过滤需要的类型。
相关参考
之前时间比较闲，翻译了部分与Python相关的ElasticSearch文档，如有疑问，欢迎回复评论，相互讨论学习。