Hive
不想用程序语言开发MapReduce的朋友比如DB们，熟悉SQL的朋友可以使用Hive开离线的进行数据处理与分析工作。
注意Hive现在适合在离线下进行数据的操作，就是说不适合在挂在真实的生产环境中进行实时的在线查询或操作，因为一个字“慢”。相反
起源于FaceBook,Hive在Hadoop中扮演数据仓库的角色。建立在Hadoop集群的最顶层，对存储在Hadoop群上的数据提供类SQL的接口…
-
-
Hive 简介
Hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于 hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语…
-
多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图：
从上图可以看到，多层感知机层与层之间是全连接的（全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接）。多层感知机最底层是输入层，中间是隐藏…
-
-
前置条件准备一个干净的CentOS7环境，部署版本Suric…
-
这里介绍的两个处理IP好用的Python库名为：ipaddr和netaddr
顺便提一个不好用的：IPy。上面两个能完全胜任这个库的功能，但这个库容错性不好，常报错。
1.ipaddr简单介绍：
Google开发的IP处理模块，地址：http://pythonhosted.org/ipaddr/
可用pip安装：pip install ipaddr
所有包含的类和方…
-
1、问题描述：高负载下，系统响应变慢，并出现超时或失误失败情况，TIME_WAIT积压
2、问题影响：系统设置的自动回收时间为60s,但在压测中如果涉及的服务较多的情况下，比如这次以100TPS压力单测1个接口，涉及4-6个服务，每秒就会创建400+的连接，1分钟就是2.4万的连接，系统无法及时回收，压测两分钟后，新的请求过来，无法创建连接或无法及时创建连接，导致请求失败，严重时会出现整个服务器挂死…
-
转自知乎，作者来自腾讯，原文已被作者删除。
前言
入侵检测是每一个大型互联网企业都要面对的一个难题。
比如，你怎么知道，当前自己公司是不是已经被黑了？是真的没人来黑，还是别人黑了自己没有能力感知到？
价值越大的公司，面临入侵的威胁越大，像Yahoo！这样的互联网鼻祖，在落幕时仍遭遇全量数据失窃的事情，一旦发生在轻资产的数据化公司身上，后果不堪想象。
基于保密的考虑，本文不会提及任何具体的策略。希望直接照搬入…
-
# Demo
class PerimeterIp(threading.Thread):
stPeriInfoDic &…
-
基本语法
select select_listfrom stream_def [as name] [, stream_def [as name]] [,...][where search_conditions][group by grouping_expression_list][having grouping_search_conditions][output output_specificati... -
一 反射机制的概念:
指在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法,对于任意一个对象,都能调用它的任意一个方法.这种动态获取信息,以及动态调用对象方法的功能叫java语言的反射机制.
二 反射机制的应用:
生成动态代理,面向切片编程(在调用方法的前后各加栈帧).
三 反射机制的原理:
1 首先明确的概念: 一切皆对象—-类也是对象.
2&…
