五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...
OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...
亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到...
HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...
Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...
Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...
hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...
可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...
Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...
Flume+Kafka+Storm整合

Flume+Kafka+Storm整合

Flume+Kafka+Storm整合 1. 需求: 有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到...
hadoop集群搭建

hadoop集群搭建

准备工作 先说明我用的是centos7, 并且准备了四台虚拟机 ip分别是 192.168.36.140 192.168.36.141 192.1...
金融贷款逾期的模型实现

金融贷款逾期的模型实现

数据集的下载地址为 https://pan.baidu.com/s/1dtHJiV6zMbf_fWPi-dZ95g 我们要做的是预测贷款用户是否...
教准备租房的同学如何避开坑!

教准备租房的同学如何避开坑!

项目背景:   现在是一名大三生,在早早的为实习做准备。一直向往着互联网之都—杭州,实习也准备投往杭州。到了杭州肯定得租房 住,那么许多租房的问题也接踵而...
zookeeper原理与安装

zookeeper原理与安装

Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。 1.   Zookerper工作机制 &nbs...
Solr集群常用的操作总结

Solr集群常用的操作总结

Solr集群常用的操作总结   之前搭建过SolrCloud和Solr单机版本,另外还有很多对Solr配置文件以及核心的操作,以下主要总结S...
记一次Apache Carbondata PR的经历

记一次Apache Carbondata PR的经历

 前言         前段时间有幸接触到Apache Carbondata,试用过程中发现了一个小小的...
腾讯的这款产品,让我不禁打了个冷颤

腾讯的这款产品,让我不禁打了个冷颤

1 昨天晚上加班,同事们聚坐在一起边吃边聊,对于我来说,很多话题都插不上嘴,毕竟不是一个年代的,于是便和岁数稍微年长一些的老关找话题。 你儿子明年要...
HDFS命令实现分析

HDFS命令实现分析

HDFS命令概述 HDFS命令涉及两类,一类是hadoop命令,一类是hdfs命令,功能也分为两类,第一类是HDFS文件操作命令,第二类是HDFS管理命令...
Spark读Hbase优化 --手动划分region提高并行数

Spark读Hbase优化 --手动划分region提高并行数

一. Hbase的region 我们先简单介绍下Hbase的架构和Hbase的region: 从物理集群的角度看,Hbase集群中,由一个Hmast...
hive中left/right join on连接中and与where的使用问题

hive中left/right join on连接中and与where的使用问题

很多同学在进行表关联的时候,and和where的使用有时候分不清,在这里实操记录下。 创建人员信息表并写入数据 create table tmp.use...
Mysql增量写入Hdfs(二) --Storm+hdfs的流式处理

Mysql增量写入Hdfs(二) --Storm+hdfs的流式处理

一. 概述 上一篇我们介绍了如何将数据从mysql抛到kafka,这次我们就专注于利用storm将数据写入到hdfs的过程,由于storm写入hdfs的可...

User Login