五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

hadoop的自定义分组实现 (Partition机制)

hadoop的自定义分组实现 (Partition机制)

         hadoop开发中我们会遇到类似这样的问题,比如...

HDFS 常用命令

HDFS 常用命令

    HDFS常用命令 1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/had...

Spark异常:A master URL must be set in your configuration处理记录

Spark异常:A master URL must be set in your configuration处理记录

问题描述:     项目中一位同事提交了一部分代码,代码分为一个抽象类,里面含有sparkcontent,sparkSession对象...

如何构建一个企业的大数据分析平台

如何构建一个企业的大数据分析平台

    面对海量的各种来源的数据,如何对这些零散的数据进行有效的分析,得到有价值的信息一直是大数据领域研究的热点问题。 大数据...

Hadoop2.7.6_08_Federation联邦机制

Hadoop2.7.6_08_Federation联邦机制

  前言:        本文章是在  Hadoop2.7.6_07_H...

Olap学习笔记

Olap学习笔记

数据仓库建设--OLAP和数据立方体概念 http://student-lp.iteye.com/blog/2263154 OLAP(On-LineAn...

适用于小型企业的9个大数据解决方案

适用于小型企业的9个大数据解决方案

  如今,人们很难摆脱所有关于大数据的讨论。而有了可操作的信息,企业可以更有效地向客户推销产品、设计和制造符合特定需求的产品,增加收入,...

IOT大数据大世界大未来,物联网产业大数据应用简析

IOT大数据大世界大未来,物联网产业大数据应用简析

    在物联网时代,面对PB级的数据,企业将难以以一己之力完成基础设施的建设。物联网所产生的大量数据不仅会驱动现在的数据中心发...

Hive sql & Spark sql笔记

Hive sql & Spark sql笔记

记录了日常使用时遇到的特殊的查询语句。不断更新~ 1. SQL查出内容输出到文件 hive -e "...Hive SQL..." > /tmp/...

Scala微服务架构 一

Scala微服务架构 一

因为公司的一个项目需求变动会非常频繁,同时改动在可控范围内,加上产品同学喜欢一些超前思维,我们的CTO决定提前开启八门,使用微服务架构。 划重点...

Redis基础入门,Redis的优点也特点,Redis五种数据类型

Redis基础入门,Redis的优点也特点,Redis五种数据类型

Redis是一个开源,高级的键值存储和一个适用的解决方案,用于构建高性能,可扩展的Web应用程序。 1、Redis的主要特点 Redis有三个主要特点,...

VMware 11 安装苹果系统

VMware 11 安装苹果系统

  没事研究了一下虚拟机安装苹果系统     1.下载需要的软件- F, c1 X: e- o1 }&...

User Login