五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

zookeeper客户端命令行操作

zookeeper客户端命令行操作

  命令基本语法 功能描述 help 显示所有操作命令...

集群,分布式,微服务概念和区别理解

集群,分布式,微服务概念和区别理解

概念: 集群是个物理形态,分布式是个工作方式。 分布式:一个业务分拆多个子业务,部署在不同的服务器上 集群:同一个业务,部署在多个服务器上...

2.更新YUM源

2.更新YUM源

查看本地源   先删除本地所有源   下载源仓库文件,xxx.repo curl -o /etc/yum.repos...

1.1-1.4 hadoop调度框架和oozie概述

1.1-1.4 hadoop调度框架和oozie概述

一、hadoop调度框架 Linux Crontab Azkaban https://azkaban.github.io/...

大数据缺口百万 怎样看待入行大数据

大数据缺口百万 怎样看待入行大数据

  “先告诉大家一个坏消息,中国在人工智能和大数据方面的人才极度缺乏,几乎没什么人才。好消息是全世界都没什么好人才。”马云在今年天津的世界智能大会中如是说道...

hadoop HA配置

hadoop HA配置

1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿...

问题汇总,TCP三次握手四次挥手

问题汇总,TCP三次握手四次挥手

1.在浏览器输入一个网址回车后,发生了什么? 2.TCP三次握手四次挥手 3.hadoop 4.spark 5.flink 6.linux...

hive-sql

hive-sql

#原始示例数据#1,k1|k2|k3|k1#2,k1|k1|k5|k3|k6#3,k3|k6|k7|k8#建表语句CREATE TABLE IF NOT E...

org.apache.hadoop.conf.Configuration无法引用 解决方法

org.apache.hadoop.conf.Configuration无法引用 解决方法

我用的是Hadoop-common 2.6.4jar,可是明明包里面有这个类却引用不了,然后我看了下包里面是一个抽象类。。。。。。。。。。。。。。。。。。。...

hadoop3.1.1:启动hadoop进程提示ssh 22端口不能连接

hadoop3.1.1:启动hadoop进程提示ssh 22端口不能连接

分析:由于在生产环境下,ssh的端口被修改成220,不是使用的默认端口,但是hadoop在启动相应进程的时候,使用的ssh默认端口 解决: 1、命令行(...

hadoop3.1.1:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

hadoop3.1.1:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

yarn执行MapReduce任务时,找不到主类导致的 解决: 1、在命令行输入:hadoop classpath [hadoop@localhos...

Java操作Hadoop集群

Java操作Hadoop集群

maven hdfs MapReduce   1. 配置maven环境 2. 创建maven项目...

User Login