五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

在 windows 下搭建 IDEA + Spark 连接 Hive 的环境

在 windows 下搭建 IDEA + Spark 连接 Hive 的环境

   为了开发测试方便,想直接在 IDEA 里运行 Spark 程序,可以连接 Hiv...

好程序员分享女生适不适合学大数据

好程序员分享女生适不适合学大数据

  程序员大多给人的印象以男性为主,很少有女孩子从事IT行业,这样的客观现象让我们潜意识的觉得,女生不适合从事IT职业。那事实真的如此吗?IT技术,诸如大数...

hadoop副本数三个变为一个

hadoop副本数三个变为一个

注意事项:如果一台dn节点宕机了,那么该节点的所有数据都会访问不到,配置为2时可以起到一个数据高可用的效果,存储不够的时候,缩短副本数从而降低集群的可用性是...

相同问题,不同表述

相同问题,不同表述

问题:Hadoop小文件问题   《一种Hadoop小文件存储和读取的方法》 然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于N...

spark集群搭建(spark版本2.3.2)

spark集群搭建(spark版本2.3.2)

1.前置软件:   JDK1.8 2.修改配置文件: cp slaves.template slaves vi slaves   添加从...

zookeeper配置

zookeeper配置

集群配置 (1) initLimit 此配置表示,允许follower(相对于Leaderer言的“客户端”)连接并同步到Leader的初始化连接时间,...

hadoop节点的增删

hadoop节点的增删

添加节点 1.设置静态ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 增加 #Advanced...

Hadoop—MapReducer统计文件的单词出现的个数

Hadoop—MapReducer统计文件的单词出现的个数

  1. MapReduce 统计文件的单词出现的个数 Mapper: 处理具体文本,发送结果 Reducer: 合并各个Mapper发送过...

Windows下Idea中使用Maven项目搭建hadoop开发环境

Windows下Idea中使用Maven项目搭建hadoop开发环境

Windows下Idea中使用Maven项目搭建hadoop开发环境     参考资料: 1、https://blog.csd...

hadoop-hdfs-整合ZK-联邦机制

hadoop-hdfs-整合ZK-联邦机制

ZK:               联邦: &n...

常用的kubectl命令

常用的kubectl命令

本文主要介绍kubernetes排查问题时经常用到的命令。这里主要借助kubectl命令来实现。以下列出常用命令,后面会对每个命令进行详细解释,并举例:...

Hadoop 集群的基准测试

Hadoop 集群的基准测试

集群搭建完毕之后,需要对集群进行基准测试      第一方面:基本测试    &n...

User Login