五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

网站用户行为分析——案例简介

网站用户行为分析——案例简介

案例简介   网站用户行为分析本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、...

大数据告诉你:学历真的能改变命运

大数据告诉你:学历真的能改变命运

  央视新闻曾做过关于高考的调查,结果有七成网友支持高考取消数学,看到新闻后,有一位网友却一针见血地评论道:数学考试存在的意义就是把这七成网...

HDFS基本操作

HDFS基本操作

Shell命令选项   Shell常用命令 - - ls 使用方法:hadoop fs -ls [-h] [-R] <args&...

Spark RDD API详解之:Map和Reduce

Spark RDD API详解之:Map和Reduce

RDD是什么? RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看, RDD可以简单看成是一个数组。和普通...

HDFS重要特性

HDFS重要特性

首先,它是一个文件系统,用于存储文件,通过统一的命名空间目录树来定位文件; 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各...

GlusterFS 安装 on centos7

GlusterFS 安装 on centos7

本文演示如何在CentOS7上安装,配置和使用GlusterFS。 1 准备工作 1.1 基础设施 编号 I...

网站流量数据采集环境部署及实现(埋点)

网站流量数据采集环境部署及实现(埋点)

一、原理分析与设计实现        友情链接:https://www.cnblogs.com/likemebee/p/7967534.html &n...

elasticsearch概念

elasticsearch概念

1、elasticsearch的核心概念 (1)Near Realtime(NRT):近实时,从写入数据到数据可以被搜索到有一个小延迟(大概1秒);基于e...

zookeeper的shell操作

zookeeper的shell操作

一、启动zookeeper集群   进入zookeeper安装目录下的bin目录内,通过命令启动 ./zkServer.sh start   通过...

hadoop的自定义分组实现 (Partition机制)

hadoop的自定义分组实现 (Partition机制)

         hadoop开发中我们会遇到类似这样的问题,比如...

HDFS 常用命令

HDFS 常用命令

    HDFS常用命令 1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/had...

Spark异常:A master URL must be set in your configuration处理记录

Spark异常:A master URL must be set in your configuration处理记录

问题描述:     项目中一位同事提交了一部分代码,代码分为一个抽象类,里面含有sparkcontent,sparkSession对象...

User Login