五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

全国行政区划数据(截止2019年3月)

全国行政区划数据(截止2019年3月)

省市区三级数据(含港澳台钓鱼岛以及经济开发区)和经纬度信息,准确有效! 下载地址请扫码...

【系统监控】性能监测 vmstat,mpstat,iostat

【系统监控】性能监测 vmstat,mpstat,iostat

一、系统整体性能监测工具:uptime [root@WebServer ~]# uptime (同w命令输出的第一行信息) 09:40:52 up 5 d...

SparkSQL执行时参数优化

SparkSQL执行时参数优化

近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力. 发现根本原因在于sparkSQL配置有诸多问题,解决后...

Hadoop系列-MapReduce基础

Hadoop系列-MapReduce基础

由于在学习过程中对MapReduce有很大的困惑,所以这篇文章主要是针对MR的运行机制进行理解记录,主要结合网上几篇博客以及视频的讲解内容进行一个知识的梳理...

易语言中锐浪报表绿色发布指南(免COM组件DLL注册)

易语言中锐浪报表绿色发布指南(免COM组件DLL注册)

第一步 打开易语言开发环境(注要求易语言版本 v5.5及以上版本,如果版本太低,请更新到新版本),点击【工具】菜单,进入系统配置界面: 第二步 切换选择夹...

Hadoop系列-zookeeper基础

Hadoop系列-zookeeper基础

目前是刚刚初学完zookeeper,这篇文章主要是简单的对一些基本的概念进行梳理强化。 zookeeper基础概念的理解 有时候计算机领域很多名词...

运商大数据架构--二章(1)

运商大数据架构--二章(1)

架构驱动的因素   运营商和互联网面临不同的历史时期,因而大数据在各自领域承担的使命是不一样的   运营商面临被管道化的挑战,营收下滑,大数据项目承担企...

HDFS上传数据的流程

HDFS上传数据的流程

1.当客户端输入一条指令:hdfs dfs -put text.txt /text时,这条命令会给到DistributeFileSystem。 2.通过D...

shullfe机制详解

shullfe机制详解

一、shuffle机制概述   shuffle机制就是发生在MR程序中,Mapper之后,Reducer之前的一系列分区排序的操作。shuffle的作用是...

Solr 17 - Solr的时间为什么比本地少8小时(附修改方法)

Solr 17 - Solr的时间为什么比本地少8小时(附修改方法)

目录 1 为什么少8小时 2 如何查看Solr的时区 3 修改Solr的时区 3.1 Solr从数据库中同步数据的原理...

辅助排序和Mapreduce整体流程

辅助排序和Mapreduce整体流程

一、辅助排序   需求:先有一个订单数据文件,包含了订单id、商品id、商品价格,要求将订单id正序,商品价格倒序,且生成结果文件个数为订单id的数量,每...

Solr 16 - 增删改Solr中索引数据的几种方式 (在URL上或Web页面中操作)

Solr 16 - 增删改Solr中索引数据的几种方式 (在URL上或Web页面中操作)

目录 1 添加/更新索引数据 1.1 JSON格式的操作 1.2 XML格式的操作 2 删除索引数据...

User Login