五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

为了让开发者写MaxCompute SQL更爽,DataWorks 增强SQL 编辑器功能

为了让开发者写MaxCompute SQL更爽,DataWorks 增强SQL 编辑器功能

众所周知,数据开发和分析的同学每天都要花大量时间写MaxCompute SQL;Dataworks作为数据开发的IDE直接影响着大家的开发效率,这次新上线的...

unbuntu系统:python2.7安装pyspark

unbuntu系统:python2.7安装pyspark

  以前在进行搜索引擎rank-svm排序模型训练时,直接使用python读取的HDFS日志文件、统计计算等预处理操作再进行svm模型,最终产生出训练模型。...

自动化部署脚本

自动化部署脚本

1、首先安装各台mini机器上安装本地源、安装SSH软件,然后把已经安装好了的jdk都删除掉 2、jdk拷贝root目录下 3、拷贝到服务器目录...

zookeeper集群的搭建

zookeeper集群的搭建

1、如果要实现文件的拖放就必须安装lrzsz 2、解压(看命令就可以) 3、删除一些不必要的文件 4、修改配置文件  ...

YUM本地源制作与yum网络版仓库

YUM本地源制作与yum网络版仓库

1、修改本机上的YUM源配置文件,将源指向自己 cd /etc/yum.repos.d/ 备份原有的YUM源的配置文件 rename .repo .r...

storm集群架构

storm集群架构

一、storm何许人也? Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Ec...

CDN高级技术专家周哲:深度剖析短视频分发过程中的用户体验优化技术点

CDN高级技术专家周哲:深度剖析短视频分发过程中的用户体验优化技术点

深圳云栖大会已经圆满落幕,在3月29日飞天技术汇-弹性计算、网络和CDN专场中,阿里云CDN高级技术专家周哲为我们带来了《海量短视频极速分发》的主题分享,带...

ssh免密登陆配置

ssh免密登陆配置

SSH免密码原理示意图 过程:首先在A主机上面产生一个公钥,把它拷贝到B主机上面,这个时候当A主机向B发送请求的时候,B主机就会去查看是否注册过A,如...

虚拟机克隆CentOs后网卡问题

虚拟机克隆CentOs后网卡问题

1、直接修改  /etc/sysconfig/network-scripts/ifcfg-eth0 删掉UUID HWADDR配置静态地址...

[HDFS Manual] CH7 ViewFS Guide

[HDFS Manual] CH7 ViewFS Guide

ViewFS Guide ViewFS Guide. 1 1 介绍... 1 2. The Old World(Prior to Federation...

2017全球十大云计算平台市场占有率排行榜

2017全球十大云计算平台市场占有率排行榜

从Google首席执行官埃里克·施密特(Eric Schmidt)首次提出“ 云计算 ”(cloud computing)的概念到现在,...

RDD概念、特性、缓存策略与容错

RDD概念、特性、缓存策略与容错

一、RDD概念与特性 1. RDD的概念   RDD(Resilient Distributed Dataset),是指弹性分布式数据集。数据集:Spa...

User Login