五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

神经网络剪枝,知识蒸馏,以及模型优化设计

神经网络剪枝,知识蒸馏,以及模型优化设计

一.神经网络压缩 在如今人工智能的浪潮之下,深度学习在不少领域都取得了不错的成果。但是目前在边缘计算,物联网设备上的算力相比于我们的台式计算机还不太充足,...

用于数据分析的8个SQL技术

用于数据分析的8个SQL技术

作者|RAM DEWANI 编译|VK 来源|Analytics Vidhya 概述 SQL是任何从事分析或数据科学的人都必须知道的语言...

NLP中的Transformer 简介

NLP中的Transformer 简介

作者|Renu Khandelwal 编译|VK 来源|Towards Data Science 在这篇文章中,我们将讨论以下有关Transforme...

使用全卷积神经网络FCN,进行图像语义分割详解(附带Tensorflow详解代码实现)

使用全卷积神经网络FCN,进行图像语义分割详解(附带Tensorflow详解代码实现)

一.导论 在图像语义分割领域,困扰了计算机科学家很多年的一个问题则是我们如何才能将我们感兴趣的对象和不感兴趣的对象分别分割开来呢?比如我们有一只小猫的图片...

AI医生诊断肺炎

AI医生诊断肺炎

作者|Andre Ye 编译|Flin 来源|towardsdatascience 使用CNN识别胸部X光片中的肺炎 人工智能在现实世界中有多种应用,其...

VAE变分自编码器Keras实现

VAE变分自编码器Keras实现

介绍   变分自编码器(variational autoencoder, VAE)是一种生成模型,训练模型分为编码器和解码器两部分。   编码器将输入样...

批标准化—BN

批标准化—BN

作用:神经网络对0附近的数据更敏感,但是随着网络层数的增加,特征数据会出现偏离0均值的情况,标准化可以使数据符合以0位均值,1为标准差的正太分布,把偏移的特...

北斗同步时钟(主时钟控制器)应用于电气化铁道远动系统

北斗同步时钟(主时钟控制器)应用于电气化铁道远动系统

北斗同步时钟(主时钟控制器)应用于电气化铁道远动系统 北斗同步时钟(主时钟控制器)应用于电气化铁道远动系统 京准电子科技官微——ahjzsz 随着铁路...

基于Bert和通用句子编码的Spark-NLP文本分类

基于Bert和通用句子编码的Spark-NLP文本分类

作者|Veysel Kocaman 编译|VK 来源|Towards Data Science 自然语言处理(NLP)是许多数据科学系统中必须理解或推...

7个开源数据科学项目

7个开源数据科学项目

作者|PRANAV DAR 编译|VK 来源|Analytics Vidhya 概述 开源数据科学项目会给你的简历增加很多价值,帮助你在面试中脱...

阿里天池文本分类竞赛task1: 赛题理解

阿里天池文本分类竞赛task1: 赛题理解

一.比赛背景 在本次Datawhale的竞赛当中,我们有一个具有20w条训练集,5w条测试集的数据集。整个数据集里面包含了各种分类不同的文本,每一个文本在...

用Spark-NLP建立文本分类模型

用Spark-NLP建立文本分类模型

作者|GUEST 编译|VK 来源|Analytics Vidhya 概述 在AWS电子病历上建立John Snow实验室的Spark NLP,并...

User Login