Cassandra简单介绍和二进制安装 Nosql 第1张

Cassandra简介:

Apache Cassandra最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身Facebook于2008将 Cassandra 开源,

Apache Cassandra是一个高度可扩展的高性能分布式数据库,用于处理大量商用服务器上的大量数据,提供高可用性,无单点故障,是一种NoSQL类型的数据库。 

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。

Cassandra特点:

Cassandra因其卓越的技术特性而变得如此受欢迎。下面给出了Cassandra的一些特性:

  • 弹性可扩展性 - Cassandra是高度可扩展的; 它允许添加更多的硬件以适应更多的客户和更多的数据根据要求。

  • 始终基于架构 - Cassandra没有单点故障,它可以连续用于不能承担故障的关键业务应用程序。

  • 快速线性性能 - Cassandra是线性可扩展性的,即它为你增加集群中的节点数量增加你的吞吐量。因此,保持一个快速的响应时间。

  • 灵活的数据存储 - Cassandra适应所有可能的数据格式,包括:结构化,半结构化和非结构化。它可以根据您的需要动态地适应变化的数据结构。

  • 便捷的数据分发 - Cassandra通过在多个数据中心之间复制数据,可以灵活地在需要时分发数据。

  • 事务支持 - Cassandra支持属性,如原子性,一致性,隔离和持久性(ACID)。

  • 快速写入 - Cassandra被设计为在廉价的商品硬件上运行。 它执行快速写入,并可以存储数百TB的数据,而不牺牲读取效率。

Cassandra架构:

Cassandra的设计目的是处理跨多个节点的大数据工作负载,而没有任何单点故障。

Cassandra在其节点之间具有对等分布式系统,并且数据分布在集群中的所有节点之间。

  • 集群中的所有节点都扮演相同的角色。 每个节点是独立的,并且同时互连到其他节点。

  • 集群中的每个节点都可以接受读取和写入请求,无论数据实际位于集群中的何处。

  • 当节点关闭时,可以从网络中的其他节点提供读/写请求。

Cassandra中的数据复制

在Cassandra中,集群中的一个或多个节点充当给定数据片段的副本。

如果检测到一些节点以过期值响应,Cassandra将向客户端返回最近的值。

返回最新的值后,Cassandra在后台执行读修复以更新失效值。

下图显示了Cassandra如何在集群中的节点之间使用数据复制,以确保没有单点故障的示意图。

Cassandra简单介绍和二进制安装 Nosql 第2张

 注 Cassandra在后台使用Gossip协议,允许节点相互通信并检测集群中的任何故障节点。

Gossip协议是一个通信协议,一种传播消息的方式,灵感来自于:瘟疫、社交网络等。

使用Gossip协议的有:Redis Cluster、Consul、Apache Cassandra等。

Cassandra的组件:

Cassandra的关键组件如下:

  • 节点 - 它是存储数据的地方。

  • 数据中心 - 它是相关节点的集合。

  • 集群 - 集群是包含一个或多个数据中心的组件。

  • 提交日志 - 提交日志是Cassandra中的崩溃恢复机制。每个写操作都写入提交日志。

  • Mem- - mem-表是存储器驻留的数据结构。提交日志后,数据将被写入mem表。有时,对于单列族,将有多个mem表。

  • SSTable - 它是一个磁盘文件,当其内容达到阈值时,数据从mem表中刷新。

  • 布隆过滤器 - 这些只是快速,非确定性的算法,用于测试元素是否是集合的成员。它是一种特殊的缓存。 每次查询后访问Bloom过滤器。

JAVA&Cassandra安装:

环境条件:

  • Cassandra 3.0及更高版本需要Java 8u40或更高版本。
  • Java 8的最新版本,即Oracle Java Standard Edition 8OpenJDK 8。要验证您是否安装了正确的Java版本,请输入。java -version
  • 对于使用cqlsh,最新版本的Python 2.7。要验证您是否安装了正确的Python版本,请输入。python --version

创建用户和组:

在开始时,建议为Cassandra创建一个单独的用户,这样可以不使用root达到权限隔离。

[root@tse3 Cassandra]# /usr/sbin/groupadd -g 10001 cassandra
[root@tse3 Cassandra]# /usr/sbin/useradd -u 10001 -g cassandra cassandra
[root@tse3 Cassandra]# id cassandra
uid=10001(cassandra) gid=10001(cassandra) groups=10001(cassandra)
[root@tse3 Cassandra]# passwd cassandra
[root@tse3 Cassandra]# chown -R cassandra:cassandra /Cassandra
[root@tse3 Cassandra]# chmod -R 775 /Cassandra

SSH设置和密钥生成:

需要SSH设置才能在集群上执行不同的操作,例如启动,停止和分布式守护程序shell操作。

要对Cassandra的不同用户进行身份验证,需要为Cassandra用户提供公钥/私钥对,并与不同的用户共享。

以下命令用于使用SSH生成键值对:

  • 将公共密钥表单id_rsa.pub复制到authorized_keys,
  • 并提供所有者,
  • 分别对authorized_keys文件的读写权限。
[root@tse3 Cassandra]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:PEWPzRcxD/BVBiuJTHdMtqtlp7O7uqSpBTQ8HSpsqQw root@tse3
The key's randomart image is:
+---[RSA 2048]----+
|          + o+Xo=|
|     . o * O =.X |
|  E   = * * * = .|
|   o o + +   o . |
|    o   S     + .|
|         o   + o |
|          . o o  |
|         . +   o |
|        ..o oo+o |
+----[SHA256]-----+
[root@tse3 .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@tse3 .ssh]# chmod 775 ~/.ssh/authorized_keys

验证SSH:

[root@tse3 .ssh]# ssh localhost

安装JAVA环境:

Java是Cassandra的主要先决条件。 首先,您应该使用以下命令验证系统中是否存在Java:

[root@tse3 ~]# java -version
-bash: java: command not found

如果您的系统中没有Java,请按照以下步骤安装Java。

以下链接下载JDK8:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

Cassandra 3.0及更高版本需要Java 8u40或更高版本

我这边下载了最新版的:jdk-8u241-linux-x64.tar.gz

我这边是下载了tar包上传到服务器,因为服务器下载速度太慢了

[root@tse3 downloads]# wget https://download.oracle.com/otn-pub/java/jdk/14+36/076bab302c7b4508975440c56f6cc26a/jdk-14_linux-x64_bin.tar.gz

下载好的包,解压:

[root@tse3 downloads]# tar -zxvf jdk-8u241-linux-x64.tar.gz

移动jdk到/usr/local下面,对所有用户可用:

[root@tse3 downloads]# mv jdk1.8.0_241 /usr/local/

要设置PATH和JAVA_HOME变量:

export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

将更改生效:

[root@tse3 lib]# source ~/.bash_profile

输入命令查询java版本,出现如下代表装成功:

[root@tse3 bin]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

 

安装Cassandra:

先创建相关目录

[root@tse3 /]# mkdir -p /var/lib/cassandra/{data,commitlog,saved_caches}
设置读写权限:
[root@tse3 /]# chmod 777 /var/lib/cassandra
[root@tse3 /]# chmod 777 /var/log/cassandra
[root@tse3 /]# chown -R cassandra:cassandra /cassandra/
[root@tse3 /]# chmod -R 777 /cassandra/

设置环境变量

[root@tse3 bin]# vim ~/.bash_profile 
export CASSANDRA_HOME=/cassandra
export PATH=$PATH:$CASSANDRA_HOME/bin
[root@tse3 bin]# source ~/.bash_profile 

1、先从官方网站获取最新的tar包,我这里是按照3.11版本,已经获取到地址了

[root@tse3 downloads]# wget https://www.apache.org/dyn/closer.lua/cassandra/3.11.6/apache-cassandra-3.11.6-bin.tar.gz

2、解压下载的tar包

[root@tse3 downloads]# tar -zxvf apache-cassandra-3.11.6-bin.tar.gz

3、创建一个Cassandra目录,然后移动数据到这个目录下

[root@tse3 downloads]# mv apache-cassandra-3.11.6/* /cassandra/

配置Cassandra:

注意:如果您从deb或rpm包安装了Cassandra,配置文件将位于Cassandra的/etc/cassandra目录中。

我的是二进制安装方法,所以配置文件在/conf里面。

用vi或者vim打开cassandra.yaml文件。验证以下配置。 默认情况下,这些值将设置为指定的目录。

[root@tse3 conf]# vim cassandra.yaml 
[root@tse3 conf]# pwd
/Cassandra/conf
#存储数据的目录,如果未设置则默认目录为$CASSANDRA_HOME/data/data. data_file_directories: - /var/lib/cassandra/data #提交日志,如果未设置,则默认目录为$CASSANDRA_HOME/data/commitlog. commitlog_directory: /var/lib/cassandra/commitlog #保存缓存,如果未设置,默认目录$CASSANDRA_HOME/data/saved_caches. saved_caches_directory: /var/lib/cassandra/saved_caches
cluster_name:集群的名称。
seeds:用逗号分隔的群集种子IP地址列表。
storage_port注意:您不一定需要更改此设置,但请确保没有防火墙阻止此端口。
listen_address:节点的IP地址,这是允许其他节点与此节点通信的地址,因此更改它很重要。或者,您可以设置listen_interface告诉Cassandra使用哪个接口,以及连续使用哪个地址。仅设置一个,而不要同时设置两个。
native_transport_port:对于storage_port,请确保此端口未被防火墙阻止,因为客户端将在此端口上与Cassandra通信。
data_file_directories:数据文件所在的一个或多个目录。
commitlog_directory:提交日志文件所在的目录。
saved_caches_directory:保存的缓存所在的目录。
hints_directory:提示所在的目录。
出于性能原因,如果您有多个磁盘,请考虑将提交日志和数据文件放在不同的磁盘上。

启动Cassandra:

进入Cassandra主目录

[root@tse3 bin]# pwd
/cassandra/bin
[root@tse3 bin]# cassandra -f -R

 

CQLSH使用连接测试:

cqlsh是用于通过CQL(Cassandra查询语言)与Cassandra交互的命令行外壳。

它随每个Cassandra软件包一起提供,可以在cassandra可执行文件旁边的bin/目录中找到。

cqlsh利用Python本机协议驱动程序,并连接到命令行上指定的单个节点。

使用cqlsh,你可以

  • 定义模式,
  • 插入数据,
  • 执行查询。
[root@tse3 bin]# cqlsh
Connected to Test Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.11.6 | CQL spec 3.4.4 | Native protocol v4]
Use HELP for help.
cqlsh> 

记录的Shell命令

下面给出了Cqlsh记录的shell命令。这些是用于执行任务的命令,如显示帮助主题,退出cqlsh,描述等。

  • HELP -显示所有cqlsh命令的帮助主题。

  • CAPTURE -捕获命令的输出并将其添加到文件。

  • CONSISTENCY -显示当前一致性级别,或设置新的一致性级别。

  • COPY -将数据复制到Cassandra并从Cassandra复制数据。

  • DESCRIBE -描述Cassandra及其对象的当前集群。

  • EXPAND -纵向扩展查询的输出。

  • EXIT -使用此命令,可以终止cqlsh。

  • PAGING -启用或禁用查询分页。

  • SHOW -显示当前cqlsh会话的详细信息,如Cassandra版本,主机或数据类型假设。

  • SOURCE -执行包含CQL语句的文件。

  • TRACING -启用或禁用请求跟踪。

CQL数据定义命令

  • CREATE KEYSPACE -在Cassandra中创建KeySpace

  • USE -连接到已创建的KeySpace。

  • ALTER KEYSPACE -更改KeySpace的属性。

  • DROP KEYSPACE -删除KeySpace

  • CREATE TABLE -在KeySpace中创建表。

  • ALTER TABLE -修改表的列属性。

  • DROP TABLE -删除表。

  • TRUNCATE -从表中删除所有数据。

  • CREATE INDEX -在表的单个列上定义新索引。

  • DROP INDEX -删除命名索引。

CQL数据操作指令

  • INSERT -在表中添加行的列。

  • UPDATE -更新行的列。

  • DELETE -从表中删除数据。

  • BATCH -一次执行多个DML语句。

CQL字句

  • SELECT -此子句从表中读取数据

  • WHERE -where子句与select一起使用以读取特定数据。

  • ORDERBY -orderby子句与select一起使用,以特定顺序读取特定数据。

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄