ZooKeeper的数据模型

data tree 模型

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181

bin/zkServer.sh start

bin/zkCli.sh -server 127.0.0.1:2181

create /locks
create /servers
create /works

底层代码

public class DataTree {

  private DataNode root

  private final WatchManager dataWatches

  private final WatchManager childWatches

  private static final String rootZookeeper = "/";

}

znode 节点类型与特性

1. 持久节点
这种节点也是在 ZooKeeper 最为常用的，几乎所有业务场景中都会包含持久节点的创建。之所以叫作持久节点是因为一旦将节点创建为持久节点，该数据节点会一直存储在 ZooKeeper 服务器上，即使创建该节点的客户端与服务端的会话关闭了，该节点依然不会被删除。
如果我们想删除持久节点，就要显式调用 delete 函数进行删除操作。

2. 临时节点
该节点的一个最重要的特性就是临时性。
所谓临时性是指，如果将节点创建为临时节点，那么该节点数据不会一直存储在 ZooKeeper 服务器上。当创建该临时节点的客户端会话因超时或发生异常而关闭时，该节点也相应在 ZooKeeper 服务器上被删除。
同样，我们可以像删除持久节点一样主动删除临时节点。
在平时的开发中，我们可以利用临时节点的这一特性来做服务器集群内机器运行情况的统计，将集群设置为“/servers”节点，并为集群下的每台服务器 创建一个临时节点“/servers/host”，当服务器下线时该节点自动被删除，最后统计临时节点个数就可以知道集群中的运行情况。
如图所示

3. 有序节点并不算是一种单独种类的节点，而是在之前提到的持久节点和临时节点特性的基础上，增加了一个节点有序的性质。
所谓节点有序是说在我们创建有序节点的时候，ZooKeeper 服务器会自动使用一个单调递增的数字作为后缀，追加到我们创建节点的后边。
例如一个客户端创建了一个路径为 works/task- 的有序节点，那么 ZooKeeper 将会生成一个序号并追加到该节点的路径后，最后该节点的路径为 works/task-1。通过这种方式我们可以直观的查看到节点的创建顺序。

1. container 节点用来存放子节点，如果container节点中的子节点为0 ，则container节点在未来会被服务器删除。

2. ttl 节点默认禁用，需要通过配置开启， 如果ttl 节点没有子节点，或者 ttl 节点在 指定的时间内没有被修改则会被服务器删除。

节点的状态信息

数据节点的版本

使用ZooKeeper实现锁

悲观锁

惊群效应

乐观锁

运行中的 ZooKeeper 服务产生的数据

事务日志

• preAllocSize：可存储的日志文件大小。如用户不进行特殊设置，默认的大小为 65536*1024 字节。

• TXNLOG_MAGIC：设置日志文件的魔数信息为ZKLG。

• VERSION：设置日志文件的版本信息。

• lastZxidSeen：最后一次更新日志得到的 ZXID。

static {

    LOG = LoggerFactory.getLogger(FileTxnLog.class);

    String size = System.getProperty("zookeeper.preAllocSize");

    if (size != null) {

        try {

            preAllocSize = Long.parseLong(size) * 1024;

        } catch (NumberFormatException e) {

            LOG.warn(size + " is not a valid value for preAllocSize");

        }

    }

    Long fsyncWarningThreshold;

    if ((fsyncWarningThreshold = Long.getLong("zookeeper.fsync.warningthresholdms")) == null)

        fsyncWarningThreshold = Long.getLong("fsync.warningthresholdms", 1000);

    fsyncWarningThresholdMS = fsyncWarningThreshold;

public synchronized boolean append(TxnHeader hdr, Record txn)

    throws IOException

{

    if (hdr == null) {

        return false;

    }

    if (hdr.getZxid() <= lastZxidSeen) {

        LOG.warn("Current zxid " + hdr.getZxid()

                + " is <= " + lastZxidSeen + " for "

                + hdr.getType());

    } else {

        lastZxidSeen = hdr.getZxid();

    }

    if (logStream==null) {

       if(LOG.isInfoEnabled()){

            LOG.info("Creating new log file: log." +

                    Long.toHexString(hdr.getZxid()));

       }

       logFileWrite = new File(logDir, ("log." +

               Long.toHexString(hdr.getZxid())));

       fos = new FileOutputStream(logFileWrite);

       logStream=new BufferedOutputStream(fos);

       oa = BinaryOutputArchive.getArchive(logStream);

       FileHeader fhdr = new FileHeader(TXNLOG_MAGIC,VERSION, dbId);

       fhdr.serialize(oa, "fileheader");

       // Make sure that the magic number is written before padding.

       logStream.flush();

       currentSize = fos.getChannel().position();

       streamsToFlush.add(fos);

    }

    padFile(fos);

    byte[] buf = Util.marshallTxnEntry(hdr, txn);

    if (buf == null || buf.length == 0) {

        throw new IOException("Faulty serialization for header " +

                "and txn");

    }

    Checksum crc = makeChecksumAlgorithm();

    crc.update(buf, 0, buf.length);

    oa.writeLong(crc.getValue(), "txnEntryCRC");

    Util.writeTxnBytes(oa, buf);

    return true;

数据快照

public void save(DataTree dataTree,

                 ConcurrentHashMap<Long, Integer> sessionsWithTimeouts,

                 boolean syncSnap)

    throws IOException {

    long lastZxid = dataTree.lastProcessedZxid;

    File snapshotFile = new File(snapDir, Util.makeSnapshotName(lastZxid));

    LOG.info("Snapshotting: 0x{} to {}", Long.toHexString(lastZxid),

            snapshotFile);

    snapLog.serialize(dataTree, sessionsWithTimeouts, snapshotFile, syncSnap);

}

总结

线上系统日志清理的最佳时间和方式

日志类型

清理方案

清理工具

corntab

创建脚本

#!/bin/bash 

dataDir=/home/zk/zk_data/version-2 

dataLogDir=/home/zk/zk_log/version-2 

ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f 

ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f 

ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f  

find /home/home/zk/zk_data/version-2 -name "snap*" -mtime +1 | xargs rm -f                              

find /home/home/zk/zk_data/version-2 -name "snap*" -mtime +1 | xargs rm -f               

find /home/home/zk/zk_data/logs/ -name "zookeeper.log.*" -mtime +1 | xargs rm –f

创建定时任务

crontab [ -u user ] { -l | -r | -e }

f1 f2 f3 f4 f5 program

0 6-8 * * * /usr/bin/logsCleanWeek.sh>/dev/null 2>&1

查看定时任务

PurgeTxnLog

#!/bin/sh  

java -cp "$CLASSPATH" org.apache.zookeeper.server.PurgeTxnLog 

echo "清理完成"

ZooKeeper 数据存储底层实现解析

文件系统布局

数据日志

搜集日志

protected static final Logger LOG = LoggerFactory.getLogger(Learner.class);

LOG.info("Revalidating client: 0x" + Long.toHexString(clientId));

LOG.warn("Couldn't find the leader with id = "

        + current.getId());

存储日志

快照文件

快照创建

public interface SnapShot {

  long deserialize(DataTree dt, Map<Long, Integer> sessions) 

    throws IOException;

    void serialize(DataTree dt, Map<Long, Integer> sessions,

               File name, boolean fsync)

    throws IOException;

    File findMostRecentSnapshot() throws IOException;

    void close() throws IOException;

}

快照存储

public class SnapshotFormatter {

  private void printDetails(DataTree dataTree, Map<Long, Integer> sessions) 

  private void printZnodeDetails(DataTree dataTree) 

  private void printZnode(DataTree dataTree, String name)

  private void printSessionDetails(DataTree dataTree, Map<Long, Integer> sessions) 

  private void printStat(StatPersisted stat)

  private void printHex(String prefix, long value) 

}