clickhouse日常管理

一 变量相关

  1 查看变量

     system.setting相关表

  2 设置变量

     set variables= 请注意这里是session级别,如果想永久生效,必须修改配置文件

  3 变量文件分类

     config.xml

     说明 config.xml针对的是server级别的限制,包括不仅限于内存,复制集,分布式,数据目录等设置

     user.xml

     说明 user.xml针对的是用户级别的限制,主要包括用户增删查改的内存控制参数

 4 配置文件操作便利

   clickhouse会自动扫描,可以在配置文件中操作完进行查询.不用重启服务

5 配置变量优化

  user变量优化

  1 内存相关

  max_memory_usage ck整体会话限制,包括全部链接的全部会话内存使用量上限 默认10G

  max_bytes_before_external_group_by group by占用内存->针对查询 (如果需要使用max_bytes_before_external_group_by，建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍)

  min_insert_block_size_rows, min_insert_block_size_bytes 当插入导致内存溢出时,可尝试调小

  config相关

  1 bind本地IP,调整datadir

  2 allow_experimental_multiple_joins_emulation  最新版本支持多表join参数

二 系列问题

     数据同步分为两种场景

    1 实时同步mysql数据

       方案 : canal+kafka 实时消费binlog进行插入,在kafka进行批量操作封装

   2 异步同步mysql数据

        方案1 利用ck官方mysql driver进行同步

        方案2  直接读取hdfs文件进行同步

    总结:尽量避免单条插入而选择批量操作,提高ck整体效率

   3 关于 update/delete操作

   clickhouse关于update/delete操作是异步后台进行,而且成本很高,所以尽量减少和避免进行update/delete操作

   通过 select * from system.mutations    可以判断后台操作进行是否完成 

   语法eg alter table update table column='' where 条件

  4  ck关于DDL操作的一些限制     

  尽量不要进行 modify column,更改列的操作代价是非常高昂的

  5  程序如何调用clickhouse

      使用jdbc调用 ClickHouse驱动包,最后编写测试类,可参考

      https://blog.csdn.net/zwq_zwq_zwq/article/details/80871518 样例

 三 code相关错误

       1  Code: 32, e.displayText() = DB::Exception: Attempt to read after eof: while receiving packet from 127.0.0.1:9000, Stack trace: