原创 后端技术 使用 ClickHouse 做日志分析 日志本质上应该是不可变的,而ClickHouse最适合处理不可变的数据。我们能够将关键且重要的日志生成应用程序之一从Elasticsearch迁移到更小的ClickHouse集群。inserter端的CPU和内存消耗减少了八倍。每个使用600字节的Elasticsearch文档在ClickHouse中减少到每行60字节。这种存储增益使我们能够在较新的集群中存储100%的事件。在查询方面,99分位的查询延迟也显著改善。_clickhouse每天一tb日志 2024-10-29 浏览(112) 评论(0) 阅读全文
原创 数据库相关 ClickHouse使用介绍和部署笔记 ClickHouse是一种用于在线分析处理(OLAP)的高性能、面向列的SQL数据库管理系统(DBMS)。它以其快速的查询性能和高效的数据压缩而闻名,并且能够处理PB级别的数据。1._clickhouse部署 2024-10-28 浏览(113) 评论(0) 阅读全文
原创 数据库相关 oracle 表分区 oracle表分区1.创建表分区1.1新表新表的话可以直接创建1.2老表建立分区 在线重定义功能(百度) 直接建立 先备份老表(最好) 查询老表的索引 创建分区(以hash分区为例) --创建分区createtableIDX_MAKT_QUOT_PARTITIONpartitionbyhash(PROD_CD)( partitionp1, partitionp2, partition_oracle表分区旧表分区后 2023-12-19 浏览(111) 评论(0) 阅读全文
原创 数据库相关 oracle体系构成 oracle体系构成1.oracle的物理体系1.1oracle的构成 实例 共享内存区SGA(SystemGlobalArea) 一系列后台进程,包括PMON,SMON,LCKn,RECO,CKPT,DBWR,LGWR,ARCH等 数据库 数据文件、参数文件、日志文件、控制文件、归档日志等 PGA(ProgramGlobalArea),也是内存区,和SGA的区别在于,PGA不是共享内存,是私有不共享的 用户对数据库发起的查询或其它操作都先在p_pga不是共享内存 2023-12-13 浏览(135) 评论(0) 阅读全文
原创 数据库相关 Spring事务传播级别理解 本文详细解析了Spring框架中事务传播级别的各个选项,包括REQUIRED、SUPPORTS、MANDATORY、REQUIRES_NEW、NOT_SUPPORTED和NEVER,以及它们在实际场景中的行为和影响。通过实例说明,帮助理解事务的嵌套与隔离规则。 2023-04-11 浏览(131) 评论(0) 阅读全文
原创 数据库相关 Mysql 事务、幻读、当前读、快照读相关笔记 本文详细介绍了数据库事务的ACID特性,包括原子性、一致性、隔离性和持久性,并探讨了不同事务隔离级别如读未提交、读提交、可重复读和串行化。重点讲解了MySQL中MVCC(多版本并发控制)如何实现可重复读隔离级别,以及快照读和当前读的概念。在MVCC中,通过undolog和readview处理事务,并利用间隙锁防止幻读。最后,分析了当前读在处理幻读中的作用以及不同隔离级别下的性能和加锁策略。 2023-02-14 浏览(128) 评论(0) 阅读全文
原创 中间件相关 NoSql 入门实践笔记 1.初识NoSql定义主体符合非关系式、分布式、开放源码和具有横向扩展能力的下一代数据库数据库分类TRDB传统关系型数据库使用强存储模式技术。特指数据库表、行、字段的建立,都需要预先严格定义,并进行相关属性约束采用SQL计数标准来定义和操作数据库采用强事务保证可用性和安全性主要采用单机集中式处理(CP)方式NoSql数据库使用弱存储模式技术没有采用SQL技术标准来定义和操作数据库采用弱事务保证数据可用性及安全性或根本没有事务处理机制主要采用多机分布式处理方式_nosql主体符合 2022-07-13 浏览(135) 评论(0) 阅读全文
原创 中间件相关 redis5的集群搭建使用 redis5的集群搭建使用配置修改将下载好的redis解压完成后,复制六份redis.conf文件对应修改每个文件的相关配置portXXX对应端口bind本机ip如果是需要外网访问的话可以注释掉,然后创建集群的时候指定外网ipcluster-enabledyes开启集群模式daemonizeyes开启后台运行,不用每次都nohupcluster-node-timeout15000节点超时时间cluster-config-file"nodes-XXX.conf_runwithretries 2022-07-13 浏览(132) 评论(0) 阅读全文