你的位置:首页 > 软件开发 > 数据库
  • 【转】 一条 SQL 的执行过程详解
    MySQL 体系架构 - 连接池组件 1、负责与客户端的通信,是半双工模式,这就意味着某一固定时刻只能由客户端向服务器请求或者服务器向客户端发送数据,而不能同时进行。 2、验证用户名和密码是否正确(数
    SQL mysql2022年01月13日 17:003
  • canal
    1. canal 简介 canal 主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。 canal 工作原理: canal 模拟 MySQL slave 的交互协议,伪装自己为
    SQL mysql2022年01月13日 01:596
  • SQLServer高可用方案在企业生产环境的实践
    从SQLServer 2012以后微软推出了新的SQLServer高可用技术 ,它的名字叫AlwaysOn。
AlwaysOn是一种集合了高可用性和灾难恢复两种功能于一体的技术,相比故障转移群集、数据
    SQL SQLServer Server2022年01月12日 23:532
  • 工具 | 如何对 MySQL 进行 TPC-C 测试?
    作者:丁源 RadonDB 测试负责人 负责 RadonDB 云数据库、容器化数据库的质量性能测试,迭代验证。对包括云数据库以及容器化数据库性能和高可用方案有深入研究。 |背景 根据 DWorks 2
    SQL mysql2022年01月12日 20:291
  • 关于如何在window下执行SQLSERVER的定时备份
    引言 在使用SqlServer Express 版本的时候发现,这个版本不支持通过数据库的代理方式进行数据库的维护。 解决方案 使用SQL语句加windows任务计划的方式解决 具体步骤如下 创建备份
    SQL Windows SQLServer Server2022年01月12日 18:0910
  • 盘点 | 常用 PG 数据恢复方案概览【建议收藏】
    作者:张连壮 PostgreSQL 研发负责人 从事多年 PostgreSQL 数据库内核开发,对 Citus 有非常深入的研究。 PostgreSQL 本身不具备数据闪回和数据误删除保护功能,但在不
    SQL2022年01月12日 17:0910
  • Spring Boot MongoDB
    1. Linux下启动MongoDB并使用mongosh连接 启动方式有两种: systemctl start mongod mongod <选项参数> 启动的时候有可能会报类似如下的错误
    MongoDB Mongo2022年01月12日 03:002
  • Oracle监听程序当前无法识别连接描述符中请求服务
    今天早上我们公司来了之后发现云服务器Oracle都不能用了用plsql连接都报Oracle监听程序当前无法识别连接描述符中请求服务 然后百度一下都是让改监听文件,因为监听文件都是安装数据库的时候自己生
    SQL oracle2022年01月11日 21:5013
  • 谁再说学不会 MySQL 数据库,就把这个给他扔过去!
    大家好,我是民工哥。 又是新的一年奋斗路的开启,相信有不少人农历新年之后,肯定会有所变动(跳槽加薪少不了)。所以,我把往期推送过的MySQL技术文章做了一个相关的整理,基础不好的可以从最基础的学习一遍
    SQL mysql2022年01月11日 20:193
  • MySQL 中如何定位 DDL 被阻塞的问题
    DDL 被阻塞了,如何找到阻塞它的 SQL? 经常碰到开发、测试童鞋会问,线下开发、测试环境,执行了一个DDL,发现很久都没有执行完,是不是被阻塞了?要怎么解决?包括在群里,也经常会碰到类似问题:DDL 被阻塞了,如何找到阻塞它的 SQL ?实际上,如何解决 DDL 被阻塞的问题 ...
    SQL mysql2022年01月10日 19:595
  • 使用Neo4j的apoc插件,实现数据从MySQL抽取到Neo4j
    1、准备 下载apoc插件:apoc-3.5.0.15-all.jar 下载地址:https://github.com/neo4j-contrib/neo4j-apoc-procedures/rele
    SQL mysql Procedure2022年01月10日 16:2089
  • [离线计算-Spark|Hive] 大数据应用性能指标采集工具改造落地
    本文主要介绍了下Uber的开源项目jvm-profiler的产生背景,设计原理以及架构, 后面也设计了一套落地方案,用于采集spark、hive任务的资源消耗相关指标,可用于后续分析以及资源调优.
    2022年01月10日 16:205
  • StarRocks BE节点崩溃原因查找及解决思路:std::bad_alloc
    问题分析 StarRocks BE 5个节点突然在几分钟内全部掉线。查找BE的be.out日志,输出如下: tcmalloc: large alloc 1811947520 bytes == 0x77
    2022年01月09日 22:1135
  • 排序规则
    一、什么是排序规则 mysql官网的说法 The collation is a set of rules (only one rule in this case): “compare the enco
    SQL mysql2022年01月09日 21:316
  • MongoDB Security
    1. Security MongoDB提供了一系列的保护措施,以保护它自身安全: 启用访问控制并实行身份验证 MongoDB支持多种身份认证机制,默认的认证机制是SCRAM 配置基于角色的访问控制 首
    MongoDB Mongo Security2022年01月09日 06:504
  • mac下进入mysql,提示command not found的解决方法(亲测有效)
    前言 最近在学习使用mysql,准备执行相关语句修改密码,在输入 mysql -u root -p 命令进入时报错,提示我找不到mysql 注:root为你建库时创建的用户名 后来我以为是路
    SQL mysql2022年01月09日 04:10224
  • MySQL 卸载与安装
    MySQL 卸载与安装 以Windows10操作系统为例: 一、 先看看如何卸载 1、首先,停止window的MySQL服务,【windows键+R 】打开运行框,输入【services.msc】打开
    SQL mysql Windows Service2022年01月06日 00:500
  • [20220106]ora-00600  kokasgi1.txt
    [20220106]ora-00600 kokasgi1.txt--//上午看了https://www.xifenfei.com/2022/01/2022-first-recovery-ora-600
    2022年01月05日 23:492
  • 德哥PostgreSQL学习资料汇总
    周正中,网名德哥 ( digoal ),目前就职于阿里云。PostgreSQL 中国社区发起人之一,PostgreSQL 象牙塔发起人之一,DBA+社群联合发起人之一,DBGeeK社区专家组成员。
看
    SQL2022年01月05日 17:3939
  • MySQL 数据库自动备份
    MySQL 数据库自动备份 MySQL 数据库自动备份 MySQL 备份命令 mysqldump 介绍 数据备份 数据恢复 gzip 介绍 MySQL 备份脚本 Linux 定时任务-crontab
    SQL mysql2022年01月05日 15:190
  • [平台建设] 日志数据同步数仓设计
    本文主要针对日志数据接入数据仓库场景进行设计, 同时介绍了下在设计接入时的一些细节,针对可能出现的问题进行必要的处理.
    2022年01月05日 06:251
  • PostgreSQL 数据库备份脚本
    PostgreSQL 数据库备份脚本 #!/bin/bash # PG家目录(/opt/postgresql/pg96/) PG_HOME=${PGHOME} # pg数据库连接信息 PG_HOST=
    SQL2022年01月04日 23:483
  • MySQL 数据库备份脚本
    MySQL 数据库备份脚本 #!/bin/bash # 数据库连接信息 DB_HOST="127.0.0.1" DB_PORT="3306" DB_USER=&
    SQL mysql2022年01月04日 22:480
  • Redis安装(CentOS  8.5 64位)
    Redis的安装,CentOS 8.5 64位 Redis安装1. 准备工作1.1 下载安装包官网下载地址:1.2 传输文件到服务器使用ssh工具连接到服务器,把下载好的文件上传到服务器,可以直接拖拽到其中一个目录,如:opt 目录下进入opt目录,使用 ls 命令或 ll 命令 ...
    Centos2022年01月04日 21:486
  • [20220104]in list 几种写法性能测试.txt
    [20220104]in list 几种写法性能测试.txt--//以前写过几种in list的写法,从来没有测试过这几种方法的性能测试看看.1.环境:SCOTT@book> @ver1PORT
    2022年01月04日 14:591
  • [20211217]滑稽可笑的程序代码2.txt
    [20211217]滑稽可笑的程序代码2.txt--//实在不知道如何取标题..感觉很无奈无语...--//昨天上午快下班的时候我使用ashtop看等待事件,无意中发现生产系统的一条sql语句执行时间
    SQL2022年01月03日 16:191
  • 【JDBC】笔记(5)--
    总结:在当前事务中,用行级锁锁住的记录,那么在此事务结束之前,其他事务将无法对“锁住的记录”进行操作(update/delete),但是select可以......
    select2022年01月02日 20:503
  • SQL分库分表
    历史背景 MySql性能瓶颈 1. 表数据量过大 2. Sql查询过于复杂 3. Sql没走索引 4. 数据库服务器性能低 解决方案 阿里开发手册:单表行数超过500W或者单表容量超过2G 数据库分库
    SQL mysql2022年01月02日 20:090
  • 【JDBC】编程(2)--
    实现模糊查询(以“查哪个用户的密码中的第二个字符为‘a’为例)...... /*JDBC工具类功能:  简化JDBC部分代码书写*/import java.sql.*;public class DBUtil { /** * 工具类的构造方法都应该是私有的 * 因为工具类是需要 ...
    SQL2022年01月02日 18:491
  • 【JDBC】笔记(4)--
    但是在实际的业务中,通常是多条 DML语句 联合完成的,那么就必须保证这些 DML语句 在同一个事务中同时成功或失败......
    2022年01月01日 21:101
  • 【JDBC】笔记(3)--
    1.Statement 编译一次,只执行一次,PreparedStatement 编译一次,可执行n次,所以 PreparedStatement 效率较高......
    2021年12月31日 18:494
  • [平台建设] Spark任务的诊断调优
    本文主要根据平台用户平常提交的spark任务思考,调研引入Dr. Elephant, 通过阅读Dr 相关源码, 明白Dr 执行整体流程并对代码进行改造,适配我们的需求.最终转变为平台产品来对用户的Sp
    2021年12月31日 04:401
  • 【JDBC】笔记(2)--
    1、需求:模拟用户登录功能的实现;2、业务描述:程序运行的时候,提供输入的入口,可以让用户输入用户名和密码;用户输入用户名和密码后,提交信息,java程序收集到用户信息.....
    2021年12月30日 22:101
  • 强强联袂!腾讯云TDSQL与国双战略签约,锚定国产数据库巨大市场
    日前,腾讯云计算(北京)有限责任公司与北京国双科技有限公司签署了**《国产数据库产品战略合作协议》**,双方将在数据库技术方面展开深度合作,通过分布式交易型数据库的联合研发、产品服务体系建设、品牌和市
    SQL2021年12月30日 17:201
  • [平台建设] 大数据平台如何实现任务日志采集
    本文主要介绍如何基于log4j appender自定义扩展实现大数据平台任务日志采集. 背景平台任务主要分3种: flink实时任务, spark任务,还有java任务,spark、flink 我们是运行在yarn 上, 日常排错我们通过查看yarn logs来定位, 但是会对日 ...
    2021年12月29日 06:221
  • 如何基于LSM-tree架构实现一写多读
    一 前言 PolarDB是阿里巴巴自研的新一代云原生关系型数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供具备极致弹性、海量存储、高性能、低成本的数据库服务。X-Engine是阿里巴巴
    2021年12月29日 03:425
  • 【JDBC】笔记(1)--
    2、JDBC的本质是什么?JDBC是SUN公司制定的一套接口(实质); java.sql.*; (这个软件包下有很多接口)
    SQL2021年12月28日 23:181
  • [转]万智牌规则和异能详解
    最近游戏过程中发现规则和异能详解的文档很少,找起来非常麻烦,百度文档都需要付费才能查看。为了让其他的新手同学能方便查询,所以将已经查询到的信息转载到这里,方便大家查看。 转自: "《万智牌2
    2021年12月28日 20:18131
  • [Elasticsearch]  ES聚合场景下部分结果数据未返回问题分析
    本文主要对ES聚合场景下部分结果数据未返回问题分析,给出排查思路和解决方案 背景在对ES某个筛选字段聚合查询,类似groupBy操作后,发现该字段新增的数据,聚合结果没有展示出来,但是用户在全文检索新增的筛选数据后,又可以查询出来, 针对该问题进行了相关排查。排查思路首先要明确我 ...
    2021年12月28日 20:1843
  • 观点 | NoSQL 产品的 SaaS 化之路
    王奇 顾问软件工程师 目前从事 PaaS 中间件服务(Redis / MongoDB / ELK 等)开发工作,对 NoSQL 数据库有深入的研究以及丰富的二次开发经验,热衷对 NoSQL 数据库领域
    SQL MongoDB Mongo nosql2021年12月28日 20:182
  • Redis基本操作进阶篇学习--排序
    Redis中SORT命令可以对列表类型、集合类型以及有序集合类型键进行排序,并返回显示排序的结果,但是不会对原有数据进行修改。
    2021年12月28日 00:202
  • 如何把 MySQL 备份验证性能提升 10 倍
    JuiceFS 非常适合用来做 MySQL 物理备份,具体使用参考我们的官方文档。最近有个客户在测试时反馈,备份验证的数据准备(xtrabackup --prepare)过程非常慢。我们借助 Juic
    SQL mysql2021年12月27日 23:391
  • 详细记录一次stampstime字段引起pxc集群脑裂
    事故回顾 运维执行导入sql,导入后收到master2和master3节点宕机的报警; 检查集群状态发现master1进入初始化模式,无法读写;master2和master3已经下线; 处理方法 分别
    SQL2021年12月27日 18:591
  • Cypher 入门笔记
    Neo4j使用Cypher查询图形数据,Cypher是描述性的图形查询语言,语法简单,功能强大,由于Neo4j在图形数据库家族中处于绝对领先的地位,拥有众多的用户基数,使得Cypher成为图形查询语言
    2021年12月27日 18:194
  • 基于内存的关系数据库memsql初探
    背景 广告系统中,算法模型预估需要根据广告的实时转化统计结果,才能做出更精准的预估;同时,支持多维度聚合查询(例如按照广告各个不同层级维度,按照时间不同粒度的维度),并跨大区合并。一开始的版本是基于m
    SQL2021年12月27日 07:4011
  • [平台建设] HBase平台建设实践
    本文主要介绍HBase平台的建设思路及设计, 并对跨集群数据迁移实践进行总结 背景由于公司业务场景的需要,我们需要开发HBase平台,主要需要以下功能:建表管理授权管理SDK实现与公司内部系统打通我们使用的HBase 版本:HBase 1.2.0-cdh5.16.2Hadoop: ...
    2021年12月27日 03:592
  • 一、SQL高级语句
    摘抄别的博主的博客主要总去CSDN看不太方便自己整理一下加深记忆! 导入文件至数据库 #将脚本导入 source 加文件路径 mysql> source /backup/test.sql; se
    SQL mysql2021年12月27日 00:5115
  • Redis基本操作进阶篇--事务学习
    Redis中的事务(transaction)是一组命令的集合。一个事务中的命令要么全部执行,要么都不执行。Redis的事务没有关系数据库事务提供的回滚(rollback)功能。
    2021年12月27日 00:519
  • Kafka Eagle分布式模式
    1.概述 最近有同学留言,Kafka Eagle的分布式模式功能怎么使用,如何部署安装?今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用。 2.内容 首先,这里我们需要
    2021年12月26日 05:276
  • MySQL快速创建800w条测试数据表&深度分页
    MySQL快速创建800w条测试数据表&深度分页 汴水流,泗水流,流到瓜州古渡头。 吴山点点愁。 思悠悠,恨悠悠,恨到归时方始休。 月明人倚楼。 一、数据插入思路 如果一条一条插入普通表的话,
    SQL mysql2021年12月26日 05:271
  • Mybatis-Plus一键生成代码
    Mybatis-Plus一键生成代码 一、闲言碎语 闲来无事看了看了MP的官网看到一键生成的代码更新了! 整个Ui风格都变了,遂决定瞅一眼新的代码生成器 官网地址~~ 二、引入依赖 新的代码生成只有在
    2021年12月24日 00:303
  • [Elasticsearch] ES 的Mapping 设计在实际场景中应用
    背景 项目中有个需求是需要几个字段作为标签,统计各个标签的文档数量,同时支持分词后的全文检索功能。 原有的mapping设计: curl -XPUT http://ip:9200/meta_es_me
    2021年12月23日 21:304
  • mysql8.x docker 远程访问配置
    环境情况 mysql 8.x 是通过 docker 方式部署的,启动的 docker-compose.yml 如下: version: "3.2" services: mysql:
    SQL mysql Service2021年12月23日 19:491
  • JuiceFS 数据加密原理
    JuiceFS 作为分布文件系统,每天与海量的数据打着交道,因此数据的安全性尤为关键,今天就来介绍一下 JuiceFS 在数据加密方面所做的努力。 传输中数据加密 JuiceFS 在网络上传输时会对数
    2021年12月22日 21:500
  • 记一次Mongodb数据库查询之包含所有指定元素的数组或者都在指定元素的数组中
    这里记录一个查询需求:数据库中字段的值(数组类型)都在指定的数组中。举例说一下实际场景,数据库中一个字段存储用户“可以使用的编程语言”,一般都会是多个,所以该字段是数组格式。现在要查询的是:会c#、j
    MongoDB Mongo 数组2021年12月22日 18:497
  • ERROR 1396 (HY000): Operation ALTER USER failed for 'root'@'localhost'
    ERROR 1396 (HY000): Operation ALTER USER failed for 'root'@'localhost' 在网上找了很多帖子都是互相
    2021年12月22日 01:5936
  • 03_MapReduce框架原理_3.4 InputSplit 切片类(源码)
    Hadoop 2. InputSplit 切片类 1.0 类的作用 InputSplit 他在逻辑上包含了提供给处理这个Inputsplit的Mapper的所有的key-value 1.1 抽象方法
    2021年12月21日 16:590
  • Mysql客户端的安装
    Mysql数据库(简称)属于C/S架构,正常工作中一般都会提供服务端,我们只需要安装客户端进行查询修改数据等操作即可。 正常工作中不管是测试人员或者开发人员,一般数据库的管理员(测试负责人或者开发负责
    SQL mysql2021年12月21日 16:000
  • 55 道MySQL基础题
    1.一张表,里面有 ID 自增主键,当 insert 了 17 条记录之后, 删除了第 15, 16, 17 条记录,再把 Mysql 重启,再 insert 一条记 录,这条记录的 ID 是 18
    SQL mysql Insert2021年12月21日 02:165
  • 巧用符号链接迁移 HDFS 数据,业务完全无感知!
    问题 JuiceFS 是一个基于对象存储的分布式文件系统,在之前跟对象存储比较的文章中已经介绍了 JuiceFS 能够保证数据的强一致性和极高的读写性能,因此完全可以用来替代 HDFS。但是数据平台整
    2021年12月20日 22:354