1 hadoop-最全最完整的保姆级的java大数据学习资料 大数据技术解决的是什么问题？ 大数据技术解决的主要是海量数据的存储和计算。 Hadoop的广义和狭义之分 狭义的Hadoop:指的是一个框

导读： 今天为大家介绍京东零售大数据的云原生平台化实践，主要包括以下几大方面内容： 云原生的定义和理解 云原生相关技术的演化 京东大数据在云原生平台化上的实践 云原生应用平台的发展 分享嘉宾：刘仲伟

1.2 Hadoop简介 1.2.1 什么是Hadoop ​	Hadoop 是一个适合大数据的分布式存储和计算平台 ​	如前所述，狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的

1.3 Apache Hadoop的重要组成 Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块 Hadoop HDFS：（Ha

Redis简要知识点概括，看到就能回忆起相关内容为最妙~~ 一、写在前知识学了就忘！不用就忘！我太健忘！特此记录！用于复习打卡！Redis干就完事了！二、来辣！Redis做异步队列：一般list结构做队列，rpush生产消息，lpop消费消息，当lpop没有消息的时候，要适当sl ...

1.4 Apache Hadoop 完全分布式集群搭建 软件和操作系统版本 Hadoop框架是采用Java语言编写，需要java环境（jvm） JDK版本：JDK8版本 集群： 知识点学习：统一使用v

我国制造业拥有31个大类、179个中类和609个小类，是全球产业门类最齐全、产业体系最完整的制造业。二十大报告中强调：“坚持把发展经济的着力点放在实体经济上”“推动制造业高端化、智能化、绿色化发展”。

GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。 作者：王权富贵 1.概述 MySQL的分区表没有禁止

11章 并发数据 了解并发需要先了解的概念： 1.数据库是一个可以共享资源，可以多用户同时使用一个数据库，该数据库称为多用户数据库，如订票系统、银行系统 2.多事务执行方式： 1.事务串行执行 ： 务

作者：李浩 责编：宇亭 当我们选择一款 HTAP 数据库时，总是先被其相关文档里所描述的优异性能所吸引。卓越的性能是我们选择一款产品的出发点，因为我们希望该款产品能够解决我们业务中的痛点。而大家使用

摘要：糟糕，数据库异常不可用怎么办？挺着急的，在线等。 本文分享自华为云社区《糟糕，数据库异常不可用怎么办？》，作者：GaussDB 数据库。 随着数字化转型的加速，数据量爆发式增长，用户对数据库运维

缓存管理器CacheManager 一、背景 ​ 代码并发量因建行活动页上升，大量请求打到Mongo导致数据库cpu100%从而服务不可用，目前解决方案，使用编程式缓存，即对缓存的操作与业务代码耦合。

sysbench是一个开源的、基于LuaJIT（LuaJIT 是 Lua 的即时编译器，可将代码直接翻译成机器码，性能比原生 lua 要高） 的、可自定义脚本的多线程基准测试工具，也是目前用

1.5 HDFS分布式文件系统 1.5.1 HDFS 简介 HDFS（全称：Hadoop Distribute File System，Hadoop 分布式文件系统）是 Hadoop 核心组成，是分布

十七、插入数据 本章将介绍如何利用sql的INSERT语句将数据插入表中 数据插入 插入分为以下几种方式：插入完整的行、插入行的一部分、插入多行、插入某些查询结果 插入完整的行 INSERT INTO

1.5.4 HDFS 客户端操作 1.5.4.1 Shell 命令行操作HDFS 基本语法 ​	bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 命令大全 [root@l

作者：李玉亮 引言 数据库事务与大多数后端软件开发人员的工作密不可分，本文从事务理论、事务技术、事务实践等方面对常用的相关事务知识进行整理总结，供大家参考。 事务理论介绍 事务定义 在数据库管理系统中

数仓分层 |分层|全称|译名|说明|压缩|列式存储|分区| |-|-|-|-|-|-|-| |ODS|Operation Data Store|原始层|原始数据|✅|❌|✅| |DIM|Dimensi

摘要：本文主要为大家带来如何处理GaussDB CM服务异常问题。 本文分享自华为云社区《【实例状态】GaussDB CM服务异常》，作者：酷哥。 首先确认是否是虚拟机、网络故障，底层故障处理 PID

一、SQL与NoSQL ​	数据库服务端可以服务多种类型的客户端 ​	客户端可以是自己开发的，也可以是python代码编写的，也可以是其他编程语言编写的 SQL 操作关系型数据的语言 NoSQL 操作

分库分表，是企业里面比较常见的针对高并发、数据量大的场景下的一种技术优化方案，也是一个非常高频的面试题。但是，因为很多人其实并没有非常丰富的分库分表的经验，所以能把这个问题回答得比较好的人其实还挺少的

首发微信公众号：SQL数据库运维 原文链接：https://mp.weixin.qq.com/s?__biz=MzI1NTQyNzg3MQ==&mid=2247485212&idx=1

ChunJun（原FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018年4月，秉承着开源共享的理念，数栈技术团队在github上开源了FlinkX，承蒙各位开发

前几天，Gartner 发布了企业机构在2023年需要探索的十大战略技术趋势。 Gartner 杰出研究副总裁 Frances Karamouzis 表示：“为了在经济动荡时期增加企业机构的盈利，首席

DB4AI这个方向中，数据库通过集成AI能力，在用户进行AI计算时就可以避免数据搬运的问题。不同于其他的DB4AI框架，本次openGauss开源的原生框架是通过添加AI算子的方式完成数据库中的AI计

字符编码与配置文件 \s查看MySQL相关信息 相关信息有：当前用户、版本、编码、端口号 MySQL5.6及之前的版本编码需要人为统一 之后的版本已经全部默认统一 如果想要永久修改编码配置 需要操作配

我们将 身份验证 选择为 SQL Server 身份验证。输入刚刚创建的用户名和密码： 但是现在还是不能直接使用，因为权限问题。你会看到下面的错误提示框： 解决问题的方法

一、创建表的完整语法 1、创建表的语法 create table 表名( ​ 字段名1 字段类型(数字) 约束条件, ​ 字段名2 字段类型(数字) 约束条件， ​ 字段名3 字段类型(数字) 约束条

在进行对接数据时，经常会遇到对接的是接口数据。 关于在对接接口类型的数据，数据返回的为json数组形式的数据，需要讲数组先解析出来，主要是通过 jsonpath 表达式 。 jsonpath

学习思路： 1.需求是什么？ 2.方案是什么？ 3.逻辑是什么？ 4.开发中的问题？怎么解决？ 整体流量概况： 1.累计用户量 2.每日新增用户量 3.每日的访问人数、次数 4.每日的全部访问人均次数

Pandas灵活强大，是数据分析必备工具库！但处理大型数据集时，需过渡到PySpark才可以发挥并行计算的优势。本文总结了Pandas与PySpark的核心功能代码段，掌握即可丝滑切换。

摘要：DWS的负载管理分为两层，第一层为cn的全局并发控制，第二层为资源池级别的并发控制。 本文分享自华为云社区《GaussDB(DWS) 并发管控&内存管控》，作者： fighttingma

Flink的API分层 注：越底层API越灵活，越上层的API越轻便 Stateful Stream Processing • 位于最底层， 是core API 的底层实现 • processFunc

Python基础之MySQL数据库 一、约束概述 1、为什么要约束 ​	为了防止数据库中存在不符合语义规定的数据和防止错误信息的输入、输出造成无效的操作而提出的 ​	为了保证数据的完整性，SQL规范以

一、什么是数据湖？ 在探讨数据湖技术或如何构建数据湖之前，我们需要先明确，什么是数据湖？ 数据湖的起源，应该追溯到2010年10月。基于对半结构化、非结构化存储的需求，同时为了推广自家的Pentaho

采集字段：标题、咨询内容 l 采集网站​【场景描述】采集猫眼电影热门资讯数据。【源网站介绍】猫眼电影为用户提供热点影视资讯，新闻资讯，让用户能够提前了解当下即将上映的电影信息。【使用工具】前嗅ForeSpider数据采集系统，免费下载:ForeSpider免费版本下载地址【入 ...

一、Installing ClickHouse-22.10.2.11 on openEuler 1 地址 https://clickhouse.com https://packages.clickho

SingleStore（前身 MemSQL）是一个为数据密集型应用设计的云原生数据库。它是一个分布式的关系型 SQL 数据库管理系统（RDBMS），具有 ANSI SQL 支持，它以数据摄入、交易处理

1.从官网下载 官网下载对应版本 https://www.elastic.co/cn/downloads/past-releases#kibana 2.解压缩 tar -xvf kibana-7.15

引子 在使用events_statements_current的过程中发现，同一线程在同一时刻，可能有多条记录，与直观感觉不太一样，于是跟踪了一下内部实现，有了本文。 STATEMENT STACK的

​摘要：账本数据库融合了区块链思想，将用户操作记录至两种历史表中：用户历史表和全局区块表。 本文分享自华为云社区《openGauss账本数据库，你不知道的那些事儿》，作者：Gauss松鼠会。 账本数据

近年来，凭借高可扩展、高可用等技术特性，分布式数据库正在成为金融行业数字化转型的重要支撑。分布式数据库如何在不同的金融级应用场景下，在确保数据一致性的前提下，同时保障系统的高性能和高可扩展性，是分布式

摘要：数据加密作为有效防止未授权访问和防护数据泄露的技术，在各种信息系统中广泛使用。作为信息系统的核心，GaussDB(DWS)数仓也提供数据加密功能，包括透明加密和使用SQL函数加密。 本文分享自华

现在要是说mysql是什么东西，就不礼貌了 虽然有的同学没有进行系统的深入学习，但应该也有个基本概念 【不了解也没关系，后续会进行mysql专栏讲解】简单来说，存储数据的 学习mysql，就要先安装它

Babelfish是在PostgreSQL的基础之上实现了类似Microsoft SQL Server部分功能。为了实现这个目标，PostgreSQL核心内部的几个部分必须被修改。PostgreSQL

Babelfish for PostgreSQL开源已快一月，不过全网还没有实践者总结。今天我们就测试看看，Babelfish到底是如何部署与使用的！

最近，我们袋鼠云的UED部⻔小伙伴们，不声不响地⼲了⼀件⼤事——升级了全新设计语言「数栈UI5.0」。 众所周知，用户在使用产品时，是一个动态的过程，用户和产品之间进行交互的可用性，能否让用户愉悦、快

摘要：一文带你细数几种ETCD服务异常实例状态。 本文分享自华为云社区《【实例状态】GaussDB ETCD服务异常》，作者：酷哥 。 首先确认是否是虚拟机、网络故障 虚拟机故障导致ETCD服务异常告

一、前言 ChunJun（原FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如 MySQL，HDFS 等，也可以采集实时变化的数据，比如 b

摘要：先通过OPS确认节点状态是否已经恢复，或登录后台执行cm_ctl query -Cv确认集群是否已经Normal。 本文分享自华为云社区《【实例状态】GaussDB CN服务异常》，作者：酷哥。

1 前言 ElasticSearch是一个实时的分布式搜索与分析引擎，常用于大量非结构化数据的存储和快速检索场景，具有很强的扩展性。纵使其有诸多优点，在搜索领域远超关系型数据库，但依然存在与关系型数据

摘要：本文讲解了GaussDB(DWS)上模糊查询常用的性能优化方法，通过创建索引，能够提升多种场景下模糊查询语句的执行速度。 本文分享自华为云社区《GaussDB(DWS) 模糊查询性能优化》，作者

数据库用户通常依赖隔离级别来确保数据一致性，但很多数据库却并未达到其所表明的级别。主要原因是：一方面，数据库开发者对各个级别的理解有细微差异；另一方面，实现层面没有达到理论上的要求。 用户在使用或开发

11月11日，腾讯云数据库与金蝶云 · 苍穹发布“国产数据库联合解决方案”，腾讯云数据库全面支持苍穹平台的技术与应用设计，通过一体化的“PaaS+SaaS”解决方案，一站式解决企业国产化难题

项目中需要计算使用年限，按月份算。刚开始踩了坑，不足1年应该按1年算。记录下~ 和当前时间比较，用DATEDIFF函数DateDiff(month,比较的时间,getdate())先算出月份，再除以1

GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。 作者： 好好先生 一、问题引入 今天遇到一个很奇怪的

简述 CloudCanal除了提供最核心的数据迁移和同步能力以外，还提供数据校验和数据订正两种非常实用的能力。这两种功能为用户保障数据迁移同步链路的数据质量提供了非常大的便利性。例如对端数据库因为各种

首发微信公众号：SQL数据库运维 原文链接：https://mp.weixin.qq.com/s?__biz=MzI1NTQyNzg3MQ==&mid=2247485212&idx=1

ElasticSearch 常见问题 丈夫有泪不轻弹，只因未到伤心处。 1、说说 es 的一些调优手段。 仅索引层面调优手段： 1.1、设计阶段调优 （1）根据业务增量需求，采取基于日期模板创建索引，

一、什么是 SQLite 数据库 SQLite 是嵌入式SQL数据库引擎。与大多数其他 SQL 数据库不同，SQLite 没有单独的服务器进程。SQLite 直接读取和写入普通磁盘文件。具有多个表，索