HMaster页面上Regions In Transition部分有一个region一直处于transition状态，但是没有超时，而是不断重试，1s会重试4-5次，region信息 NS1:TB1,4120J5402AAD3N76TRTffUlocation1618464157000,1637905603483.47f541c30ccfd046c5366274fdf56e7d. master报错日志如下 2022-05-26 17:58:18,934 WARN org.apache.hadoop.hbase.ma…

1 冷热分离（Hot/Warm/Cold） Index Lifecircle Management Policy 索引特点 Hot: 索引被更新，大量被查询 Warm: 索引不更新，偶尔被查询 Cold: 索引不更新，很少被查询 Delete: 索引不更新，不被查询 参考：https://www.elastic.co/guide/en/elasticsearch/reference/7.0/index-lifecycle-management.html 根据索引特点，可以将es集群划分几个小集群： Hot集群：存放…

hdfs单个节点内多个磁盘不均衡时（比如新加磁盘），需要手工进行diskbalancer操作，命令如下 # hdfs diskbalancer -help plan usage: hdfs diskbalancer -plan <hostname> [options] Creates a plan that describes how much data should be moved between disks. --bandwidth <arg> Maximum disk bandwid…

Oozie4.3 一 简介     1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调度器 Overview Oozie is a workflow scheduler system to manage Apache Hadoop jobs. Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions. Oozie Co…

内部表和外部表最主要的一个差别就是删除表或者删除分区时，底层的文件是否自动删除，内部表会自动删除，外部表不会自动删除，所以基础数据表一定要用外部表，即使误删表或分区之后，还可以很容易的恢复回来。 虽然外部表可以恢复，但是逐个分区恢复也很累，如果你的分区很多，或者有多级分区的时候 alter table test_table add partition (partition_key='partition_value') 更简单的方式是执行 msck repair table test_table 一键恢复所有分区  

通过api调用marathon重启app后出现deployment，但是app不会重启，配置如下： "constraints": [ [ "hostname", "UNIQUE" ], [ "hostname", "LIKE", "HOST-00[12]" ] ] 指定app只能在2个服务器上启动，并且每个服务器只能启动1个instance， 解决方法如下： "upgradeStrategy": { "maximumOverCapacity": 1, "minimumHealthCapacity": 0.5 } 官…

最近提交一个spark应用之后发现执行非常慢，点开spark web ui之后发现卡在一个job的一个stage上，这个stage有100000个task，但是绝大部分task都分配到两个executor上，其他executor非常空闲，what happened？ 查看spark task分配逻辑发现，有一个data locality即数据本地性的特性，详见 https://www.cnblogs.com/barneywill/p/10152497.html即会按照locality级别的优先级来分配任务，数据本地…

impala2.12 官方：http://impala.apache.org/ 一 简介 Apache Impala is the open source, native analytic database for Apache Hadoop. Impala is shipped by Cloudera, MapR, Oracle, and Amazon. impala是hadoop上的开源分析性数据库；C++和java语言开发； Do BI-style Queries on Hadoop Impala provi…

docker 18.09 官方：https://docs.docker.com/   一 简介   Docker is a platform for developers and sysadmins to develop, deploy, and run applications with containers. The use of Linux containers to deploy applications is called containerization. Containers are not new,…

kudu加减数据盘不能直接修改配置fs_data_dirs后重启，否则会报错： Check failed: _s.ok() Bad status: Already present: FS layout already exists; not overwriting existing layout: FSManager roots already exist: /data0/kudu/data 官方解释如下： When Kudu starts, it checks each configured data direc…