HBase压测 ycsb

news/2024/11/14 19:20:08 标签: hbase, python, 数据库
## ycsb 导入数据
root@XX.14.40.197


1、对portrait压测
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && chdir=/data/workspace/ycsb-0.17.0 nohup bin/ycsb load hbase20 -P workloads/workload_insert -cp /usr/local/fqlhadoop/hbase/conf -p table=usertable -p columnfamily=cf >> load_`date +'%Y%m%d_%H%M%S'`.log 2>&1 &"
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && /usr/java/default/bin/jps -l | grep Client | wc -l"
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && /usr/java/default/bin/jps -l | grep Client | awk '{print \$1}' | xargs kill -9" 
ansible hadoop -i hosts_hbase_portrait_20230730.txt -m shell -a "hostname && chdir=/data/workspace/ycsb-0.17.0 ls -lrt *202409*.log"


2、对portraitszl压测,部署ycsb
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "hostname"

ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m copy -a "src=/data/datamanager/deploy/roles/hadoop/files/jdk1.8.0_171.tar.gz dest=/usr/java/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "tar -zxvf /usr/java/jdk1.8.0_171.tar.gz -C /usr/java"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "rm -rf /usr/java/latest"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/java/ ln -s jdk1.8.0_171 latest"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "sed -i 's#jdk1.7.0_79#default#' /etc/profile"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "cat /etc/profile | grep JAVA_HOME"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "java -version"

ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "mkdir -p /usr/local/fqlhadoop/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m copy -a "src=/data/datamanager/deploy/roles/hbase/files/hbase-2.5.5.tar.gz dest=/usr/local/fqlhadoop/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/local/fqlhadoop/ tar -zxvf hbase-2.5.5.tar.gz"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/local/fqlhadoop/ ln -s hbase-2.5.5 hbase"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/usr/local/fqlhadoop/ ls -lrt"

ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "mkdir -p /data/workspace/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m copy -a "src=/data/datamanager/deploy/workspace/ycsb-0.17.0.tar.gz dest=/data/workspace/"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m command -a "chdir=/data/workspace/ tar -zxvf ycsb-0.17.0.tar.gz"
ansible hadoop -i hosts_hbase_ycsb_20241113.txt -m shell -a "hostname && chdir=/data/workspace/ycsb-0.17.0 nohup bin/ycsb load hbase20 -P workloads/workload_insert_query -cp /usr/local/fqlhadoop/hbase/conf -p table=usertable -p columnfamily=family >> load_`date +'%Y%m%d_%H%M%S'`.log 2>&1 &"

hbase建表语句
https://github.com/brianfrankcooper/YCSB/tree/master/hbase2


http://www.niftyadmin.cn/n/5752318.html

相关文章

前 K 个高频元素

前 K 个高频元素 ​ 给你一个整数数组 nums 和一个整数 k &#xff0c;请你返回其中出现频率前 k 高的元素。你可以按 任意顺序 返回答案。 示例 1: 输入: nums [1,1,1,2,2,3], k 2 输出: [1,2]示例 2: 输入: nums [1], k 1 输出: [1]提示&#xff1a; 1 < nums.le…

Hadoop生态圈框架部署(六)- HBase完全分布式部署

文章目录 前言一、Hbase完全分布式部署&#xff08;手动部署&#xff09;1. 下载Hbase2. 上传安装包3. 解压HBase安装包4. 配置HBase配置文件4.1 修改hbase-env.sh配置文件4.2 修改hbase-site.xml配置文件4.3 修改regionservers配置文件4.4 删除hbase中slf4j-reload4j-1.7.33.j…

力扣 LeetCode 242. 有效的字母异位词(Day3:哈希表)

解题思路&#xff1a; 哈希表三种数据结构的选择 1. 数组&#xff1a;适用于数据量小的情况 2. set&#xff1a;适用于数据量大的情况 3. map&#xff1a;适用于key-value 什么时候用哈希表&#xff1f; 给你一个元素&#xff0c;判断该元素在这个集合里是否出现过 本题使…

Windows快速部署并使用GitHub上Swift项目

1.科学上网 2.找到项目&#xff0c;release部分&#xff0c;下载最新版的ZIP文件&#xff0c;并且打开&#xff0c;解压。 3.打开cmd&#xff0c;使用你做项目用的虚拟环境&#xff0c;安装必须安装的包文件 pip install ms-swift[llm] -U 类似这样子唰唰唰一堆安装好之后&am…

Python 去除字符串中的emoji符号,及所有4字节utf8字符

起因 事出有因&#xff0c;最近使用 load data local infile 往 mysql 数据库表导入数据的时候&#xff0c;偶然发现有下列报错&#xff0c;导致数据导入失败&#xff1a; pymysql.err.OperationalError: (1300, "Invalid utf8 character string: xxx") 分析查看原…

DHCP协议配置的两种类型:端口模式 全局模式

DHCP协议配置的两种类型&#xff1a;端口模式 全局模式 本次实验模拟dhcp协议的端口模式配置和全局模式配置。 端口模式 sw1配置如下&#xff1a; <Huawei>sy [Huawei]sys sw1 [sw1]vlan batch 10 20 //批量创建vlan10 vlan20 [sw1]dhcp enable //使能dhcp [sw1]interf…

Spring Boot框架助力电商系统设计

2 相关技术 2.1 SpringBoot框架介绍 Spring Boot是一种不需要代码生成的一种框架&#xff0c;并且可以不需要配置任何的XML文件就可以&#xff0c;因为Spring Boot里面自带了很多接口&#xff0c;只需要配置不同的接口就会自动的应用并且识别需要的依赖&#xff0c;在配置方面非…

抖音小程序流程玩法全解析:庞大的用户数据算法,解锁广告点击率提升之道

抖音小程序作为抖音生态中重要的商业组成部分&#xff0c;其蕴含的潜力巨大。全面解析其流程玩法&#xff0c;并探索提升小程序广告点击率的方法&#xff0c;是每个希望在抖音平台上取得成功的运营者需要深入研究的课题。 抖音小程序的流程从创意构思开始。这需要对市场趋势和用…