一、目的

调研体验鹏云块存储系统（开源版本） https://github.com/zettastor/dbs 并且进行相关性能测试和异常测试
对比Curve块存储，包括特性支持以及大小io的性能

二、鹏云存储系统（开源版本）流程体验

部署

按照鹏云提供的文档进行了操作系统的重装CentOS 7 (没有提供别的OS的支持，可能有售卖的产品形态有关)

问题：

无法完成多节点元数据库（高可靠）的安装部署，后续使用single模式元数据来运行
部署脚本存在错误，已有人提了issue，是同一个问题
ssh要求使用用户名/账户来登录，不安全，并且解析的脚本存在问题，密码无法带空格，没有看到可以指定ssh port的地方
部署脚本无法正确的清理部署失败的环境，需要手动介入，无文档，全靠猜加运气

使用挂载

web控制台使用体验不错，可以顺利完成添加节点（需要机器已有服务进程），添加硬盘，创建存储域/存储池/存储卷
只能使用控制台来进行操作，无法脱离控制台在terminel直接交互，效率很低，比方说挂载10个卷到机器上需要手点三十多次，一次挂载可能需要点三四次
可以使用提供的2种挂载方式挂载，包括iscsi和pyd内核ko，但是实际走的都还是需要走一个driver进程，内核的ko那个其实意义不大
挂载后在fio测试中遭遇过fio hang住，集群崩溃的情况，无法复现，原因未知
提供了基本的权限控制，qos等功能

一些运维和操作尝试

官网没有提供运维文档，基本的重启服务等操作都不知道如何完成
试图在页面缩容（从存储池删除一个盘），好像什么也没有发生，底下无io，不知道该如何触发数据的迁移
使用megacli删除硬盘，再添加回来会导致集群异常，不知道如何修复

关键feature提供情况（对比curve）

功能	鹏云开源	CurveBS
多os适配	不支持，需要修改，可能与产品售卖形态有关	支持
web页面访问和控制	有	无，在开发，监控可用普罗米修斯接入
命令行访问和控制	无	有
存储域、存储池、存储节点、存储盘的管理（增/减）	有	可以在保证三副本的情况下缩容，已有pool无法扩容盘和节点
支持的数据副本策略	两副本，三副本，三副本（可靠）	三副本
卷的创建删除	支持，可选择存储域和存储池位置（即物理节点和硬盘范围）	支持，不可选择存储池位置，条带卷需要额外设置参数
卷的扩缩容	支持扩容	支持
卷的快照及克隆	不支持	支持
卷的挂载协议支持	iscsi和私有pyd协议，支持多挂载，支持CHAP认证和用户认证	iscsi和私有curve协议，支持多挂载
卷的访问控制	CHAP认证；控制用户和节点	不支持
卷的QoS	可设置总iops和总带宽；可以限定时间段进行设置	可以单独设置读写iops和读写带宽
web端操作日志审计	支持	无
web端用户管理	支持，并且支持细分权限的设置	无

整体感受

系统部署和清理体验糟糕
web控制台基本功能体验良好
运维缺乏文档，开源版体验糟糕

三、性能对比测试

测试环境说明

3台服务器，配置如下：

DELL PowerEdge R730xd 处理器：Intel(R) Xeon(R) CPU E5-2670 v3 @ 2.30GHz *2 (24c48t)
RAID控制器：DELL PERC H730 Mini
内存：256G
网卡：20G
硬盘：INTEL S3510 1.6T SATA SSD (SSDSC2BB016T6) *10
测试硬盘使用相同的单盘RAID0，WRITE THROUGH，ADRA模式，关闭磁盘缓存

操作系统信息如下：

# cat /etc/redhat-release CentOS Linux release 7.7.1908 (Core) # uname -a Linux server041 3.10.0-1062.el7.x86_64 #1 SMP Wed Aug 7 18:08:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux

测试方案说明

创建5个105G的卷，先完整写入100G，然后以下几组测试：

4k单卷：不同iodepth（1，4，16，64，128，256）的随机读写
4k多卷：固定iodepth为128时的2，3，4，5卷的随机读写
512k单卷：不同iodepth（1，4，16，64，128，256）的顺序读写
512k多卷：固定iodepth为128时的2，3，4，5卷的顺序读写

鹏云dbs使用fio libaio+iscsi挂载，curvebs使用fio的cbd引擎

每组测试的每个case运行10分钟，进行下一个测试，测试连续运行，一轮大约8小时

curve为4MB*8的条带卷

提示1：读性能的数据受到测试数据量和缓存的影响，相比正常值会偏高，仅供参考

提示2：单盘RAID0，WRITE THROUGH，ADRA模式磁盘整体性能不是最佳设定，这里

由于测试时间关系和前后保持一致，沿用这个设置，具体情况可以参考文章 #todo

测试中主要关注以下指标：

4k随机读写的iops最小/最大/平均值以及时延的平均值/99th值/90th值
512k顺序读写的带宽最小/最大/平均值

测试结果

4k单卷写

curve性能略优于dbs

software	iodepth	iops_min	iops_max	iops_avg	clat_avg_us	clat90th	clat99th
dbs	1	933	1809	1400	596	717	873
curve	1	515	1188	1115	887	930	1237
dbs	4	5823	9419	7898	429	469	693
curve	4	4890	5866	5591	709	717	963
dbs	16	16430	26731	21126	607	701	1418
curve	16	19390	21796	20763	764	766	1090
dbs	64	26217	50000	35714	1394	1827	3425
curve	64	19114	46822	45283	1403	1418	4752
dbs	128	14158	58067	34047	3010	10945	20841
curve	128	34914	48262	47416	2689	2704	7832
dbs	256	16906	60712	42719	5970	7000	30000
curve	256	36462	48314	47678	5358	5342	10683

dbs直接管理裸盘，单深度的io延迟比较低，但是压力增大后呈现出了延迟波动大的状况，可能与一个节点一个datanode管理所有的硬盘，以及java代码的gc（观察日志，有时候gc会到几百毫秒甚至秒级）有一定关联。

并且在测试中发现，dbs的segment的分配不均匀，会出现有的硬盘io为0的情况，不知道如何改善，多卷也存在这样的情况。看控制台能看到有的盘分配较少，有的较多，在集群大规模下可能情况会有一定的改善。

4k多卷写

4k多卷性能curve优于dbs，dbs在高压力下呈现出很奇怪的状态，性能会下降，多卷写测试是在单卷后紧跟着运行的，可能是单卷测试运行对java程序累积的压力，包括gc、缓存等，以及前面说的有的硬盘io为0的情况。

512k单卷写

512k多卷写

4k单卷读

4k多卷读

512k单卷读

512k多卷读

因为测试数据量比较有限，读测试跑的久一点之后基本就是读缓存了，大io顺序读下差不多，小io大iops下鹏云的性能较差，可能原因有直接管理裸盘和自身缓存大小/策略，鹏云datanode进程内存一般固定在47g左右。

四、异常测试

主要测试了常见的坏盘和节点异常场景

坏盘：使用megacli直接删除vd来模拟的
- 鹏云：抖动1s
- curve：抖动1s
机器hang住：使用给进程发SIGSTOP来模拟
- 鹏云：抖动1s
- curve：抖动1s

技术

基于ChatGPT的code review机器人试用体验

Posted on 2023-03-03 by aspirer

经组内同学孙中夏推荐，今天在Curve代码库试用了一个基于ChatGPT的代码review机器人，github地址：https://github.com/anc95/ChatGPT-CodeReview

具体的执行流程和算法原理我没研究，应该也研究不明白，这里就讲讲怎么在GitHub仓库上配置这个bot，以及实际的review效果如何。

ps. OpenAI的key是杭研AI团队提供的，感谢支持~

部署配置

参考https://github.com/anc95/ChatGPT-CodeReview#usage这里的描述即可：

安装这个bot的GitHub APP
安装好之后，在这个APP页面点“Configure”
选择你要应用到的账号及代码仓库，注意你要有代码库的管理员权限
之后进入到代码库的主页，进入“Settings”标签
进入“Secrets and variables” — “Actions”
注意切换到“variables” tab项，再点“New repository variable”
填入name和value，name是“OPENAI_API_KEY”，value就是openai的key了

ps. 我用的是GitHub app方案，不是GitHub action，试了action方案没跑起来，有懂行的可以给点指导。

试用效果

尝试创建一个pull request，比如：

Curve代码库（C++语言）：https://github.com/aspirer/curve/pull/3
CurveAdm代码库（golang语言）：https://github.com/aspirer/curveadm/pull/1

PR创建完成后，稍等片刻，就可以看到cr-bot开始review代码了。

单就review效率来说，比人工评审代码要快太多倍了，我上面两个提交都是直接从一个分支合并到另外一个，代码改动量很大，但是cr-bot还是几分钟就搞定了，人工的话估计得好几天还不一定review的很细致。

review效果感受

大家可以自行去查看上面两个测试PR的review效果，我这里截图几个我觉得有代表意义的代码review结果。

https://github.com/opencurve/curveadm/pull/191/files

上面这个pr，是我去年提交的（golang我只看过基本语法，第一次写实际代码，所以请忽略我粗鄙的编码），这次重新提交一下看看ChatGPT code review bot的效果，可以看出，他指出了我代码里很多问题，其中第3条，是有一个外部curve用户实际遇到过的偶发问题（执行命令卡很久才返回），我自己怎么测都跑不出来，用户那边几乎必现，后来还是组内golang高手小伙伴重构了这段代码才解决。其他几点问题也都是非常有参考价值的。

https://github.com/aspirer/curveadm/pull/1/files#r1123991358

这个评审意见不需要解释，还是比较有效的。

https://github.com/aspirer/curve/pull/3/files#r1124018613

配置项也能review：

https://github.com/aspirer/curve/pull/3/files#r1124017844

增加简单功能的commit可以理解代码意图，这一点还是很不错的。

总体来说，还是有不少帮助作用的，至少可以让人工评审节省不少时间，比如bot可以辅助解释新提交代码的作用，指出常见错误，给出改进建议等。

如果配合ChatGPT的交流窗口，把有问题的代码片段再次单独交给他评审，可能会有更多的收获：

更多细节可以翻阅上面给到的两个测试PR的review记录。

不足之处

多次提交同样的代码，每次给出的review结果是不相同的，可能某次的评审建议是相对更合理且全面的，其他的几次不一定，或许需要多给他review几次，然后再综合几次的评审意见进行代码评估
无法完整的理解某个大的功能特性的设计方案和实现思路，打个形象的比方，就是组内A同学从来没有参加过功能点X的方案设计和评审工作（主要由B同学负责），然后让A同学直接去review B同学提交的代码，就有类似的效果，只能理解函数或代码片段，没有全局意识
个别review建议可能不一定正确，需要再进行人工判断，这一点也类似人工review，代码评审人提的建议也不一定是正确的
太长的新增的源文件，好像会无法评审
如果没有别的建议，bot会给出一堆通用建议，比如增加UT用例、lint检查、注释、log等等，这一点其实也不能说是不足吧

技术

使用Python+selenium抓取职位和公司信息

Posted on 2023-02-28 by aspirer

做这个事情的目的是，想看下全国和江浙沪宁，招聘ceph、块存储相关职位的公司有哪些，再分析下其中哪些公司可以尝试联系起来，看看是否有兴趣用curve。

一开始想着用requests或者更专业的scrapy写爬虫脚本，但是试了requests库之后，发现啥也抓不到，被网站反爬虫了。。。

只能试着用selenium来弄，好几年没用它了，有点生了，折腾了大半天才算能凑合用。

selenium需要自己pip安装，chromedriver需要自己下载：https://sites.google.com/chromium.org/driver/home

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

# 职位关键词
JOB = "块存储"

# 保存的文件名
file_name = "companys-%s.csv" % JOB
csv = open(file_name, 'w+')
csv.write('职位名称,公司名称,公司类型,融资情况,公司规模\n')  # 标题栏

# Create an instance of Chrome WebDriver
browser = webdriver.Chrome('./chromedriver')

'''  地区编码：
全国:410
上海:020
杭州:070020
苏州:060080
南京:060020
'''
CITYS = ["410", "020", "070020", "060080", "060020"]
PAGES = 10  # 最多抓取几页内容，貌似猎聘默认最多10页
WAIT_PAGE_SEC = 5  # 等待网页刷新完成时间，其实还有一个函数可以用来检查页面是否刷新完毕，懒得改了

for CITY in CITYS:
    URL = 'https://www.liepin.com/zhaopin/?city=%s&dq=%s&pubTime=&currentPage=0&pageSize=40&key=%s' % (CITY, CITY, JOB)
    browser.get(URL)

    count = 0
    while (count < PAGES):
        count += 1
        time.sleep(WAIT_PAGE_SEC)

        job_list = browser.find_element(By.CLASS_NAME, "job-list-box")
        job_titles = job_list.find_elements(By.CLASS_NAME, "job-title-box")  # 职位标题
        titles = [j.text.replace('\n', '') for j in job_titles]
        com_info_box = job_list.find_elements(By.CLASS_NAME, "job-company-info-box") # 公司信息列表
        i = 0
        for com in com_info_box:  # 遍历公司列表
            com_name = com.find_element(By.CLASS_NAME, "company-name").text  # 公司名称
            com_tags = com.find_elements(By.CLASS_NAME, "company-tags-box")  # 公司标签

            tags = com_tags[0].find_elements(By.TAG_NAME, 'span')
            com_tag = [tag.text for tag in tags]
            if len(com_tag) == 3:   # 有无融资情况标签
                line = ','.join(com_tag)
            else:
                line = ', ,'.join(com_tag)

            line = titles[i] + ',' + com_name + ',' + line + '\n'  # 一条完整的公司信息
            i += 1

            csv.write(line)  # 保存到文件

        button = browser.find_elements(By.CLASS_NAME, "ant-pagination-item-link")[-1]
        if button.is_enabled():  # 是否可以点下一页，也就是是否职位已经展示完了
            button.click()
        else:
            print("该区域所有职位已遍历完！\n")
            break

csv.close()
browser.quit()
print("正常结束！\n")

import time

from selenium import webdriver

from selenium.webdriver.common.by import By

# 职位关键词

JOB = "块存储"

# 保存的文件名

file_name = "companys-%s.csv" % JOB

csv = open(file_name, 'w+')

csv.write('职位名称,公司名称,公司类型,融资情况,公司规模\n') # 标题栏

# Create an instance of Chrome WebDriver

browser = webdriver.Chrome('./chromedriver')

''' 地区编码：

全国:410

上海:020

杭州:070020

苏州:060080

南京:060020

'''

CITYS = ["410", "020", "070020", "060080", "060020"]

PAGES = 10 # 最多抓取几页内容，貌似猎聘默认最多10页

WAIT_PAGE_SEC = 5 # 等待网页刷新完成时间，其实还有一个函数可以用来检查页面是否刷新完毕，懒得改了

for CITY in CITYS:

URL = 'https://www.liepin.com/zhaopin/?city=%s&dq=%s&pubTime=&currentPage=0&pageSize=40&key=%s' % (CITY, CITY, JOB)

browser.get(URL)

count = 0

while (count < PAGES):

count += 1

time.sleep(WAIT_PAGE_SEC)

job_list = browser.find_element(By.CLASS_NAME, "job-list-box")

job_titles = job_list.find_elements(By.CLASS_NAME, "job-title-box") # 职位标题

titles = [j.text.replace('\n', '') for j in job_titles]

com_info_box = job_list.find_elements(By.CLASS_NAME, "job-company-info-box") # 公司信息列表

i = 0

for com in com_info_box: # 遍历公司列表

com_name = com.find_element(By.CLASS_NAME, "company-name").text # 公司名称

com_tags = com.find_elements(By.CLASS_NAME, "company-tags-box") # 公司标签

tags = com_tags[0].find_elements(By.TAG_NAME, 'span')

com_tag = [tag.text for tag in tags]

if len(com_tag) == 3: # 有无融资情况标签

line = ','.join(com_tag)

else:

line = ', ,'.join(com_tag)

line = titles[i] + ',' + com_name + ',' + line + '\n' # 一条完整的公司信息

i += 1

csv.write(line) # 保存到文件

button = browser.find_elements(By.CLASS_NAME, "ant-pagination-item-link")[-1]

if button.is_enabled(): # 是否可以点下一页，也就是是否职位已经展示完了

button.click()

else:

print("该区域所有职位已遍历完！\n")

break

csv.close()

browser.quit()

print("正常结束！\n")

输出结果大概长这样：

职位名称,公司名称,公司类型,融资情况,公司规模
Ceph专家【北京-海淀区】,浪潮云服务,IT服务, ,2000-5000人
ceph运维工程师【深圳】,云天畅想,云计算/大数据,C轮,100-499人
ceph存储研发工程师/专家【上海】,头部云厂商,互联网/电商, ,5000-10000人
Ceph研发工程师【深圳】,中盛瑞达,计算机软件,融资未公开,100-499人
ceph分布式存储研发工程师【深圳】,云天畅想,云计算/大数据,C轮,100-499人

职位名称,公司名称,公司类型,融资情况,公司规模

Ceph专家【北京-海淀区】,浪潮云服务,IT服务, ,2000-5000人

ceph运维工程师【深圳】,云天畅想,云计算/大数据,C轮,100-499人

ceph存储研发工程师/专家【上海】,头部云厂商,互联网/电商, ,5000-10000人

Ceph研发工程师【深圳】,中盛瑞达,计算机软件,融资未公开,100-499人

ceph分布式存储研发工程师【深圳】,云天畅想,云计算/大数据,C轮,100-499人

技术

本博客访问域名开启HTTPS

Posted on 2022-12-15 by aspirer

使用certbot进行免费域名SSL证书的申请和更新。

因为我的os版本比较低，所以是用snap进行安装，高版本的Ubuntu系统可以直接apt install certbot就能安装了。

apt install  snapd
snap install certbot
snap install --classic certbot
/snap/bin/certbot 
ln -s /snap/bin/certbot /usr/bin/certbot
which certbot 
certbot --nginx  # 生成证书并更新到Nginx配置文件
less /etc/nginx/sites-enabled/default  # 检查是否生成了ssl相关配置，可以搜索Certbot关键字

apt install snapd

snap install certbot

snap install --classic certbot

/snap/bin/certbot

ln -s /snap/bin/certbot /usr/bin/certbot

which certbot

certbot --nginx # 生成证书并更新到Nginx配置文件

less /etc/nginx/sites-enabled/default # 检查是否生成了ssl相关配置，可以搜索Certbot关键字

最后配置定时任务crontab，定期执行certbot renew操作即可定期更新域名证书。

然后就可以使用https访问域名了，http也会默认跳转到https。

技术

100. 相同的树

Posted on 2022-11-21 by aspirer

题目链接：https://leetcode.cn/problems/same-tree/

自己写了一个，用递归遍历，同步记录遍历的节点到vector，空节点用比较大的负数表示，但是会重复遍历一些子节点（虽然也能正确判断两棵树是否相同）。下面这个是官方答案。另外我也尝试用循环遍历，但是记错了，用了stack，而不是queue。空了试下queue。

/**
 * Definition for a binary tree node.
 * struct TreeNode {
 *     int val;
 *     TreeNode *left;
 *     TreeNode *right;
 *     TreeNode() : val(0), left(nullptr), right(nullptr) {}
 *     TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}
 *     TreeNode(int x, TreeNode *left, TreeNode *right) : val(x), left(left), right(right) {}
 * };
 */
class Solution {
public:

    bool isSameTree(TreeNode* p, TreeNode* q) {
        if (p == nullptr && q == nullptr) {
            return true;
        } else if (p != nullptr && q != nullptr) {
            if (p->val != q->val) {
                return false;
            } else {
                return isSameTree(p->left, q->left) && isSameTree(p->right, q->right);
            }
        } else {
            return false;
        } 
    }
};

/**

* Definition for a binary tree node.

* struct TreeNode {

* int val;

* TreeNode *left;

* TreeNode *right;

* TreeNode() : val(0), left(nullptr), right(nullptr) {}

* TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}

* TreeNode(int x, TreeNode *left, TreeNode *right) : val(x), left(left), right(right) {}

* };

class Solution {

public:

bool isSameTree(TreeNode* p, TreeNode* q) {

if (p == nullptr && q == nullptr) {

return true;

} else if (p != nullptr && q != nullptr) {

if (p->val != q->val) {

return false;

} else {

return isSameTree(p->left, q->left) && isSameTree(p->right, q->right);

}

} else {

return false;

}

};

技术

98. 验证二叉搜索树

Posted on 2022-11-17 by aspirer

题目链接：https://leetcode.cn/problems/validate-binary-search-tree/

没能把中序遍历和搜索二叉树联系起来，看的评论区题解。

/**
 * Definition for a binary tree node.
 * struct TreeNode {
 *     int val;
 *     TreeNode *left;
 *     TreeNode *right;
 *     TreeNode() : val(0), left(nullptr), right(nullptr) {}
 *     TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}
 *     TreeNode(int x, TreeNode *left, TreeNode *right) : val(x), left(left), right(right) {}
 * };
 */
class Solution {
public:
    long long  pre = (long long)INT_MIN - 1;
    bool middle_first(TreeNode* root) {
        if (!root) {
            return true;
        }
        bool l, r;
        l = middle_first(root->left);
        
        if (pre >= root->val) {
            return false;
        }
        pre = root->val;
        cout << root->val << ", ";
        r = middle_first(root->right);

        return l & r;
    }

    bool isValidBST(TreeNode* root) {
        if (!root) {
            return true;
        }
        return middle_first(root);

    }
};

/**

* Definition for a binary tree node.

* struct TreeNode {

* int val;

* TreeNode *left;

* TreeNode *right;

* TreeNode() : val(0), left(nullptr), right(nullptr) {}

* TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}

* TreeNode(int x, TreeNode *left, TreeNode *right) : val(x), left(left), right(right) {}

* };

class Solution {

public:

long long pre = (long long)INT_MIN - 1;

bool middle_first(TreeNode* root) {

if (!root) {

return true;

}

bool l, r;

l = middle_first(root->left);

if (pre >= root->val) {

return false;

}

pre = root->val;

cout << root->val << ", ";

r = middle_first(root->right);

return l & r;

}

bool isValidBST(TreeNode* root) {

if (!root) {

return true;

}

return middle_first(root);

}

};

生活

谁是最亲近的人？

Posted on 2022-11-11 by aspirer

记不清从啥时候开始，只有我老婆记得我的生日。农历生日，真是记不住，连我自己也都不知道农历是什么日子。

犹记得18周岁生日那天在大学宿舍听收音机（是的，收音机，暴露年龄了），广播里的主播说今天是光棍节（11.11，也就是现在的双11），那是我第一次知道还有光棍节这个说法，本来以为4个1，好兆头啊。当时也正被感情困扰（不过单相思罢了），以为这辈子就是光棍命了。

幸好老天眷顾，在研究生快毕业的时候遇到了现在的老婆，还算顺利的过了11年。这几年聚少离多，但感情还算不错，日子也能过得下去（除了俩儿子有点气人）。

希望以后的日子全家人也平平安安，健健康康，顺顺利利。

我老婆常说，孩子长大了就不是自己的了，是他们自己一家子的，只有夫妻才是同路人。

技术

95. 不同的二叉搜索树 II

Posted on 2022-11-10 by aspirer

题目链接：https://leetcode.cn/problems/unique-binary-search-trees-ii/

这题不会，直接看的题解。

/**
 * Definition for a binary tree node.
 * struct TreeNode {
 *     int val;
 *     TreeNode *left;
 *     TreeNode *right;
 *     TreeNode() : val(0), left(nullptr), right(nullptr) {}
 *     TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}
 *     TreeNode(int x, TreeNode *left, TreeNode *right) : val(x), left(left), right(right) {}
 * };
 */
class Solution {
public:
    vector<TreeNode*> genTrees(int start, int end) {
        if (start > end) {
            return { nullptr };
        }
        vector<TreeNode*> res;
        for (int i = start; i <= end; i++) {
            vector<TreeNode*> leftTrees = genTrees(start, i - 1);
            vector<TreeNode*> rightTrees = genTrees(i + 1, end);

            for (auto &left : leftTrees) {
                for (auto &right : rightTrees) {
                    TreeNode* root = new TreeNode(i);
                    root->left = left;
                    root->right = right;
                    res.emplace_back(root);
                }
            }
        }
        return res;
    }

    vector<TreeNode*> generateTrees(int n) {
        if (n <= 0) {
            return {};
        }
        return genTrees(1, n);
    }
};

/**

* Definition for a binary tree node.

* struct TreeNode {

* int val;

* TreeNode *left;

* TreeNode *right;

* TreeNode() : val(0), left(nullptr), right(nullptr) {}

* TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}

* TreeNode(int x, TreeNode *left, TreeNode *right) : val(x), left(left), right(right) {}

* };

class Solution {

public:

vector<TreeNode*> genTrees(int start, int end) {

if (start > end) {

return { nullptr };

}

vector<TreeNode*> res;

for (int i = start; i <= end; i++) {

vector<TreeNode*> leftTrees = genTrees(start, i - 1);

vector<TreeNode*> rightTrees = genTrees(i + 1, end);

for (auto &left : leftTrees) {

for (auto &right : rightTrees) {

TreeNode* root = new TreeNode(i);

root->left = left;

root->right = right;

res.emplace_back(root);

}

return res;

}

vector<TreeNode*> generateTrees(int n) {

if (n <= 0) {

return {};

}

return genTrees(1, n);

}

};

技术

立个flag

Posted on 2022-11-07 by aspirer

感觉不把flag立起来就一直不能静下心来动手写代码，先立起来，看看啥时候能搞定：

先写一个brpc的服务，学一学brpc怎么玩的，最简单的实现一个http服务（get、post）
再写一个braft应用，在多个节点上实现一个分布式的id查询和自增服务

2022-11-09

下载brpc代码库，v1.3版本分支，Ubuntu 22.04上完成编译，完成echo_c++ example代码编译和运行。下一步适当修改，改造成一个http的服务。

2022-11-11

简单改了下Echo示例代码，加了个rpc参数，表示消息长度，改成了http协议：

~/incubator-brpc/example/echo_c++$ git diff
diff --git a/example/echo_c++/client.cpp b/example/echo_c++/client.cpp
index 337aa6e9..0df24399 100644
--- a/example/echo_c++/client.cpp
+++ b/example/echo_c++/client.cpp
@@ -23,8 +23,7 @@
 #include <brpc/channel.h>
 #include "echo.pb.h"
 
-DEFINE_string(attachment, "", "Carry this along with requests");
-DEFINE_string(protocol, "baidu_std", "Protocol type. Defined in src/brpc/options.proto");
+DEFINE_string(protocol, "http", "Protocol type. Defined in src/brpc/options.proto");
 DEFINE_string(connection_type, "", "Connection type. Available values: single, pooled, short");
 DEFINE_string(server, "0.0.0.0:8000", "IP Address of server");
 DEFINE_string(load_balancer, "", "The algorithm for load balancing");
@@ -64,12 +63,10 @@ int main(int argc, char* argv[]) {
         example::EchoResponse response;
         brpc::Controller cntl;
 
-        request.set_message("hello world");
+        request.set_message("hello server123");
+        request.set_length(strlen("hello server123"));
 
         cntl.set_log_id(log_id ++);  // set by user
-        // Set attachment which is wired to network directly instead of 
-        // being serialized into protobuf messages.
-        cntl.request_attachment().append(FLAGS_attachment);
 
         // Because `done'(last parameter) is NULL, this function waits until
         // the response comes back or error occurs(including timedout).
@@ -77,8 +74,8 @@ int main(int argc, char* argv[]) {
         if (!cntl.Failed()) {
             LOG(INFO) << "Received response from " << cntl.remote_side()
                 << " to " << cntl.local_side()
-                << ": " << response.message() << " (attached="
-                << cntl.response_attachment() << ")"
+                << ": " << response.message() << " (length="
+                << response.length() << ")"
                 << " latency=" << cntl.latency_us() << "us";
         } else {
             LOG(WARNING) << cntl.ErrorText();
diff --git a/example/echo_c++/echo.proto b/example/echo_c++/echo.proto
index 2b39627f..8851b2e2 100644
--- a/example/echo_c++/echo.proto
+++ b/example/echo_c++/echo.proto
@@ -22,10 +22,12 @@ option cc_generic_services = true;
 
 message EchoRequest {
       required string message = 1;
+      required int32 length = 2;
 };
 
 message EchoResponse {
       required string message = 1;
+      required int32 length = 2;
 };
 
 service EchoService {
diff --git a/example/echo_c++/server.cpp b/example/echo_c++/server.cpp
index 41ffd0b1..549737f8 100644
--- a/example/echo_c++/server.cpp
+++ b/example/echo_c++/server.cpp
@@ -22,7 +22,6 @@
 #include <brpc/server.h>
 #include "echo.pb.h"
 
-DEFINE_bool(echo_attachment, true, "Echo attachment as well");
 DEFINE_int32(port, 8000, "TCP Port of this server");
 DEFINE_string(listen_addr, "", "Server listen address, may be IPV4/IPV6/UDS."
             " If this is set, the flag port will be ignored");
@@ -57,20 +56,11 @@ public:
                   << "] from " << cntl->remote_side() 
                   << " to " << cntl->local_side()
                   << ": " << request->message()
-                  << " (attached=" << cntl->request_attachment() << ")";
+                  << " (length=" << request->length() << ")";
 
         // Fill response.
-        response->set_message(request->message());
-
-        // You can compress the response by setting Controller, but be aware
-        // that compression may be costly, evaluate before turning on.
-        // cntl->set_response_compress_type(brpc::COMPRESS_TYPE_GZIP);
-
-        if (FLAGS_echo_attachment) {
-            // Set attachment which is wired to network directly instead of
-            // being serialized into protobuf messages.
-            cntl->response_attachment().append(cntl->request_attachment());
-        }
+        response->set_message("hello client");
+        response->set_length(strlen("hello client"));
     }
 };
 }  // namespace example

~/incubator-brpc/example/echo_c++$ git diff

diff --git a/example/echo_c++/client.cpp b/example/echo_c++/client.cpp

index 337aa6e9..0df24399 100644

--- a/example/echo_c++/client.cpp

+++ b/example/echo_c++/client.cpp

@@ -23,8 +23,7 @@

#include <brpc/channel.h>

#include "echo.pb.h"

-DEFINE_string(attachment, "", "Carry this along with requests");

-DEFINE_string(protocol, "baidu_std", "Protocol type. Defined in src/brpc/options.proto");

+DEFINE_string(protocol, "http", "Protocol type. Defined in src/brpc/options.proto");

DEFINE_string(connection_type, "", "Connection type. Available values: single, pooled, short");

DEFINE_string(server, "0.0.0.0:8000", "IP Address of server");

DEFINE_string(load_balancer, "", "The algorithm for load balancing");

@@ -64,12 +63,10 @@ int main(int argc, char* argv[]) {

example::EchoResponse response;

brpc::Controller cntl;

- request.set_message("hello world");

+ request.set_message("hello server123");

+ request.set_length(strlen("hello server123"));

cntl.set_log_id(log_id ++); // set by user

- // Set attachment which is wired to network directly instead of

- // being serialized into protobuf messages.

- cntl.request_attachment().append(FLAGS_attachment);

// Because `done'(last parameter) is NULL, this function waits until

// the response comes back or error occurs(including timedout).

@@ -77,8 +74,8 @@ int main(int argc, char* argv[]) {

if (!cntl.Failed()) {

LOG(INFO) << "Received response from " << cntl.remote_side()

<< " to " << cntl.local_side()

- << ": " << response.message() << " (attached="

- << cntl.response_attachment() << ")"

+ << ": " << response.message() << " (length="

+ << response.length() << ")"

<< " latency=" << cntl.latency_us() << "us";

} else {

LOG(WARNING) << cntl.ErrorText();

diff --git a/example/echo_c++/echo.proto b/example/echo_c++/echo.proto

index 2b39627f..8851b2e2 100644

--- a/example/echo_c++/echo.proto

+++ b/example/echo_c++/echo.proto

@@ -22,10 +22,12 @@ option cc_generic_services = true;

message EchoRequest {

required string message = 1;

+ required int32 length = 2;

};

message EchoResponse {

required string message = 1;

+ required int32 length = 2;

};

service EchoService {

diff --git a/example/echo_c++/server.cpp b/example/echo_c++/server.cpp

index 41ffd0b1..549737f8 100644

--- a/example/echo_c++/server.cpp

+++ b/example/echo_c++/server.cpp

@@ -22,7 +22,6 @@

#include <brpc/server.h>

#include "echo.pb.h"

-DEFINE_bool(echo_attachment, true, "Echo attachment as well");

DEFINE_int32(port, 8000, "TCP Port of this server");

DEFINE_string(listen_addr, "", "Server listen address, may be IPV4/IPV6/UDS."

" If this is set, the flag port will be ignored");

@@ -57,20 +56,11 @@ public:

<< "] from " << cntl->remote_side()

<< " to " << cntl->local_side()

<< ": " << request->message()

- << " (attached=" << cntl->request_attachment() << ")";

+ << " (length=" << request->length() << ")";

// Fill response.

- response->set_message(request->message());

- // You can compress the response by setting Controller, but be aware

- // that compression may be costly, evaluate before turning on.

- // cntl->set_response_compress_type(brpc::COMPRESS_TYPE_GZIP);

- if (FLAGS_echo_attachment) {

- // Set attachment which is wired to network directly instead of

- // being serialized into protobuf messages.

- cntl->response_attachment().append(cntl->request_attachment());

- }

+ response->set_message("hello client");

+ response->set_length(strlen("hello client"));

}

};

} // namespace example

运行结果：

~/incubator-brpc/example/echo_c++$ ./echo_client -server="127.0.0.1:8080"
I1111 09:37:14.304421 2015994 client.cpp:75] Received response from 127.0.0.1:8080 to 127.0.0.1:36476: hello client (length=12) latency=460us
I1111 09:37:15.305069 2015994 client.cpp:75] Received response from 127.0.0.1:8080 to 127.0.0.1:36476: hello client (length=12) latency=521us

~/incubator-brpc/example/echo_c++$ ./echo_server --port="8080"
I1111 09:37:56.076617 2016206 src/brpc/server.cpp:1070] Server[example::EchoServiceImpl] is serving on port=8080.
I1111 09:37:56.077233 2016206 src/brpc/server.cpp:1073] Check out http://hih-l-9493:8080 in web browser.
I1111 09:37:59.443775 2016217 server.cpp:55] Received request[log_id=7] from 127.0.0.1:60946 to 127.0.0.1:8080: hello server123 (length=15)
I1111 09:38:00.444778 2016216 server.cpp:55] Received request[log_id=8] from 127.0.0.1:60946 to 127.0.0.1:8080: hello server123 (length=15)

~/incubator-brpc/example/echo_c++$ ./echo_client -server="127.0.0.1:8080"

I1111 09:37:14.304421 2015994 client.cpp:75] Received response from 127.0.0.1:8080 to 127.0.0.1:36476: hello client (length=12) latency=460us

I1111 09:37:15.305069 2015994 client.cpp:75] Received response from 127.0.0.1:8080 to 127.0.0.1:36476: hello client (length=12) latency=521us

~/incubator-brpc/example/echo_c++$ ./echo_server --port="8080"

I1111 09:37:56.076617 2016206 src/brpc/server.cpp:1070] Server[example::EchoServiceImpl] is serving on port=8080.

I1111 09:37:56.077233 2016206 src/brpc/server.cpp:1073] Check out http://hih-l-9493:8080 in web browser.

I1111 09:37:59.443775 2016217 server.cpp:55] Received request[log_id=7] from 127.0.0.1:60946 to 127.0.0.1:8080: hello server123 (length=15)

I1111 09:38:00.444778 2016216 server.cpp:55] Received request[log_id=8] from 127.0.0.1:60946 to 127.0.0.1:8080: hello server123 (length=15)

curl请求：

/incubator-brpc/example/echo_c++$ curl -X GET -H 'Content-Type: application/json' -d '{"message":"yyy", "length": 3}'  localhost:8080/EchoService/Echo
{"message":"hello client","length":12}

# 或者POST请求也可以
~/incubator-brpc/example/echo_c++$ curl -X POST -H 'Content-Type: application/json' -d '{"message":"yyy", "length": 31}'  localhost:8080/EchoService/Echo
{"message":"hello client","length":12}

~/incubator-brpc/example/echo_c++$ ./echo_server --port="8080"
I1111 09:38:30.836687 2019460 src/brpc/server.cpp:1070] Server[example::EchoServiceImpl] is serving on port=8080.
I1111 09:38:30.837011 2019460 src/brpc/server.cpp:1073] Check out http://hih-l-9493:8080 in web browser.
I1111 09:38:52.031097 2019465 server.cpp:55] Received request[log_id=0] from 127.0.0.1:41962 to 127.0.0.1:8080: yyy (length=3)

/incubator-brpc/example/echo_c++$ curl -X GET -H 'Content-Type: application/json' -d '{"message":"yyy", "length": 3}' localhost:8080/EchoService/Echo

{"message":"hello client","length":12}

# 或者POST请求也可以

~/incubator-brpc/example/echo_c++$ curl -X POST -H 'Content-Type: application/json' -d '{"message":"yyy", "length": 31}' localhost:8080/EchoService/Echo

{"message":"hello client","length":12}

~/incubator-brpc/example/echo_c++$ ./echo_server --port="8080"

I1111 09:38:30.836687 2019460 src/brpc/server.cpp:1070] Server[example::EchoServiceImpl] is serving on port=8080.

I1111 09:38:30.837011 2019460 src/brpc/server.cpp:1073] Check out http://hih-l-9493:8080 in web browser.

I1111 09:38:52.031097 2019465 server.cpp:55] Received request[log_id=0] from 127.0.0.1:41962 to 127.0.0.1:8080: yyy (length=3)

HTTP service，读文件内容：

~/incubator-brpc/example/http_c++$ git diff http_server.cpp
diff --git a/example/http_c++/http_server.cpp b/example/http_c++/http_server.cpp
index d20ee71a..560496e8 100644
--- a/example/http_c++/http_server.cpp
+++ b/example/http_c++/http_server.cpp
@@ -22,6 +22,8 @@
 #include <brpc/server.h>
 #include <brpc/restful.h>
 #include "http.pb.h"
+#include <fstream>
+#include <string>
 
 DEFINE_int32(port, 8010, "TCP Port of this server");
 DEFINE_int32(idle_timeout_s, -1, "Connection will be closed if there is no "
@@ -105,8 +107,17 @@ public:
             bthread_t th;
             bthread_start_background(&th, NULL, SendLargeFile, args.release());
         } else {
-            cntl->response_attachment().append("Getting file: ");
-            cntl->response_attachment().append(filename);
+            std::string line;
+            std::ifstream myfile(filename);
+            if (myfile.is_open()) {
+                cntl->response_attachment().append("Getting file: " + filename + "\n");
+                while (getline(myfile, line)) {
+                    cntl->response_attachment().append(line + "\n");
+                }
+                myfile.close();
+            } else {
+                cntl->response_attachment().append("No such file");
+            }
         }
     }
 };
@@ -175,7 +186,8 @@ int main(int argc, char* argv[]) {
         return -1;
     }
     if (server.AddService(&file_svc,
-                          brpc::SERVER_DOESNT_OWN_SERVICE) != 0) {
+                          brpc::SERVER_DOESNT_OWN_SERVICE,
+                          "/v1/getfile/* => default_method") != 0) {
         LOG(ERROR) << "Fail to add file_svc";
         return -1;
     }

~/incubator-brpc/example/http_c++$ git diff http_server.cpp

diff --git a/example/http_c++/http_server.cpp b/example/http_c++/http_server.cpp

index d20ee71a..560496e8 100644

--- a/example/http_c++/http_server.cpp

+++ b/example/http_c++/http_server.cpp

@@ -22,6 +22,8 @@

#include <brpc/server.h>

#include <brpc/restful.h>

#include "http.pb.h"

+#include <fstream>

+#include <string>

DEFINE_int32(port, 8010, "TCP Port of this server");

DEFINE_int32(idle_timeout_s, -1, "Connection will be closed if there is no "

@@ -105,8 +107,17 @@ public:

bthread_t th;

bthread_start_background(&th, NULL, SendLargeFile, args.release());

} else {

- cntl->response_attachment().append("Getting file: ");

- cntl->response_attachment().append(filename);

+ std::string line;

+ std::ifstream myfile(filename);

+ if (myfile.is_open()) {

+ cntl->response_attachment().append("Getting file: " + filename + "\n");

+ while (getline(myfile, line)) {

+ cntl->response_attachment().append(line + "\n");

+ }

+ myfile.close();

+ } else {

+ cntl->response_attachment().append("No such file");

+ }

}

};

@@ -175,7 +186,8 @@ int main(int argc, char* argv[]) {

return -1;

}

if (server.AddService(&file_svc,

- brpc::SERVER_DOESNT_OWN_SERVICE) != 0) {

+ brpc::SERVER_DOESNT_OWN_SERVICE,

+ "/v1/getfile/* => default_method") != 0) {

LOG(ERROR) << "Fail to add file_svc";

return -1;

}

运行结果：

~/incubator-brpc/example/http_c++$ ./http_client "localhost:8010/v1/getfile/http.proto"
Getting file: http.proto
// Licensed to the Apache Software Foundation (ASF) under one
// or more contributor license agreements.  See the NOTICE file
// distributed with this work for additional information
// regarding copyright ownership.  The ASF licenses this file
// to you under the Apache License, Version 2.0 (the
// "License"); you may not use this file except in compliance
// with the License.  You may obtain a copy of the License at
//
......


~/incubator-brpc/example/http_c++$ curl "localhost:8010/v1/getfile/http.proto"
Getting file: http.proto
// Licensed to the Apache Software Foundation (ASF) under one
// or more contributor license agreements.  See the NOTICE file
// distributed with this work for additional information
// regarding copyright ownership.  The ASF licenses this file
// to you under the Apache License, Version 2.0 (the
// "License"); you may not use this file except in compliance
// with the License.  You may obtain a copy of the License at
//
......

~/incubator-brpc/example/http_c++$ ./http_client "localhost:8010/v1/getfile/http.proto"

Getting file: http.proto

// Licensed to the Apache Software Foundation (ASF) under one

// or more contributor license agreements. See the NOTICE file

// distributed with this work for additional information

// regarding copyright ownership. The ASF licenses this file

// to you under the Apache License, Version 2.0 (the

// "License"); you may not use this file except in compliance

// with the License. You may obtain a copy of the License at

......

~/incubator-brpc/example/http_c++$ curl "localhost:8010/v1/getfile/http.proto"

Getting file: http.proto

// Licensed to the Apache Software Foundation (ASF) under one

// or more contributor license agreements. See the NOTICE file

// distributed with this work for additional information

// regarding copyright ownership. The ASF licenses this file

// to you under the Apache License, Version 2.0 (the

// "License"); you may not use this file except in compliance

// with the License. You may obtain a copy of the License at

......

技术

236. 二叉树的最近公共祖先

Posted on 2022-11-07 by aspirer

题目链接：https://leetcode.cn/problems/lowest-common-ancestor-of-a-binary-tree/

不会做，看的答案。

原理是先遍历二叉树，用hash map记录所有节点的父节点，然后分别遍历p、q节点的父节点并染色（用hash map记录节点是否染色过），遇到重复染色的节点即为二者的共同祖先节点。

/**
 * Definition for a binary tree node.
 * struct TreeNode {
 *     int val;
 *     TreeNode *left;
 *     TreeNode *right;
 *     TreeNode(int x) : val(x), left(NULL), right(NULL) {}
 * };
 */
class Solution {
public:
    unordered_map<int, TreeNode*> father;
    unordered_map<int, bool> colored;

    void dfs(TreeNode* root) {
        if (!root) {
            return;
        }
        if (root->left) {
            father[root->left->val] = root;
            dfs(root->left);
        }
        if (root->right) {
            father[root->right->val] = root;
            dfs(root->right);
        }
    }

    TreeNode* lowestCommonAncestor(TreeNode* root, TreeNode* p, TreeNode* q) {
        father[root->val] = NULL;
        dfs(root);
        while (p) {
            colored[p->val] = true;
            p = father[p->val];
        }
        while (q) {
            if (colored[q->val]) {
                return q;
            }
            q = father[q->val];
        }
        return NULL;
    }
};

/**

* Definition for a binary tree node.

* struct TreeNode {

* int val;

* TreeNode *left;

* TreeNode *right;

* TreeNode(int x) : val(x), left(NULL), right(NULL) {}

* };

class Solution {

public:

unordered_map<int, TreeNode*> father;

unordered_map<int, bool> colored;

void dfs(TreeNode* root) {

if (!root) {

return;

}

if (root->left) {

father[root->left->val] = root;

dfs(root->left);

}

if (root->right) {

father[root->right->val] = root;

dfs(root->right);

}

TreeNode* lowestCommonAncestor(TreeNode* root, TreeNode* p, TreeNode* q) {

father[root->val] = NULL;

dfs(root);

while (p) {

colored[p->val] = true;

p = father[p->val];

}

while (q) {

if (colored[q->val]) {

return q;

}

q = father[q->val];

}

return NULL;

}

};

Blog of Aspirer

鹏云DBS调研及对比测试

一、目的

二、鹏云存储系统（开源版本）流程体验

部署

三、性能对比测试

四、异常测试

基于ChatGPT的code review机器人试用体验

部署配置

试用效果

review效果感受

不足之处

使用Python+selenium抓取职位和公司信息

本博客访问域名开启HTTPS

100. 相同的树

98. 验证二叉搜索树

谁是最亲近的人？

95. 不同的二叉搜索树 II

立个flag

236. 二叉树的最近公共祖先