Camber

| INFP-T&Chaotic Good | Ex-Distro Package Maintainer+Dev @aosc_dev | 现在的设定是有猫耳的血魔萨卡兹喵 | CN=拱/拱喵/拱猫 | SRE/O11y Engineering @catl_official

[Camber @libCamber]

In case somebody asked,
拱猫有证，但拱猫无糖。

[Jintao Zhang 张晋涛 @aiandcloud]

即使现在看 Netflix 的这篇文章，还是觉得 Troubleshooting 最有意思了。

从 Docker 到 containerd，频繁的 bind mount 为每层做 idmap，导致系统死锁或者超时。最后定位到了与 CPU 架构还有关系，在 m7i 和 m7a 实例上出现了显著的性能差异，最后还给上游提交了 PR 解决

https://t.co/7VDpDP95sj

[ころんびぁ☕️COMITIA156【R02a】 @Colon_BR]

Skebリクエストありがとうございます！！🐈💚

[Camber @libCamber]

@Manjusaka_Lee 呃啊啊啊啊也想一起玩可恶（简历看看有没有机会

[NadeshikoManju@ゆるキャン△ SEASON４ 2027 放送予定 @Manjusaka_Lee]

又来推上招人了

去年招了一个 Infra 工程师，不过后面同学对整体推理会更感兴趣一些。所以将他安排去做推理相关的工作了，目前发展的非常不错。

但是与此直接带来的一个问题是，我现在非常缺人。所以我现在需要一位 Junior 到 Intermediate level 的 Infra/SRE 工程师，Full Remote，和我搭档会非常密切。薪资暂定为 20-45K /月，具体的薪资会根据你的能力和经验来定。以及这个岗位对校招的同学也是开放的

要诚意招人肯定要介绍自己以示尊重的。

公司画像：二次元/Remote/AIGC/T2I，我司是目前赛道最 Top 的选手。

我们公司的企业文化可以参看我之前的推，我会以链接形式放在末尾

目前来说我们在过去一年的基础设施建设后，我们整体的业务的稳定性，可靠性在不阻碍业务发展的同时也获得了极大的提升。我们完成了跨越多个大版本的数据库升级。
我们优化了很多核心的基础设施组件，提升了整体的性能和稳定性。我们也在持续地改进我们的监控和报警系统，以确保我们能够及时发现和解决问题。

这些东西够了吗？如果业务发展陷入停滞的话，那么可能够了。但是很可惜我们现在还处于一个超级高速的业务发展期，因此我们还有很多很多的工作要做，列一些我们组目前手上在探索与落地的事情

1. 引入新的 API 网关来承担我们流量治理的工作
2. 针对一些 Node.js 组件在社区不满足需求的情况下进行自行定制
3. 探索社区新的推理的加速方案
4. 为推荐同学构建更好用的 Data Infra
5. 继续优化我们的监控和报警系统
6. 继续来死嗑我们的数据库优化等等等

所以有很多很多的事情，需要我们这个 Team 来去推进，探索，落地。我相信这种体验对于工程师来说是非常棒的。特别是在我们公司具备极为良好的的技术氛围和文化的情况下。

聊完一些务虚的，我们来聊一些务实的。先说说如果你进来了，你的时间会怎么样分配。

因为这次招的目标的同学是偏稳定性和业务基础设施相关的，所以，你70%的精力将会作为一个 Infra/SRE 同学基本的职责，用尽一切的手段来保证我们多条业务线的稳定性。而你30%的职责将会用来去参与我们 Infra 的不断演进。探索新的技术的落地（相信我，在这里新东西落地的收益和成就感会比你想象的大很多）

而你可能会好奇，我们之间的相处模式大概是怎么样。简而言之， 我们在每个月月初会有一个每个月必须推进的事情的一个目标，这个目标通常是我们整个 team 目标的一部分。基于这个目标基础上，你的时间安排有很多的灵活性

以及我们不会提倡加班，也没有周报之类的不良文化。我们相信额外的条条框框会限制大家的发挥（坦白说，通常来讲我并不会太关心你的考勤 or 其余一些琐碎的细节。我们相信这是 Remote 需要保持的一个基本的信任关系）

大概介绍完我们是谁，我们来聊聊我们对你的期待

首先对于这个角色，我们有一点核心的要求就是沟通协调能力 >> 技术能力。因为在工作中，你会有很多部分需要和不同的同事（技术同事，运营同事 etc.)进行协调同步。我们相信技术能力可以培养，而一个人能否比较好的沟通这点不太好培养。

如果更详细的一点说，在我心里，一个事情最终落地有这样几种可能

1. 沟通到位，有好结果
2. 沟通到位，但是因为一些原因事情并没有预期的那样发展，但是有相关结论与沉淀
3. 沟通不到位，有好结果
4. 沟通不到位，结果不好

对我来说，1最棒，4最差。我们一直秉持的一个观点是，Infra Team 的试错成本通常比其余业务部门更大，所以我们需要严格的保持沟通的到位来保证我们在正确的道路上不断前进。

我们现在主要的技术栈为 Kubernetes/Node.js/Python/PostgreSQL/Nginx/GraphQL/Prometheus/eBPF/OpenTelementry/CEPH/pyroscope etc..
我们希望你能对其中一项或者多项有自己的理解

我们希望你是一个 Linux 的熟练使用者，如果你是 Arch/NixOS 等发行版的日常用户那就更好了！

如果你会打音游/玩 HomeLab/听 Live/打乌蒙地叉/喜欢摇曳露营（私货夹带）那就太棒了！我相信我们会有足够的共同语言！

差不多就写这些。如果你认可我们，不妨给我们一个机会，让我们和你好好的聊一聊。简历可以发我邮箱 [email protected]

附录：
1. 关于我司的企业文化 https://t.co/X2xschcR5Q

[NadeshikoManju@ゆるキャン△ SEASON４ 2027 放送予定 @Manjusaka_Lee]

SRE 狗都不当！

[Camber @libCamber]

Do you remember when you joined X? I do! #MyXAnniversary

[Camber @libCamber]

未严肃品尝绿猫袜子 @suzumiyasuzume

[NadeshikoManju@ゆるキャン△ SEASON４ 2027 放送予定 @Manjusaka_Lee]

简单复盘一下 AWS 这次事件作为一个 AIGC Startup SRE 的一些操作吧，希望能帮到大家
从入职开始发现我们主要的集群在 USE1 之后，我就开始做一些准备了。
我主要做的事情有这几件事
1. 将我们核心的几个数据库做了多地的备份，形成了 USE1，Tokyo，SG 三地备份。这样在极端情况下，我们损失一部分数据，但是也能保证服务的继续
2. 将我们 SG 的测试集群从原本的 EC2 自己简单搭的 K3S，重构为了一个标准的 AWS EKS 集群。这样可以在灾害时刻快速 warmup 一个集群，复用 AWS 已有组件。将 manifest 变更的代价降至最小
3. 简单梳理了一个 SOP，包含用户公告，DNS 切换，封版等事宜

回到今天，我大概在 AWS 事故发生后的10min，发现了我们容器中有新的 Pod 无法 setup。

在和 AWS 支持确认是 USE1 的问题后，我意识到 ECR 的事件必然关联其余事件，于是我就果断按照我自己规划的 Tier1 等级事件开始处理（对于 SRE 来说，这种事情宁可错，但是不能错过）

T+0 min，我发布了全员公告，开始进入紧急模式。我 setup 了一个全员公开会议。所有人员可以随时加入
T+2 min，我确认事件如我所预期的一样，在逐渐扩大，我发出了两个指令，1. 全线禁止任何代码合入/提交（主要是避免新创建资源会导致 Pod rotate 进而影响流量），2. 请运营同学准备公告
T+3 min, 我开始按照 SOP，开始进行数据库在 SG 区域的恢复，并且级联创建诸如 OpenSearch / Redis 等在内的依赖
T+5 min，我们开始正式的确认上下游依赖的具体问题，确认一个新上线的核心服务受到影响
T+10min，我们停服公告和其余服务的受影响公告发出
T+10min，我请另外两位同时协助 setup 新的 ECR 以及清理测试环境已有资源，并同步 CTO ，在极端情况下，我们可能会存在保体验，丢数据的决策。
T+15min， 我们最终确认目前已创建的资源以及流量入方向不会受到太大影响。切换方案挂起，但是我们继续准备相关资源
T+30min，我们第一个数据库恢复完毕
T+40min，我们第二个数据库恢复完毕
T+1h，我们所有关联的核心 infra，RDS/ES/Redis 都 stand by，并且按照生产架构设置主从等优化选项。同时我们也开始正在新的集群启动新的服务
所幸，最终 AWS 的 crash 没有影响我们全部服务。我们无须面对切换流量后复杂的数据修复工作
大概 T+2h 到 T+3h 后，我正式通报全员，紧急状态解除。为保险起见，今晚依旧对 feature 封版。

回顾整个事故，我还可以做的更多
1. 将我之前为自己准备的极端 case SOP，对全员公开。这样确保我即便不在线，也有人能接替我
2. 我们可以做一些提前的预先演练
3. 指令下达可以更果断一些

差不多就是这样，一点分享，希望能帮到大家

[Camber @libCamber]

猫猫社恐
猫猫开坑不填
猫猫是大笨蛋

[Camber @libCamber]

呜哇哇哇有点想（但害怕qwq

[NadeshikoManju@ゆるキャン△ SEASON４ 2027 放送予定 @Manjusaka_Lee]

之前说想招人但是没精力带，但是目前看起来业务发展的速度非常快。所以现在需要招一位 Junior 到 Intermediate level 的 Infra/SRE 工程师，Full Remote，可能会由我直接来带。
招人肯定是要先介绍自己以示尊重的
公司画像：二次元/Remote/AIGC/T2I，基本上能说我司是目前赛道最 Top 的选手
我们公司的企业文化可以参看我之前的推，我会以链接形式放在末尾
目前来说我们处于一个超高速发展的模式，所以在这里能做的事情很多。往坏了一点说，这里的活会很多，很杂，也很难。但是我们要往好的方向看，你可以有很多选择，比如参与进我们目前正在从0到1打造的现代化的数据湖来给推荐等同事提供更有效的帮助。你也可以来一起打造一套针对 GraphQL 特化的基建来保证主站的稳定性。你也可以参与进我们最核心的 T2I 等推理服务的维护与迭代中。你还可以设计很多自动化的流程来提升我们的监控告警效率
你的工作内容将会做这样分配，你70%的精力将会作为一个 Infra/SRE 同学基本的职责，用尽一切的手段来保证我们多条业务线的稳定性。而你30%的职责将会用来去参与我们 Infra 的不断演进。探索新的技术的落地（相信我，在这里新东西落地的收益和成就感会比你想象的大很多）
我们的相处模式大概会是我会和你以及其余的 Infra 同事，有一个每月的需要推进的事项清单，这是我们共同的目标。在基于这个目标的基础上，你的时间安排有很多的灵活性
以及我们不会提倡加班，也没有周报，日报等不良文化。我们相信额外的条条框框会限制大家的发挥
大概介绍完我们是谁，我们来聊聊我们对你的期待
首先对于这个角色，我们有一点核心的要求就是沟通协调能力 >> 技术能力。因为在工作中，你会有很多部分需要和不同的同事（技术同事，运营同事 etc.)进行协调同步。我们相信技术能力可以培养，而一个人能否比较好的沟通这点不太好培养。
我们现在主要的技术栈为 Kubernetes/Node.js/Python/PostgreSQL/Nginx/GraphQL/Prometheus/eBPF/OpenTelementry/CEPH/pyroscope etc..
我们希望你能对其中一项或者多项有自己的理解
我们希望你是一个 Linux 的熟练使用者，如果你是 Arch/NixOS 等发行版的日常用户那就更好了！
如果你会打音游/玩 HomeLab/听 Live/打乌蒙地叉/喜欢摇曳露营（私货夹带）那就太棒了！我相信我们会有足够的共同语言！

差不多就写这些。如果你认可我们，不妨给我们一个机会，让我们和你好好的聊一聊。简历可以发我邮箱 [email protected]

附录：

1. 关于我司的企业文化 https://t.co/X2xschcR5Q

[NadeshikoManju@ゆるキャン△ SEASON４ 2027 放送予定 @Manjusaka_Lee]

最近看到很多 AI Startup 在招人，我也来凑个热闹

公司画像：二次元/Remote/AIGC/T2I，基本上能说我司是目前赛道最 Top 的选手

我们目前来说，招聘的岗位有MLE/数据分析/前端/移动端（iOS和Android）/后端

OK 说完概况来说一下我司具体的情况，以便于各位去判断是否和我司气场相近。

简而言之，我司奉行的原则1是“不做事可能会比做错事后果更严重”，所以在原则1上我们衍生出了几个文化

1. 当你觉得有必要做的事情后，你可以直接产出文档，拉上相关同事进行讨论。大家有一致的意见后，那么就可以去做。
2. 比资历更重要的事情是让正确人的去做正确的事。
3. 你所做的东西所有人都看在眼里

文化1的一个例子是，我从目前的客诉和一些客户反馈中判断出我司目前某个重要子系统需要重构。我整理归档后和业务负责人电话（他也在推上XDDD）对了十分钟后，我们就正式的确定要做这件事。这件事最后因为复杂度和历史债务问题，最终我请 CTO 完整来主导这件事情。但是这件事从立项开始就不会有人在说我是做 out of scope 的事情

文化2的一个例子是，我司某个探索方向的很重要的新产品是交给几位相对 Junior 的同学来做。从最开始就没有人会擅自对他们指手画脚说“这件事你该怎么做”，而是给予他们的独立性与探索空间。事实证明他们做的也很不错

当然有了原则1，我们就会有原则2，即“公司会为你的事故买单，但是你需要从中学习到东西”。我们每份事故报告第一句话都是写的是“我们反思的是事而不是人”

写到这里，你大概也能对我司的文化和我们想要什么人有了一个了解，简而言之如果你觉得你是一个喜欢探索，喜欢发现系统中不足并敢于提出来去改进的同学，如果你最近恰好有想看机会的想法，而且你对 AIGC 这个赛道感兴趣。那么欢迎你和我聊聊([email protected])，我请你一杯咖啡

最后可能有人会问你们加班吗？这就要说到我们另一个管理原则上了，“无效加班是管理失能的一个表现”。作为一个 startup，在 oncall 或者有少量临时需要处理的时候，说不加班是不可能的。但是根据我的观察，我司大部分同学是保持了 work-life balance 的。欢迎有机会一起看看我司水群的摸鱼日常

[Camber @libCamber]

@ayakaneko 没去了抓不到了（哭

[Camber @libCamber]

@ayakaneko 那如何加入猫猫的团队（雾

[Camber @libCamber]

@ayakaneko 好耶生日快乐~~ 🍰

[えな。 @Ena_1510]

⚗️🫧

[Camber @libCamber]

。。。打算约设和皮套惹~~~
虽然也不会出道就是

[Camber @libCamber]

@Remi_IO 阿勒原来是蕾米的项目么

[Camber @libCamber]

@cyanvtb 啊呜呜呜生日快乐喵（已经迟到版）
感觉还是联系对应国律所吧。。。如果上升到领事保护层级的话可能信息共享之类的事情对之后都不太好

and 猫猫最近也不太开心就给个虚拟抱抱喵（缩

[Camber @libCamber]

@cyanvtb 21喵！
（虽然大概能猜到

[Camber @libCamber]

@cyanvtb Minecraft osu tetris overcooked c++/python/golang stardew mega39
其中好几个都是Switch的（但这玩意咱的也吃灰了qwq