智汇 IT
城启新篇

配置管理那些深夜报警教会我的事

凌晨两点,手机在床头柜上震个不停。群里有人@所有人:订单服务挂了。爬起来连上VPN,看日志,最后发现是一个环境变量被改成了测试库的地址。谁改的?不知道。什么时候改的?上周五。为什么没发现?因为没人管配置。

这种事我听得太多了。每次采访运维或SRE,聊到配置管理,对方都会先叹口气。然后开始倒苦水。配置管理听起来像是个老话题,对吧?版本控制、基线、变更单。但现实是,很多团队连最基本的“谁在什么时候改了什么”都答不上来。

别把配置管理等同于Git仓库

一说到配置管理,不少人第一反应就是:我们有Git啊。代码都在上面。但代码是代码,配置是配置。数据库连接串、API密钥、功能开关、Nginx的upstream、Kubernetes的ConfigMap……这些东西的生命周期和代码完全不一样。代码改错了,回滚。配置改错了,可能连回滚的机会都没有——服务直接起不来。

我见过一个团队,把生产环境的配置放在一个共享文件夹里。文件名是config_prod_final_v2_new.json。你敢信?每次发布,工程师手动从文件夹里拷一份,改几个值,传上去。没有版本记录,没有diff,没有审批。后来出了事故,追查的时候发现,文件夹里还有config_prod_final_v2_new_备份.json。没人知道哪个是哪个。

问题出在哪?他们把配置当成了文件,而不是受控的配置项。配置项需要标识、需要版本、需要变更历史。Git能解决一部分,但前提是你得把配置真正纳入管理。而不是建个仓库,然后大家还是手动改服务器。

软件配置管理版本控制与基线示意图
软件配置管理版本控制与基线示意图

配置漂移才是真正的半夜杀手

配置漂移这个词,听起来很学术。说白了,就是服务器上的实际配置和你想的不一样。怎么发生的?有人SSH上去,临时改了个参数,忘了改回来。或者某次紧急修复,直接改了生产环境,没走流程。然后下次自动化部署一跑,把那个临时修改覆盖了。服务又挂了。

有个SRE跟我吐槽,他们花了一周时间排查一个性能问题。最后发现是某台服务器的TCP参数被改过。谁改的?半年前一个已经离职的同事。为什么改?为了压测。改完没记录。这种坑,防不胜防。

怎么对付漂移?工具是一方面。Ansible、Puppet、Chef,或者现在流行的Terraform。这些工具能帮你把配置固化下来。但麻烦在于,工具本身也需要配置管理。你的Ansible playbook放在哪?怎么版本化?怎么测试?如果playbook本身是乱的,那只是把混乱从服务器搬到了代码仓库。

而且,工具会带来新的取舍。比如Terraform,声明式,状态文件很重要。状态文件丢了,或者多人同时改,就会出问题。你得搞远程后端、状态锁。这些又增加了复杂度。所以别指望一个工具解决所有问题。

CMDB为什么总是变成僵尸数据库

配置管理数据库,CMDB。很多公司都建过。刚上线的时候热热闹闹,各种录入。半年后,没人看了。为什么?因为录入太麻烦,而且和实际对不上。你让一个工程师在变更后去CMDB里更新三条记录,他宁愿去写代码。对吧?

我采访过一个金融公司的运维负责人。他说他们CMDB里记录的应用依赖关系,准确率不到六成。自动发现工具扫出来的,又有很多噪音。最后他们放弃了“大而全”的CMDB,只维护关键服务的核心配置项。比如数据库实例、中间件集群、核心应用的部署关系。其他的,随它去。

这个取舍很现实。配置管理的范围不是越大越好。你得想清楚:配置管理到底为谁服务?为了合规审计?为了故障排查?为了变更影响分析?目的不同,管理的粒度和方式完全不同。如果只是为了填表给领导看,那注定失败。

运维CMDB配置项关系图示例
运维CMDB配置项关系图示例

配置即代码不是口号是纪律

配置即代码不是口号是纪律
配置即代码不是口号是纪律

现在流行配置即代码。把配置写成代码,放进版本控制,走CI/CD。听起来很美。但执行起来,考验的是纪律。比如,禁止任何人直接登录生产服务器改配置。这条规矩,有多少团队能做到?

我见过做得好的。一个不到二十人的创业团队。他们所有配置都在Git里。生产环境的任何变更,必须通过Pull Request。哪怕只是改一个超时时间。审批人可能就一个,但流程必须走。他们的运维说,一开始很烦。后来习惯了,反而觉得安心。因为每次变更都有记录,出问题能快速定位。

代价是什么?紧急故障时,走PR可能慢几分钟。这几分钟可能影响业务。所以他们的做法是:平时严格,紧急情况有破窗机制。但破窗之后,必须在24小时内补上PR,并说明原因。这种平衡,比一刀切要务实。

说实话,配置管理这事,技术只占三成,剩下七成是人和流程。工具再好,人不遵守,等于零。流程再完善,工具不趁手,也难落地。

还有一点,配置管理不是一次性的项目。它是个持续的过程。你今天把配置理清楚了,明天可能就有新的服务、新的环境、新的变量。所以别想着“搞完这一波就一劳永逸”。没有的事。

最后说个细节。很多团队做配置管理,只关注生产环境。但开发、测试、预发布呢?这些环境的配置如果和生产差异太大,就会导致“在我机器上好好的”这种经典问题。所以,环境之间的配置差异,本身也需要被管理。不是简单地复制粘贴,而是明确哪些配置允许不同,哪些必须一致。

凌晨的报警,很多时候不是代码的锅。是配置。是那些散落在角落、没人注意、却能在关键时刻要命的东西。管好它们,不一定能让你升职加薪。但至少,能让你睡个整觉。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:配置管理那些深夜报警教会我的事
文章链接:https://m.itcdj.com/news/909.html