在实际部署中,它服务了47个不同规模的模型,包括28个1.8B-7B的小模型和19个32B-72B的大模型。GPU利用率从之前的13.3%-33.9%提升到了48.1%,期间没有出现任何SLO违规或服务中断。
走进任何一个在建的数据中心项目现场,你会发现一个有趣的现象:明明每个施工团队都在忙碌地工作,但项目进度却总是不尽如人意。据中国数据中心工作组发布的《2023年数据中心建设项目调研报告》显示,超过60%的数据中心项目存在不同程度的延期,其中因多方协调问 ...
海水冷却的基本原理其实并不复杂:利用海水的天然低温和巨大热容量,通过热交换器将数据中心产生的热量传递给海水,再将升温后的海水排回大海。相比传统的风冷系统,海水冷却在理论上可以将PUE(电源使用效率)降低20-30%。
数据中心的冷却系统就像人体的血液循环,管道布局的精准性直接关系到整个系统的健康运行。在这个AI时代,算力就是生产力,而可靠的冷却系统正是释放算力的基础保障。每一个细节的把控,都关系到数据中心能否稳定高效地服务于数字经济的发展。 走进 ...
从我多年的观察来看,数据中心的结露问题主要集中在几个关键区域:冷水管道表面、空调送风口周围、以及新兴的液冷设备连接处。据ASHRAE技术委员会的研究报告显示,当环境温差超过15°C时,结露风险会呈指数级增长。
AWS US-EAST-1区域发生大规模故障,致亚马逊及全球数十个网站服务中断,包括英国。原因疑与DynamoDB DNS解析有关,AWS正加速恢复。 AWS 在太平洋夏令时上午 12:11(世界协调时 7:11)向其健康仪表板[2]报告了 US-EAST-1 区域(即亚马逊在北弗吉尼亚州的本土区域)多个服务的错误率和延迟增加的问题。
在这个算力需求爆炸式增长的时代,数据中心的电费账单也在以惊人的速度攀升。据中国信通院发布的《数据中心白皮书 ...
在这个算力即生产力的时代,数据中心正面临着前所未有的能耗挑战。当我们沉浸在AI带来的便利时,很少有人意识到背后隐藏的能源危机——据中国信通院统计,2022年全国数据中心耗电量约2700亿千瓦时,占全社会用电量的3%。更令人担忧的是,随着AI大模型训练 ...
数据中心的安全防护不是一蹴而就的工程,而是需要持续投入和不断改进的长期任务。技术在进步,威胁也在演进,只有保持敏锐的安全意识和持续的学习能力,才能在这场没有硝烟的战争中立于不败之地。 在这个数字化时代,数据中心就像是企业的"金库 ...
上周我们在团队内部首次采用了 jwt(Json Web Token) token 这种 no-session 的方式来作用户的账号验证。 1991 年 HTTP 0.9 诞生了,当时 ...