[ 更换 ]
热门城市
北京上海广州深圳成都杭州南京武汉天津西安重庆青岛沈阳长沙大连厦门无锡福州济南宁波昆明苏州郑州长春合肥南昌哈尔滨常州烟台南宁温州石家庄太原珠海南通扬州贵阳东莞徐州大庆佛山威海洛阳淮安呼和浩特镇江潍坊桂林中山临沂咸阳包头嘉兴惠州泉州三亚赣州九江金华泰安榆林许昌新乡舟山慈溪南阳聊城海口东营淄博漳州保定沧州丹东宜兴绍兴唐山湖州揭阳江阴营口衡阳郴州鄂尔多斯泰州义乌汕头宜昌大同鞍山湘潭盐城马鞍山襄樊长治日照常熟安庆吉林乌鲁木齐兰州秦皇岛肇庆西宁介休滨州台州廊坊邢台株洲德阳绵阳双流平顶山龙岩银川芜湖晋江连云港张家港锦州岳阳长沙县济宁邯郸江门齐齐哈尔昆山柳州绍兴县运城齐河衢州太仓张家口湛江眉山常德盘锦枣庄资阳宜宾赤峰余姚清远蚌埠宁德德州宝鸡牡丹江阜阳莆田诸暨黄石吉安延安拉萨海宁通辽黄山长乐安阳增城桐乡上虞辽阳遵义韶关泸州南平滁州温岭南充景德镇抚顺乌海荆门阳江曲靖邵阳宿迁荆州焦作丹阳丽水延吉茂名梅州渭南葫芦岛娄底滕州上饶富阳内江三明淮南孝感溧阳乐山临汾攀枝花阳泉长葛汉中四平六盘水安顺新余晋城自贡三门峡本溪防城港铁岭随州广安广元天水遂宁萍乡西双版纳绥化鹤壁湘西松原阜新酒泉张家界黔西南保山昭通河池来宾玉溪梧州鹰潭钦州云浮佳木斯克拉玛依呼伦贝尔贺州通化朝阳百色毕节贵港丽江安康德宏朔州伊犁文山楚雄嘉峪关凉山雅安西藏四川广东河北山西辽宁黑龙江江苏浙江安徽福建江西山东河南湖北湖南海南贵州云南陕西甘肃青海台湾内蒙古广西宁夏香港澳门
培训资讯网 - 为兴趣爱好者提供专业的职业培训资讯知识

企业内部培训网站为例,探索云上成本优化

本文分享自华为云社区《云上成本优化方案——以一个企业内部培训网站为例-云社区-华为云》,作者:云存储开发者支持团队。

越来越多的企业选择将服务搭建在云上,业务初期访问量、数据量都较小,成本问题还不显著。随着业务规模的不断扩张,云上的资源消耗也在不断增多,云资源成本开始成为一个不得不考虑的问题。本文就从一个企业内部培训网站为例,拆解云上成本优化方案需要注意的点,抛砖引玉,帮助大家参考业务架构,合理节省费用。

1. 业务背景介绍

某集团客户 A,内部业务系统中包含一个内部在线教育网站,原部署在线下 IDC 机房,为集团内部各地分公司部提供内部培训服务。网站除了提供点播服务外,还要在后台为讲师上传的原始视频添加水印,转换为指定清晰度,截取首帧作为视频封面,并隔固定时间截取一张截图方便学生跳转。现集团业务整体搬迁上华为云,需要考虑搬迁上云后成本问题。

2. 基础方案与成本优化点识别

在方案搬迁初期,客户考虑对系统做微量改动后上云,即系统整体架构不变,仅将存储介质替换为对象存储 OBS。为保证视频转码性能,采购一台 8U32G 服务器。在此方案中涉及的成本优化点全部集中在基础资源 IaaS 中,即计算、存储、网络,我们逐项目进行优化。

2.1 计算成本

对计算来说,最理想的降成本方案就是极致的弹性,不使用时不计费,使用时也仅出使用了的计算资源,而不是直接整台 8U32G 的服务器,然后大多时间资源利用率仅有 10% 以下。所以第一处改动就是通过使用华为云 MPC 服务替换其自建的转码服务,相较于自己采购服务器,且大多数时间处于闲置状态,MPC 服务按视频转换时间收费,H.264 标准转码包 5000 分钟仅 88元,成本极低。添加水印和截取指定帧的动作同样可以较由 MPC 完成。同时将所有网页静态资源均存储至 OBS 中,降低服务器压力,在不调整其他组件的前提下,可直接将服务器降级为 4U8G 规格,节省费用。可配合数据工坊 DWR 的工作流进行使用,在上传视频时自动触发工作流,进一步降低上手难度,详情参考 视频转码工作流最佳实践(https://support.huaweicloud.com/bestpractice-dwr/dwr_04_0001.html)

当然,现在还不是最极致的弹性,如果想要进一步优化计算成本,应考虑通过使用 CCI 容器或改造为 serverless 应用,进一步压缩,限于篇幅暂不展开讨论。

2.2 存储成本

计算资源可以弹性伸缩,不用时候关机,但是存储资源则不可能不用时删掉,所以就要考虑合理规划存储类型,根据数据对性能的要求合理划分到不同类型的存储介质中,如块存储、对象存储、对象存储的归档存储等。

在当前业务中,转码过后的视频需要经常播放,但转码前的原视频、培训会议现场录制的视频则不需要经常查看,又不能直接删除。此时可以考虑使用对象存储的归档存储与深度归档存储功能,配置生命周期规则,指定部分目录下的视频超过一定时间自动转归档,再超过一定时间后自动转深度归档。

除此之外,即使是转换后的视频也不是所有都经常播放的,可以将上架时间长、播放次数少的视频也转换为归档存储,并配置归档直读功能,进一步降低存储成本。

除了视频外,该网站还存储了很多图片,往往同一张图片还要存储多份,如封面视频就需要有低、中、高清晰度分别的有无水印版本,共六个版本。此时可以考虑使用 OBS 自带的图片转码服务,仅需存储一张原图,在加载时通过添加参数自动转换清晰度或添加水印。

2.3 网络成本

网络成本是视频网站成本中不容忽视的一个大类,而且与可以事先规划的计算与存储成本不同,很多服务都会产生公网出流量费,每次请求会产生的公网出流量也有不同,无法做到精准的定量预估。不过我们可以针对以下几个问题进行分析,设计最佳的网络成本优化方案:

  1. 数据该从哪个出口出?
  2. 每月分别会有多少出流量?
  3. 数据能否进行压缩?
  4. 数据能否分片/分级?
  5. 数据能否在客户端进行缓存?

2.3.1 数据出口选择

在本案例中,共有三个位置会产生公网出流量,分别为 ECS、OBS、CDN,其按需计费流量费分别为 0.8元/G、0.5元/G 与 0.2元/G。所以,我们要尽可能的增加从 CDN 流出的流量,减少从 ECS 流出的流量。可以通过改造业务系统,将静态文件托管至 OBS,并通过 CDN 加速进行分发来达到此目的。可参照 CDN加速访问OBS(https://support.huaweicloud.com/bestpractice-obs/obs_05_0510.html)一文配置 OBS + CDN 联动。

2.3.2 通过预估流量合理购买套餐包

相较于直接按需计费,提前购买套餐包可以节省更多成本。以 OBS 为例,如若每月流出 100GB,按需计费时一年的流量费为 600 元,而提前购买包年流量包则仅需 411.59 元,节省了 27%。CDN 如果合理购买闲时流量则可以节省更多,具体可前往 OBS 官方活动页(多AZ存储_OBS_对象存储_存储_华为云) 与 CDN 官方活动页(华为云CDN和云视频通信专场_国内CDN流量优惠包_CDN加速_CDN大额优惠券_特价CDN流量包-华为云)查看并选购套餐包。

2.3.3 数据能否进行压缩

现在主流的浏览器都已具备自动解析 gzip 压缩后的 html、js、css 文件,可以在静态资源转储至 OBS 时也可以利用该特性,简单来说就是将 OBS 中的静态文件进行 gzip 压缩,并配置 http 头域来告知浏览器自动解析。更详细教程可参见将 Vue.js 项目部署至静态网站托管,并开启 Gzip 压缩(将 Vue.js 项目部署至静态网站托管,并开启 Gzip 压缩-云社区-华为云) 一文,在节省网络传输流量成本同时也降低了存储成本。

除了文本外,图片也可进行压缩。图片压缩有几种思路,一是通过转换格式为 heic、avif、webp 等压缩效率更高的格式来进行无损压缩;二是使用一些比较知名的工具,如 tinyjpg等进行一些肉眼不可见的有损压缩;三则是在传输过程中,针对对图片清晰度要求不高的场景——如缩略图,使用 OBS 自带的图片转码能力,返回分辨率更低的图片。

2.3.4 数据能否分片/分级

对视频数据来说,很难在不降低肉眼观感的前提下进行压缩,但可考虑对视频数据进行分片,前端播放时仅加载当前播放位置前后片段,而不再每次都将全量数据都缓存至本地。MPC 的转码服务已提供了视频转 hls 格式的能力,将视频切分为多个片段,用户播放视频时,可随意拖动视频进度,会读取相应进度的分片文件进行加载。除此之外,MPC 还可以将一个视频转换为多种清晰度,可根据用户需要选择不同清晰度进行播放,既降低了网络流量费,也提升了用户体验。

3. 最终方案

综合上述分析,最终方案架构如下:

  1. 使用 DWR + MPC 服务进行视频转码和截帧,用户上传源视频后自动转换为不同清晰度的 m3u8 格式视频,降低计算成本。
  2. 配置 OBS 生命周期,定时将访问频次低的数据(如原始视频文件等)逐级转换为归档存储与深度归档存储,降低存储成本。
  3. 配置 OBS + CDN 加速,并提前购买 CDN 流量包,降低网络成本。

为简化费用对比,我们假设用户共 100T 数据,其中 20T 数据为历史归档数据,基本不需要访问,20T 数据为低频数据,不经常访问。假设全部用户每月共播放 10 万分钟,平均每分钟标清视频约 20M,这 1 万分钟的播放中 20% 时间可以播放低清视频(480P移动端),80% 时间播放高清视频(1080P),同长度高清视频大小为标清,也就是说总流出流量约为3.5T。

企业内部培训网站为例,探索云上成本优化

最终费用为原本的 67%,节省了 1/3 的成本。当然,为了方便理解,本文做了很多假设性的简化,实际项目可能会有偏差,但总体来说成本优化时可以从这几个方面进行考虑总是或多或少有点收获的,在此抛砖引玉,大家可以根据自己项目实际情况针对性的再次优化。

关注#华为云开发者联盟# 点击下方,第一时间了解华为云新鲜技术~

华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云

相关内容

怎么学?如何干?西藏7市(地)委书记在西藏日报发表文章

启航新征程 开创新局面为全面建设社会主义现代化新拉萨努力奋斗自治区党委常委、拉萨市委书记 普布顿珠党的二十大大笔擘画坚持以中国式现代化全面推进中华民族伟大复兴的宏伟蓝图,区党委十届三次全会全面铺开建设美丽幸福西藏、共圆伟大复兴梦想的壮阔实践···

2023年全区智慧旅游专业人才培训班圆满结业

6月2日,自治区旅游发展厅主办的全区智慧旅游专业人才培训班在拉萨圆满结业。培训共历时三天,累计完成全区旅游行政管理部门工作人员及涉旅企业专业技术人员培训100人。本次培训是区旅发厅深入推进学习贯彻习近平新时代中国特色社会主义思想主题教育重要···

徐汇萨迦共同举办大美西藏首届口腔学习班

随着现代医学的发展,口腔健康越来越受到人们的关注,为提高西藏地区口腔技术水平和服务质量,近日,徐汇区牙病防治所和萨迦县中心医院远程连线共同举办首届口腔学习班开班仪式。徐汇区卫生健康委副主任胡强,上海援藏干部、萨迦县委常务副书记、常务副县长沈···

自觉抵制“一对一”“一对多”等学科类培训!哈尔滨中小学生暑期预警来了

17日,记者从哈尔滨市各区教育局获悉,2023年暑假将至,南岗区、道里区、香坊区教育局向家长发出预警,自觉抵制违规培训,各区义务教育阶段学科类培训机构已经全部注销,暑假期间以任何形式开展的学科类培训均属于违规培训。家长要自觉抵制任何机构或个···

哈尔滨市道里区企投局举办“招商大讲堂”专题培训

黑龙江网讯(记者 王惠婷)10月24日,哈尔滨市道里区企投局组织开展“招商大讲堂”专题培训班,全区各招商专班负责同志及业务骨干参加培训。本次培训从实际需求出发,紧紧围绕当前招商工作中的热点、难点,对“什么是招商引资”“道里区的产业结构和主导···

团黑龙江省委举办全省青年文明号青年岗位能手学习宣传贯彻党的二十大精神培训交流会

中国青年报客户端讯(李海涛)为深入学习贯彻党的二十大精神,充分发挥青年文明号、青年岗位能手示范引领作用,在全省职业青年中掀起学习党的二十大精神热潮,11月22日,团黑龙江省委举办全省青年文明号青年岗位能手学习宣传贯彻党的二十大精神培训交流会···

辽宁葫芦岛举办外贸政策培训会推动外贸保稳增量

辽宁省葫芦岛市外贸政策培训会4月3日举办。 辽宁省贸促会供图中新网葫芦岛4月3日电 (李晛)辽宁省葫芦岛市外贸政策培训会4月3日举办。本次活动由辽宁省贸促会支持、葫芦岛市商务局主办,葫芦岛市贸促会、葫芦岛海关、中国出口信用保险辽宁分公司和辽···

山西运城:严查无证校外培训机构 查封9家警告2家

新华社太原8月5日电(记者王飞航)记者从山西省运城市政府了解到,运城市教育局近日联合市公安局等多家单位,对中心城区无证校外培训机构进行了一次突击检查,共检查了13家校外培训机构,查封9家,警告2家,发放整改通知书4份。今年7月,运城市教育局···

山西开展培训筑牢森林“防火墙”

山西新闻网3月30日讯(记者 卢奕如)今日,记者从山西省应急管理厅获悉,全省举办森林草原防灭火业务培训,邀请专家以视频会议形式,围绕森林扑火指挥实操、森林草原火灾防控经验做法、火灾现场各级各类指挥员具体操作中遇到的问题等内容进行授课。培训内···

校外培训机构治理工作取得进展 山西停办近1300所

资料图:小学生排队等待进入校园。中新社记者 刘文华 摄中新网5月11日电 据教育部网站消息,按照校外培训机构专项治理工作整体安排,教育部、民政部、国家市场监管总局启动了校外培训机构治理专项督查工作。5月9日至10日,督查组率先在北京市开展华···

山西综改区举办省技术创新中心申报培训

  8月18日,山西综改区科技金融部举办2023年度省技术创新中心申报培训会,来自区内企业、科研院所及有关单位代表160余人参加了培训。  山西省技术创新中心是以产业前沿引领技术和关键共性技术研发为核心的产业技术创新平台,承担着为区域和产业···

山西汾阳医院开展健康教育与控烟知识培训

来源:【吕梁日报-吕梁新闻网】本报讯 (记者 刘少伟) 5月18日,在“世界无烟日”到来之际,山西汾阳医院组织开展健康教育与控烟知识培训。近年来,山西汾阳医院全面落实健康中国战略,根据国家卫健委《关于2011年起全国医疗卫生系统全面禁烟的决···

山西省文物局年度田野考古技术培训班开班

10月10日,山西省文物局在运城闻喜上郭城址、邱家庄墓群举办2023年度田野考古技术培训班开班仪式。该次培训为期三个月,通过理论和实践两部分教学,旨在推进山西考古工作高质量发展,提升考古业务人员专业技术水平。本次培训由山西省考古研究院和山西···

最低每课时9元!全省学科类校外培训课时长和收费标准出台

近日,山西省发改委、省教育厅下发《关于中小学学科类校外培训收费标准及有关事项的通知》,明确全省中小学学科类校外培训收费标准,从12月17日起执行。《通知》对全省线上线下学科类校外培训基准收费标准和浮动幅度制定了科学标准。其中,义务教育阶段线···

山西天镇 阳光职业培训学校培养乡村“新农人”乡村振兴添动能

(记者 贺文生) 山西天镇县阳光职业培训学校紧紧围绕乡村振兴战略,按照“政府引导、农民自愿、立足产业、突出重点”的原则,创新高素质农民技能培训方式方法,采取以“授人以渔”的方式,让人才振兴成为助推农业农村现代化的内生动力,以高素质农民引领现···

山西:建立全过程 全链条 无缝隙安全培训制度

黄河新闻网讯(记者杨江涛)日前,山西省应急管理厅下发了《山西省安全培训管理暂行办法》(以下简称《办法》)。我省将进一步抓好安全生产这个基本盘、基本面,推动全省安全培训工作制度化、规范化、科学化,促进安全培训工作高质量发展。山西省应急管理厅厅···

山西:艺考培训机构纳入全国监管平台管理

央广网太原10月6日消息(记者郎麒) 日前,山西省教育厅、省发改委、省公安厅等部门联合制定《加强面向高中阶段学生艺考培训规范管理工作方案》,针对艺考培训的突出特点和实际情况,全面规范艺考培训行为,将艺考培训机构统一纳入全国校外教育培训监管与···

太平财险阳泉中支开展消防安全教育和有限空间作业培训

为强化员工安全意识,进一步提升员工消防和有限空间突发事件应急处理能力,9月14日,太平财险阳泉中支邀请北京市卫民安消防教育咨询中心山西分中心讲师向全体员工开展了一次消防安全教育和有限空间作业课程培训。按照防消结合、预防为主的原则,本次讲座通···

山西省数字化转型贯标试点工作宣贯培训会在太原举行

  10月20日消息,山西省数字化转型贯标试点工作宣贯培训会在太原举行。省工信厅介绍,作为国家数字化转型贯标试点省份,试点启动后将引导企业加快数字化转型,助力制造业高端化、智能化、绿色化发展。  今年,工信部启动数字化转型贯标试点工作,我省···

山西马兰花创业培训讲师大赛收官 太原市获多个奖项

山西新闻网8月31日讯(记者 冯耿姝)8月29日,山西省第四届马兰花创业培训讲师大赛圆满收官,太原市代表队在比赛中分获多个二、三等奖和优秀奖。本届大赛以“启迪创新思维·激发创业梦想”为主题,全省共有56名教师晋级复赛,其中,太原市有7名选手···