好消息:充100元自动升级代理商即可购买且享受全网低价。
空包网站制作

53空包网:实验环境

2019/10/8      来源: 空包网
53空包网:实验环境
  53空包网:本文实验的运行环境配置:操作系统版本为macOslO.13.,CPU为Intel Core i5, 1.6 GHz,神经网络由 Python2.7+Tensorflowl.l2.0+Keras2.2.4 实现,机器学习 由python库sklearn实现,Prophet算法由Facebook开源库python版本实现。
  
  53空包网:实验数据
  
  实验原始数据集来源于真实的电商集群,通过分布式链路追踪技术收集,该 应用集群包含超过一千台容器,以分钟为频率对集群进行采样。本文利用三份不 同时间段(9月〜2月期间)的原始数据进行算法检验,每份数据包含40天的训 练数据和后7天的测试数据。在前两份数据集中,预测集同训集保持了较好的数 据一致性;在最后一份数据中,需要预测的7天数据与训练数据模式不一致,时 间序列总体趋势快速下降,本文用这份异常数据来验证算法的稳定性与鲁棒性。 原始的数据存在以下一些问题需要进行预处理:(1)时间序列的平稳性很差,数 据抖动严重,有很多毛刺;(2)由于网络丢包等原因,原始数据最高有20%的 缺失率,虽然数据填充方法可以补全时间序列,但也很可能给数据引入新的噪 声;(3)流量预测可利用的属性较少。在交通等流量预测场景中,本文可以利用 风速、地理、传感器等多维度数据进行预测。而对于电商集群中的应用,尤其是 入口应用,汇集了成千上万外部用户的访问请求,本文能利用的信息只有集群流 量序列和时间戳。本文通过特征工程解决以上数据集中存在的问题。首先对原始 序列进行平滑处理,在平滑窗口内选择最大值。一方面是因为安全与稳定是生产 型云集群的基础,允许损失少量精度换取更高的稳定性;另一方面平滑处理大大
  
  降低了数据抖动,并将2%〜20%的数据缺失降低到0%,避免了填充算法引入 新的噪声。本文使用滑动窗口进行平滑处理,即从起始点设置一个固定时间长 度的窗口,按照分钟向后滑动,取窗口内最大值就得到了近似的平滑时间序列。 本文将时间窗口大小设为5分钟,选择这个窗口长度有两个原因:(1) 5分钟时 间相对原始数据足够小,上包络与原始时间序列几乎重合,保留了所有重要的特 征。(2) 5分钟对于资源调整是一个较细的粒度,主流调度框架(如Kubernetes) 的动态调整默认时间间隔为5分钟[14],实际资源调整过程中还需要完成扩容/缩 容准备、网络传输等中间步骤,因此时间会更长。随后,数据集被归一化到均值 为〇,方差为1的空间中。此外,本文对数据进行了特征扩展,充分利用星期、 时刻(分钟)等时间信息作为补充维度来提升准确度。
  
  巨邦空包网 www.szjub.net
上一篇:空包网黑产:教你几招防范“网络黑产”    下一篇:4y4空包网:不确定性估计问题描述