一种基于贝叶斯网络定位HDFS关键低效函数的性能分析方法
首页 企业 产品 技术 资讯 图库 视频 需求 会议 活动 产业
一种基于贝叶斯网络定位HDFS关键低效函数的性能分析方法
来源:北方有色网
访问:992
简介: 本发明涉及一种基于贝叶斯网络定位HDFS关键低效函数的性能分析方法,被广泛采用的大数据应用平台如Hadoop和Spark,都把HDFS(Hadoop Distributed File System)作为默认的分布式文件系统。而分布式文件系统在对上层应用提供支持时,会因自身某些函数的低效,导致整个大数据应用执行效率较低,检测这些关键的低效函数有助于大数据应用开发人员改善大数据应用性能。本发明提出的针对HDFS的关键低效函数分析方法,通过对系统插桩得到的函数运行时间以及I/O数据量信息,进行统计学分析,计算这些函数的低效概率,再根据低效概率建立函数的贝叶斯网络找出HDFS源码中值得优化的关键低效函数。
本发明涉及一种基于贝叶斯网络定位HDFS关键低效函数的性能分析方法,被广泛采用的大数据应用平台如Hadoop和Spark,都把HDFS(Hadoop Distributed File System)作为默认的分布式文件系统。而分布式文件系统在对上层应用提供支持时,会因自身某些函数的低效,导致整个大数据应用执行效率较低,检测这些关键的低效函数有助于大数据应用开发人员改善大数据应用性能。本发明提出的针对HDFS的关键低效函数分析方法,通过对系统插桩得到的函数运行时间以及I/O数据量信息,进行统计学分析,计算这些函数的低效概率,再根据低效概率建立函数的贝叶斯网络找出HDFS源码中值得优化的关键低效函数。
0
0
0
0
0
         
标签:物理检测
广州铭谦选矿设备有限公司宣传
广州铭谦选矿设备有限公司宣传
相关技术
评论(0条)
200/200
牛津仪器科技(上海)有限公司宣传
发布
技术

顶部
北方有色网-互联网服务平台-关于我们
Copyright 2025 China-mcc.com All Rights Reserved
备案号:京ICP备11044340号-3
电信业务经营许可证编号:京B2-20242293
京公网安备 11010702002294号