数据分析领域中最为人称道的七种降维方法
2015-09-30 23:51:48 来源: 浙江易网科技股份有限公司(杭州)
近来由于数据记录和属性规模的急剧增长,大数据处理平台和并行数据分析算法也随之出现。
近来由于数据记录和属性规模的急剧增长,大数据处理平台和并行数据分析算法也随之出现。于此同时,这也推动了数据降维处理的应用。实际上,数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。
最新的一个例子是采用 2009 KDD Challenge 大数据集来预测客户流失量。 该数据集维度达到 15000 维。 大多数数据挖掘算法都直接对数据逐列处理,在数据数目一大时,导致算法越来越慢。该项目的最重要的就是在减少数据列数的同时保证丢失的数据信息尽可能少。
以该项目为例,我们开始来探讨在当前数据分析领域中最为数据分析人员称道和接受的数据降维方法。
缺失值比率 (Missing Values Ratio)
该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。因此,可以将数据列缺失值大于某个阈值的列去掉。阈值越高,降维方法更为积极,即降维越少。
最新报道
- “易网情深”吕洋波: 不想创业的码农不是好...12/22
- 15家大数据公司被调查,行业面临大清洗?...12/22
- 万亿规模大数据变现的中国路径选择...12/22
- 大数据时代,选择易网就是选择了财富...12/22
- 易网股份新三板挂牌上市 2016年1-2月营收29...12/22
- 易网科技与浙大网新建立战略合作伙伴关系...12/22
- 吕洋波:易网科技会成功12/22
- 易网CEO吕洋波12/22
最新新闻
- 易网股份的核心竞争力12/22
- 浙江易网科技股份有限公司的大数据...12/22
- 浙江易网董事长吕洋波一文讲透区块链技术原...12/22
- 易网股份新三板挂牌上市 2015年1-12月营业...12/22
- 易网CEO吕洋波的“经济学”12/22
- 商企通CEO吕洋波:学习腾讯的“微创新”...12/22
- 首次公开《时尚周末》专访易网CEO吕洋波的...12/22
- 易网CEO吕洋波(商企通在线客服)...12/22
最新动态
- 大数据如何驱动企业发展12/22
- 2015年商业智能领域有五大趋势12/22
- 数据分析领域中最为人称道的七种降维方法...12/22
- 移动医疗O2O:看上去很美?12/22
- 如何提高微信公众号流量主收入...12/22
- 如何0成本搞定10000铁杆消费者,让网络营销效...12/22
- 从柴静事件看微博力量?今后“剁手”靠“刷脸...12/22
- 致那些即将失业的广告人12/22
最新技术
- 在大数据圈你不知道的15个新技术...12/22
- HTML 5 终于定稿,八年后我们再一次谈谈怎么...12/22
- 大数据时代的商业智能12/22
- Swift 2.0初探:值得注意的新特性...12/22
- 详解Swift 2.0(一):苹果做的25项改变...12/22
- 我应该直接学Swift还是Objective-C?...12/22