优秀课件推选大数据简介应用及技术简述.ppt
《优秀课件推选大数据简介应用及技术简述.ppt》由会员分享,可在线阅读,更多相关《优秀课件推选大数据简介应用及技术简述.ppt(28页珍藏版)》请在启牛文库网上搜索。
1、大数据技术与应用什么是大数据Part 1 什么是大数据何为大?数据度量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024 PB = 1,048,576 TB = 1,152,9
2、21,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes数据没有办法在可容忍的时间下使用常规软件方法完成存数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务储、管理和处理任务Part 1 什么是大数据大数据定义:大数据定义: 所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点主要的特点
3、: :Volume 数据体量Velocity 数据速度Variety 数据多样Veracity 数据真实4V4V特征特征Part 1 什么是大数据大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据的特征大数据的特征Part 2 大数据的特征Big Data大数据Volume非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍数据量体Value大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能)数据价值Vari
4、ety大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义数据多样 Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效数据速度Part 2 大数据的4V特征Volume1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下,大数据是以PB、EB、ZB为单位进行计量的Part 2 大数据的4V特征Velocity大数据的处理速度快实时数据流处理
5、的要求,是区别大数据引用和传统数据仓库技术,BI技术的关键差别之一;1s 是临界点,对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的;82254132215327现在及未来几年内美国的移动网络数据流量增长(PB/月)源自英国Coda研究咨询公司大数据的增长速度快Part 2 大数据的4V特征Variety行业/企业内数据互联网数据物联网数据大数据数据来源多数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起,带来了微博、社交网站、传感器等多种来源。数据类型多数据类型多保存在关系数据库中的结构化数据只占少数,7080%的数据是如图片、音频、视频、模型、连接信息、文
6、档等非结构化和半结构化数据。关联性强关联性强数据之间频繁交互,比如游客在旅行途中上传的图片和日志,就与游客的位置、行程等信息有了很强的关联性。Part 2 大数据的4V特征Value价值密度低(Value)价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息大数据技术简介及现况大数据技术简介及现况Part 3 大数据技术简介数据采集数据预处理数据存储数据分析挖掘数据可视化实时处理Spa
7、rkStorm机器语音R语言关联分析用户画像构建推理预测知识图谱2D法时间可视化多维法层次法分布式架构HadoopMapReduce数据库体系NoSQLNewSQLMPP混合架构Lambda架构数据清理遗漏值处理噪音数据数据集成实体识别数据冗余数据归约维度归约数值归约硬件采集传 感 技 术 RFID软件采集系统日志抓取企业特定API、网络众包Part 3 大数据技术现况大数据技术现况 将在三个环节分层突将在三个环节分层突破破采集端多源数据融合社交数据、IOT数据等外部数据与企业内部数据融合拉通运营化发展通过长期采集积累海量数据资源的企业实现数据联合运营分析端处理实时化针对网络视频化潮流,更加强
8、化对实时流数据的处理能力高效化数据量的不断增加,云端处理API结合后台支撑将使数据处理更加高效应用端智能化以机器学习作为核心,将实现对用户需求的自我理解和智能迭代云端化云计算和移动互联网将促进大数据应用从2B市场迅速推广到2C市场Part 3 大数据及其关联技术物联网物联网云计算云计算大数据大数据物联网是大数据的重要来源大数据技术为物联网数据分析提供支撑云计算为物联网提供海量数据存储能力物联网为云计算技术提供了广阔的应用空间云计算为大数据提供了技术基础,大数据为云计算提供用武之地 云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系大数据应用大数据应用Part 4大数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 优秀 课件 推选 数据 简介 应用 技术 简述