5 大数据技术

　　大数据环境下，数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。然而，传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理；传统的并行数据库技术追求高度一致性和容错性，难以保证其可用性和扩展性；传统的数据处理方法是以处理器为中心，而大数据环境下，需要采取以数据为中心的模式，减少数据移动带来的开销。

　　在数据采集方面使用的新方法有以下几种。

　　系统日志采集方法：用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。

　　网络数据采集方法：用于非结构化数据的采集，将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。

　　其他数据采集方法：对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。

　　6 大数据工作的开展

　　第一个是完善信息采集平台。充分利用物联网等技术，使越来越多的基础设施具备信息自动采集和迅捷采集的能力，便于信息的获取更加便捷和高效。扩展采集的设备类型和支持的协议类型，使数据采集的范围和通道越来越广。在此基础上，打破各行业的信息资源壁垒，实现信息资源的高度整合和共享。

　　第二个是加强大数据分析和挖掘。大数据如何为我所用，如何体现价值，缺少大数据分析光有一堆大数据的堆积和存储是没有任何意义的。我们应结合重点行业，如水利、交通、城管、公共安全，推动这些行业的大数据分析和预测挖掘系统，并以典型行业和典型项目为基础逐步扩展。

　　第三个是推动大数据可视化。现代城市产生的数据量非常大，对数据价值的挖掘不能只依靠数字和报表，大数据可视化有助于帮助用户更形象地分析、挖掘数据的价值。通过数据可视化方式，包括GIS和专业图形的可视化方式，用非常直观的方式帮助业主去获取数据价值，从而分析、挖掘数据中间的关系和趋势。数据可视化方式是我们未来发展的重点。

　　参考文献

　　[1] 维克托·迈尔-舍恩伯格.大数据时代：生活、工作与思维的大变革[M].盛杨燕，周涛，译.浙江：浙江人民出版社，2013.

　　[2] 孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013， 50（1）：146-169.

　　[3] 李芬，朱志祥，刘盛辉.大数据发展现状及面临的问题[J].西安邮电大学学报，2013，18（5）：100-103.

　　[4] 王元卓，靳小龙，程学旗.网络大数据：现状与展望[J].计算机学报，2013，36（6）：1125-1134.

　　[5] 王珊，王会举，覃雄派，等.架构大数据：挑战、现状与展望[J].计算机学报，2011，34（10）：1741-1751.

　　[6] 李战怀，王国仁，周傲英.从数据库视角解读大数据的研究进展与趋势[J].计算机工程与科学，2013，35（10）：1-10.

---

期刊库（http://www.zgqkk.com），是一个专门从事期刊推广、投稿辅导的网站。
　　本站提供如何投稿辅导，寻求投稿辅导合作，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。

---

　　【免责声明】本文仅代表作者本人观点，与投稿辅导_期刊发表_中国期刊库专业期刊网站无关。投稿辅导_期刊发表_中国期刊库专业期刊网站站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。