网络大数据:现状与展望 (下)(3)
新型的IT基础架构.网络大数据对于系统,不 管是存储系统、传输系统还是计算系统都提出了很 多苛刻的要求,现有的数据中心技术很难满足网络 大数据的需求.因此,需要考虑对整个rr架构进行 革命性的重构.而存储能力的增长远远赶不上数据 的增长,因此设计最合理的分层存储架构,不仅满足 scale-up 式的可扩展性,而且还能满足scale-out式 的可扩展性,已成为rr系统的关键.在大数据时 代,rr系统需要从数据围着处理器转改变为处理能 力围着数据转,将计算推送给数据,而不是将数据推 送给计算.此外,网络大数据平台(包括计算平台、传 输平台、存储平台等)是网络大数据技术链条中的瓶 颈,特别是网络大数据的高速传输,需要革命性的新 技术.
数据的安全和隐私问题.数据有价值,有价值 就可能产生争夺和侵害.只要有数据,就必然存在安 全与隐私的问题.随着数据的增多,网络大数据面临 着重大的风险和威胁,需要遵守更多更合理的规定, 而传统的数据保护方法无法满足这一要求.因此,面 对网络大数据的安全与隐私保护,有大量的问题急 需得到解决,具体包括:数据计算伦理学、数据密码 学、分布式编程框架中的安全计算、远程数据计算的 可信任度、数据存储和日志管理的安全性、基于隐私 和商业利益保护的数据挖掘与分析、强制的访问控 制和安全通信、多粒度访问控制以及数据来源和数 据通道的可信等.
8总结
“人、机、物”三元世界融合的网络空间(Cyber space)中的网络大数据存在数据规模巨大、数据关 联复杂、数据状态演变等显著特征.其规模和复杂度 的增长远远超出了符合摩尔定律增长的机器处理和 计算能力.网络大数据带来了宝贵机遇,同时也存在 着巨大挑战.本文从网络大数据的复杂性、不确定性 和涌现性3个方面展开讨论,详细分析了这些特性 给网络大数据的深度分析和价值利用带来的影响. 本文梳理了网络大数据研究体系,从网络空间感知 与数据表示、网络大数据存储与管理体系、网络数据 挖掘和社会计算以及网络大数据平台系统与应用 4个方面回顾了相关领域的新近发展,探讨了网络 大数据研究方向和所面临的挑战,并展望了未来的 主要研究方向.总之,与传统研究工作相比,网络大 数据在各个层面的差异都非常显著.尽管目前已经 有一些探索性的研究工作,但是总体上来说,网络大 数据的研究还很年轻,尚有诸多问题亟待解决.
致谢本文的部分观点来自于香山科学会议第 424次学术讨论会以及中国计算机学会大数据专家 委员会针对大数据与网络大数据的深入讨论,本文 的撰写还得到了孙晓明、郭嘉丰、沈华伟、兰艳艳等 中国科学院计算技术研究所同事的大力支持,作者 对相关专家与学者一并表示衷心的感谢!
参考文献
[1] Li Gu〇-Jie, Cheng Xue -Qi. Research status and scientific thinking of big data. Bulletin of Chinese Academy of Sciences,2012,27(6) : 647-657(inChinese)
[2] Big data. Nature,2008,455(7209): 1-136
[3] Dealing with data. Science,2011,331(6018) : 639-806
[4]Holland J. Emergence: From Chaos to Order. Redwood City,California: Addison-Wesley,1997
[5] Anthony J G Hey. The Fourth Paradigm: Data-intensive Scientific Discovery. Microsott Research,2009
[6] Phan X H,Nguyen L M, Horiguchi S. Learning to classify short and sparse text & Web with hidden topics from large- scale data collections//Proceedings of the 17th International Conference on World Wide Web. Beijing, China, 2008 : 91-100
[7] SahamiM,Heilman T D. A web-based kernel function for measuring the similarity of short text snippets//Proceedings of the 15th International Conference on World Wide Web. Edinburgh,Scotland,2006: 377-386
[8] Efron M, Organisciak P, Fenlon K. Improving retrieval of short texts through document expansion//Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieval. Portland,OR,USA, 2012: 911-920
[9]HongL,Ahmed A,Gurumurthy S,SmolaAJ,Tsioutsiou- liklis K. Discovering geographical topics in the twitter stream//Proceedings of the 21st International Conference on World Wide Web (WWW 2012). Lyon,France,2012:769-778
[10] Pozdnoukhov A,Kaiser C. Space-time dynamics of topics in streaming text//Proceedings of the 3rd ACM SIGSPATIAL International Workshop on Location-Based Social Networks. Chicago, IL,USA,2011: 1-8
[11] Sun Yizhou,Norick Brandon, Han Jiawei,Yan Xifeng,Yu Philip S,Yu Xiao. Integrating meta-path selection with ^^er- guided object clustering in heterogeneous information net- works//Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Beijing,China,2012: 1348-1356
[12]Hastie T,Tibshirani R,Friedman J. The Elements of Statistical Learning. New York: Springer,2009
[13] Meinshausen N,YuB. Lasso-type recovery of sparse repre?sentations for high-dimensional data. The Annals of Statistics,
2009, 37(1): 246-270
[14] Zhou Ao-Ying,Jin Che-Qing,Wang Guo-Ren,Ll Jian- Zhong. A survey on the management of uncertain data. Chinese Journal of Computers? 2009, 32(1) : 1-16(in Chinese)
[15] Abiteboul S,Kanellakis P C,Grahne G. On the representa?tion and querying of sets of possible worlds. Theoretical Computer Science,1991,78(1): 158-187
[16] Koller D, FriedmanN. Probabilistic Graphical Models: Prin?ciples and Techniques - Adaptive Computation and Machine Learning. Cambridge,MA: The MIT Press,2009
[17]Aggarwal C C. Managing and Mining Uncertain Data.
Berlin: Springer Publishing Company,Incorporated,2009计 算
[18] Wang Quan,Xujun,Lillang,Craswell Nick. Regularized latent semantic indexing//Proceedings of the 34th Interna?tional ACM SIGIR Conference on Research and Development m Information Retrieval (SIGIR? 11). Beijing,China,2011: 685-694
[19] Mackey L, Talwalkar A,Jordan M I. Divide-and-conquer matrix factorization//Proceedings of the 25 th Annual Con!er- ence on Neural In.formation Processing Systems (NIPS).
Granada, Spain, 2011 : 1134-1142
[20] Gershman S, Blei D. A tutorial on Bayesian nonparametric models. Journal of Mathematical Psychology,2012,56(1): 1-12
[21] Kulis B,Jordan M I. Revisiting 是-means: New algorithms via Bayesian nonparametrics//Proceedings of the 29th Inter?national Conference on Machine Learning(ICML). Edinburgh,
UK,2012
[22] Yaneer Bar-Yam. A mathematical theory of strong emer?gence using multiscale variety. Complexity, 2004, 9(6):
15-24
[23] Bedau Mark A. Weak emergence. Nous, 1997, 31(sl1): 375-399
[24] Chalmers David J. Strong and Weak Emergence. Oxford: Oxford University Press,2002
[25] Ilenrya Adam Douglas,Pralat Paweg Zhangvol Cun-Quan. Emergence of segregation in evolving social networks. Proceedings of the National Academy of Sciences, 2011, 108(21): 8605-8610
[26] Bergman M K. White paper:The Deep Web:Surfacing
hidden value. Journal of Electronic Publishing,2001,7(1). DOI: <http://dx.doi.org/10>. 3998/3336451 0007. 104
[27] Florescu D,Levy A,Mendelzon A. Database techniques for the World-Wide-Web: A survey. SIGMOD Record,1998, 27(3): 59-74
[28] Fan Wenfei. Data quality: Theory and practice//Proceedings of the 2012 International Conference on Web-Age Information Management(WAIM? 12). Harbin,China,2012: 1-16
[29] Fan Wenfei, Geerts Floris. Foundations of data quality management.Synthesis Lectures on Data Management, 2012, 4(5): 1-217
[30]Fan Wenfei. Dependencies revisited for improving data quality//Proceedingsof the27th ACM SIGMOD-SIGACT- SIGART Symposium on Principles of Database Systems (PODS,08). Vancuver,Canada,2008: 159-170
期刊库(http://www.zgqkk.com),是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导,寻求投稿辅导合作,快速投稿辅导,投稿辅导格式指导等解决方案:省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。
【免责声明】本文仅代表作者本人观点,与投稿辅导_期刊发表_中国期刊库专业期刊网站无关。投稿辅导_期刊发表_中国期刊库专业期刊网站站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。
投稿辅导服务咨询与期刊合作加盟
陆老师联系QQ:
蒋老师联系QQ:
刘老师联系QQ:
联系电话:18015016272
17327192284
投稿辅导投稿邮箱:zgqkk365@126.com
期刊推荐
- 《校园英语》旬刊 省级 教育类学术期刊
- 《吉林教育》旬刊 省级 教育类学术期刊
- 《文教资料》 旬刊 省级
- 《科技风》半月刊 省级 科技类优秀期刊
- 《价值工程》旬刊 国家级 科技统计源期刊
- 《中国实验方剂学杂志》 半月刊 北大核心
- 《电影评介》半月刊 14版北大核心
- 《社科纵横》季刊 社科类优秀期刊
- 《求索》月刊 14版北大核心期刊
- 《中华建设》月刊 国家级 建设类优秀期刊
- 《继续教育研究》月刊 北大核心期刊
- 《网络空间安全》(信息安全与技术)月刊 国
- 《新闻传播》月刊 省级 新闻类优秀期刊
- 《财会月刊》旬刊 14版北大核心
- 《体育文化导刊》月刊 体育类双核心期刊
- 《机械研究与应用》双月刊 省级 机械应用类
- 《公路交通科技》 月刊 北大核心
- 《教学与管理》旬刊 北大核心
- 《新课程研究》旬刊 省级 教育类优秀学术期
- 《中国医药指南》 旬刊 国家级
- 《高教论坛》 月刊 省级
- 《课程教育研究》 旬刊 国家级
- 《语文建设》 旬刊 14版北大核心
- 《教育发展研究》 半月刊 双核心
- 《学术界》 月刊 双核心


