智能家居数据存储和分析

河姆渡双十二活动开始啦！

大数据分为大数据存储和大数据分析，属于两种截然不同的计算机技术领域，大数据存储用于大数据分析。大数据存储重点在于研发可以扩展至PB甚至EB级别的数据存储平台；大数据分析关注在最短时间内处理大量不同类型的数据集。目前无论是大数据存储还是大数据分析，都已经成为帮助企业主业务的关键应用。在智能家居领域，例如家庭数字网络摄像头的云端存储，音视频设备背后的云端流媒体，家庭电量实施云端监测等等，都在大规模使用云存储和分析技术


智能家居系统的所产生数据的包含面非常广，既有硬件传感器的数据、也有硬件本身的数据运行状态、也有用户和硬件交互的数据，还有用户通过APP等客户端产生的数据、更有用户自身的使用习惯和生活场景的数据等等，这就导致整体的智能家居所产生数据的积累速度和量都很大，传统存储技术无法满足，需要采用分布式大规模的云存储架构，以满足未来高速发展和创新需求，所以云存储技术的逐渐发展与应用也为智能家居的发展迎来了广泛的关注。


面向智能家居大数据云存储系统主要由逻辑控制模块、用户访问模块、存储模块、文件读/写模块和面向智能家居的大数据云存储模块。


逻辑控制模块：是整个面向智能家居大数据云存储系统的核心，是逻辑处理的枢纽，各业务请求均在该模块中被处理。


用户访问模块：是智能家居中的用户和云储存系统交互的纽带，利用该模块可以透明地为用户提供底层实现的各项功能。


存储模块：为新一代智能家居云存储系统提供了透明的存取功能。文件读/写模块主要负责将上层逻辑处理和底层存储进行隔离。


逻辑结构：请求处理后传输至存储模块，再由存储模块发送到面向智能家居的大数据云存储模块，在该模块中实现大数据云存储。


每一个数据都有一个ETL，就是抽取、转化，然后去加载，包括做数据的清洗。如果数据大批量进来，有些数据可能是有问题的。在大数据分析前期做好数据清理工作，做规范化，这样后面的数据分析起来就方便很多。


河姆渡双十二活动开始啦！

来源于河姆渡网站，更多信息可以查看河姆渡网站哦！