斑马数智,采用“参考”各种数据来源去获取信息的技术方案,通过将各种数据源进行整合,以提高数据的准确度。斑马数智拥有专业的数据清洗过滤技术,可以有效识别和清除失效和干扰数据,从而达到建模分析可用的标准。
斑马数智通过Spike Detection和Noise Clean的内部过滤技术,可以识别并处理因GPS点漂移或者失效导致的异常数据,并对GPS噪声进行过滤处理。
不同手机传感器精度不同,直接使用误差会非常大。斑马数智采用动态扩展卡尔曼滤波器实现传感器信号自动降噪,很大限度保留了原始sensor提供的信息,通过对sensor数据的分析计算以判断或预测当前用户的行为。
通过业界高质量的基准地图,结合移动设备的禁止和移动状态得出数亿个准确的真实兴趣点。利用神经网络及马尔科夫链技术,抽取不同行为模式对应sensor信号的74种特征及特征变迁规律,实现用户行为判断。
为满足处理大数据的大规模性、多维度性、价值密度低、时效要求高、数据质量层次不齐的5V特性,斑马数智在基于目前主流的开源大数据Hadoop、Spark、 Flink、Tensorflow等平台基础上,改造和运维搭建了一套支持实时/离线数据计算、深度学习、价值挖掘、交互式查询的大数据综合平台,可处理PB级别的数据。