针对公安民警开展数据建模方法的研究和实践

导  读

2018年3月，公安部科技信息化局以公安基层技术革新奖推荐评选为载体，以公安大数据建设应用为主线，组织开展了“智慧公安我先行”全国公安基层技术革新专项活动。新智认知自主研发的产品“自主数据建模的可视化工具——数模空间”，助力江苏省淮安市公安局一线民警黄河清成功在此次技术革新专项中获奖。其创新成果《针对公安民警开展数据建模方法的研究和实践》，亦被刊载于由公安部第一研究所主办的专业杂志《警察技术》中，现将原文转载如下。

针对公安民警开展数据建模方法的研究和实践

黄河清    江苏省淮安市公安局

摘   要：近年来，随着物联网、大数据等技术的飞速发展，公安机关掌握的数据资源越来越丰富，对于利用数据支撑业务工作的需求也日趋旺盛。通过搭建可视化建模工具，探索公安民警借助工具理解和操作数据，对数据开展基于业务逻辑的自定义建模方法，解决业务专家无法直接开展数据建模的难题。

关键词：数据模型   可视化建模   科技创新

引言

在公安业务场景中，民警会从多个信息系统中查询数据，并依据查询结果进行综合分析，做出判断。传统的解决方法是建设一个通用的全文检索系统，对整合后的数据进行综合展现，或是建设定制化的业务信息系统，将业务逻辑封装成为应用模块。这两种方法虽然大大提高了数据对公安工作的支撑作用，但是因为传统信息化开发周期长、架构封闭等问题，导致其难以跟上公安工作随社会发展的演进速度；同时因为在大部分开发过程中，公安机关仅作为需求提供者，导致很多业务模型随系统生命周期结束，无法得到有效的沉淀和积累。

本文旨在探索一种面向广大民警的可视化建模方法，通过放开数据操作权限、赋予可视化建模能力，催生更多警务应用模型。

公安数据模型

从海量数据中发现案件线索的蛛丝马迹，从茫茫人海中找出侦查对象的关联关系，在感知网络中预测未来的社会治安态势，数据对于公安机关来说远不只是存储在物理介质之上的二进制代码。随着警务云基础设施环境逐步成熟，业务信息壁垒逐渐打破，数据标准化程度越来越高，警务数据模型也经历着从传统应用中剥离解耦，从面向应用到面向业务的转变。

业务模型

在绝大部分的公安应用场景中，业务逻辑是支撑数据模型的绝对标尺。以接处警为例，民警在到达现场处置警情之前，都希望能够获得充足的信息，以帮助民警对警情做出准确的判断，选择合适的处置策略，避免发生人身财产安全损失或是遭遇投诉。图1描述了一个报警电话分析模型。报警电话经过与号码资源比对，核实出报警人的真实身份，关联历史涉警记录、身份标签和威胁程度，通过警情内容的关键字提取，明确警情类型和级别，并推送警情处置规范流程。

图1 报警电话分析模型

除法律有明确规定的以外，在人口管理、案件侦破、巡逻防范等许多业务工作中，公安机关通过多年的经验积累、凝练和总结，形成了大量的实用技战法。这些技战法无一不包含着深刻的业务智慧，而业务模型正是这种智慧的有效载体，通过程式化的业务流程对多样化的输入数据进行计算，将业务智慧转化为指导性结果，便于迅捷、精准开展工作。在笔者的实践过程当中，即使是面对同一个场景，不同的业务民警也有可能提出不同的业务模型，且难以区分优劣，传统的应用开发方式需要明确的需求，最后势必只选其一，且可编辑性较差；但面向业务的数据建模方法为模型的原创民警提供了更加开放的平台，组合自由，随想而就，思想间的碰撞也让模型得以更加完善。

数据治理模型

因为公安业务的复杂性，其数据来源种类也较为丰富，直接导致的结果就是公安数据融合与深度挖掘的难度成倍增加。一个最简单的例子，因警综平台和全国在逃系统中使用的案件类型字典不同，分析一个网上在逃人员在本地有哪些同类案件嫌疑人就变得尤为困难。图2以案件信息数据治理为例描述了常用的数据治理流程。以协同办案系统、警情回访系统、案件加工系统、现场勘验系统等将相关案件信息进行主题数据抽取和整理，建立案件档案库，形成案件警务信息、案件社会信息、案件文书信息等应用专题库。通过涉案人员、涉案物品、涉案法人等信息建立案件与人员、物品、组织机构等其他公安主题信息之间的关联关系。

图2 案件信息数据治理

各类多源异构数据经过治理融合，再根据业务场景需要分级分类进行存储，为业务工作提供可用性强、关联度高、易于理解的数据基础。

AI算法模型

目前，AI算法模型在公安行业的成功案例主要还是在人像识别、车牌识别等领域，在其他业务场景中AI模型应用较少。事实上，使用机器学习算法对传统模型进行优化，都会促使业务模型趋向精准，算法选型和使用关键还是对机器学习算法本质的认识，通过数学方法寻找梯度提升的方向，找出符合客观实际的最优解。例如情报的积分模型，通过事件触发积分的加减，可以表达为

其中共有N类事件，每类事件产生的积分为wi，事件频次为xi，传统方法是以经验设定各事件产生的积分wi，而如果以经验值作为初始值，设定一定量样本的标签值，用线性回归求解或是通过梯度提升方法，都可以让模型的效率得到提升。

深度学习方法的出现，使得非线性的关系也可以被学习，削减甚至避免了繁琐的特征工程。还是以积分模型为例，按照一般的思维习惯，事件发生触发积分的增加，同样的，一段时间没有任何事件，代表态势趋向平稳，积分应该衰减。一元线性回归无法很好的表达出随时间衰减的概念，使用长短期记忆网络重新设计模型，让模型对时间较近的事件更为敏感，则更加符合业务的实际场景。

整体架构

图3描述了大数据建模的整体架构。数据运维管理人员通过建立数据汇聚机制，将生产数据向数据中心仓库汇聚，清洗标准化后形成数据资源目录，通过面向广大民警提供高自由度、可视化地数据建模工具，将民警创作的数据模型进行统一管理，并最终以数据服务、定向推送、大屏展示等形式进行结果的展现和应用。

图3 大数据建模整体架构

资源适配层

依托淮安市局已有的公安网和警务云计算平台，大数据可视化分析挖掘平台不再建设独立的数据中心，而是通过适配器与市局已建的警务云计算平台进行无缝对接，完成数据的读写，充分利用警务云资源，避免出现数据中心重复性建设的问题。适配器包含中间件服务、环境调试、HDFS接口开发、SPARK sql接口开发、Kerberos接口开发、元数据接口开发等组件。

图4 与警务云平台适配架构图

数据流图

大数据可视化分析挖掘平台以spark sql形式使用警务云数据，将分析完的结果数据存储在警务云大数据平台中。

图5 数据流向图

可视化建模分析组件

可视化建模分析组件是为民警提供一个数据比对分析的可视化工具。民警可以根据自己的思路，注入到可视化建模分析组件中，根据经验形成一个成熟的数据研判模型，并利用相关线索作为条件，形成比对任务，最终达到缩小目标范围，辅助民警完成数据研判排查的目的。

可视化建模分析组件能实现对海量数据的建模分析与数据间的深度挖掘。使用者可以根据自己的业务需要结合大数据综合分析研判工具中提供的强大功能，灵活配置分析模型。支持一键运行分析模型生成比对任务，最终结果通过可视化的逻辑结构展示出来。

采用互联网思维大数据技术，通过可操作的可视化、流程化、组合方式建立比对模型，可以实现数据资源的过滤查询、条件碰撞、交集比对、频次分析、数据合并、分类统计、条件过滤等操作。

可视化模型开发引擎具有以下特点：

（1）模型设计多样化。支持通过基础计算组件的自由组合，按照各类统计分析和技战法等实际需求，搭建关联模型、分类模型、聚类模型、预测模型。

（2）建模应用流程化。实现了从模型设计、任务定制，到应用发布、共享评价的完整的建模应用流程。

（3）建模过程可视化。以非技术专业民警可以理解的业务语言对所有基础算法进行封装，通过结果集可视化展示、模型可视化布局、算法可视化调用，实现建模过程零代码，降低民警建模学习成本。

1. 自定义建模工具

自定义建模工具的核心功能由结果集操作组件、自定义条件过滤组件、关联碰撞分析组件、分组统计分析组件、高级分组统计分析组件、偏差分析等组件构成。其中关联碰撞分析中包括对数据集的交集分析、合并结果集分析、差集分析、自连接分析；自定义条件过滤中包括对结果集的二次过滤，函数有等于、小于、大于、区间、模糊查询、精确包含、精确不包含、模糊包含、模糊不包含、自定义正则表达式、字符串截取等函数库。丰富并可扩展的使用手段让分析数据变得简单易操作。

2. 结果集操作组件

添加分析结果集支持各类业务数据，包括excel、csv、oracle、mysql等格式的数据衔接。

3. 比对过滤分析组件

比对过滤分析主要的使用场景在于数据集的二次查询过滤，里面涵盖强大的函数库操作，使用者可按照条件规则使用平台预设函数完成复杂的查询过滤操作，无论易用性还是实用性都很直观。

4. 关联碰撞分析组件

关联碰撞分析支持两个结果集的交集、并集、差集、自连接等操作算法，可自定义比对条件列、自定义结果集的显示列信息。通过灵活的配置达到使用者的要求。

5. 高级分组统计组件

对结果集进行分组统计，并且可在此使用比对过滤中的函数库，自定义分组字段、排序字段、分组聚合字段，自定义列与列的计算算法及每组显示前N条数据。高级分组和普通分组的区别在于，高级分组会把符合分组字段的结果依次展示出来，选择分组字段进行分组。

6. 偏差分析组件

两个结果集可以做偏差分析，可自定义偏差分析的字段、条件、结果集列，支持取正偏差、负偏差、绝对值偏差。偏差分析组件支持两数据源关联比对同时，做时间或者数值类偏差计算（正、负、绝对值）。

7. 数据清洗组件

可对当前模板表/结果集的数据进行自定义清洗，清洗逻辑以流程化图形展现，清洗结果作为新列合并到模板表/结果集中。

8. 自定义建模流程

自定义模型开发引擎具有整套的流程化程序，具有从构建模型、搭建模型任务、模型发布到模型评价的一套完整流程。功能包括模型创建管理和任务的维护管理。定义完的模型，可以一键发布到模型库管理中。在模型库管理中支持对模型评分评价。

9. 可视化模型创建

自定义建模工具提供面向非技术类业务民警的可视化自定义数据应用建模能力，民警可以自主应用授权范围的数据，通过使用可视化建模工具实现建模满足所需的业务数据加工、分析需求。

10. 模型资源目录

模型资源目录用于管理数据关联可视化建模工具和关系网络可视化建模工具构建的数据模型，可对模型进行分类管理，并可对模型对个人和群组中进行授权分享。

11. 模型调度监控

模型调度监控用于运行数据关联可视化建模工具和关系网络可视化建模工具构建的数据模型，并可配置模型运行条件（时间、频次等）。当有源数据更新时，触发模型运行，实时同步运行所有相关模型。模型执行全程可控，及时清晰的展示模型执行进度和错误预警，模型执行后，可查看每个节点的结果集和执行日志。

自主建模案例

为深入开展五项基础管控攻坚工作，及时发现排除风险隐患，淮安市局大数据管理支队借助智慧城市建设有利契机，深入开展社会面信息整合挖掘，以大数据为支撑，通过数据建模主动发现外地流入人员，有力提升了我市出租房屋和流动人口管理工作。

1. 实有人口数据归集

将水电气缴费信息、购房信息、社保信息、市民卡信息、卫计委信息、移动实名制登记信息等与居民生活相关数据整合，通过身份有效性检验、无效数据筛除、时间格式对标等方式，刻画出以居民身份证为主键的我市所有居民的生活信息归集。

图6 实有人口数据归集

2. 失控流动人口挖掘

通过与常住人口、居住证信息比对，发现近期仍有活动记录但没有被公安机关掌握的外地人，经比对共发现约100万条流动人口线索，指向12万名外地人口。

图7 失控流动人口挖掘

3. 生活信息关联修正

为了便于民警核查，通过号码资源库、地址库、单位库对上述流动人员的住址、单位和电话进行补正，并划分到所辖警务责任区，推送给社区民警开展上门走访核查工作。

通过随机抽选2014名流动人口线索，在清江浦区开展实地查证，共核查其中1870人，及时发现排除风险隐患12个，数据准确率达到92.850%。

图8 生活信息关联修正

应用成效

2016年，淮安市局建设了面向广大民警开展自主数据建模的可视化建模工具——数模空间，共汇聚整合公安内外数据资源500余类。淮安市局通过系统培训、选拔考试，从情报、治安、刑侦等业务条线和基层单位民警中遴选了50名情报分析师，专门开展数据建模工作。在执法办案、人员管控、巡逻防范、交通管理、指挥调度、社区警务、服务民生等方面，搭建了流动人口挖掘分析、人员身份背景核查、嫌疑人员关系挖掘等123个数据模型。

在精确打击方面，通过模型自动将在逃人员与感知网络数据进行计算，并根据民警管辖权限和实时位置将结果直接推送到一线民警手机终端，抓获多名在逃人员和犯罪嫌疑人，改变了传统的民警要在多个平台进行预警布控和值守平台再发布预警指令的方式，大大提高了处置的效率。

在社会管理方面，通过智能模型计算，从海量数据中发现疑似未登记的外地居住人口，并推算出相关身份信息，划分到责任区，改变了以往民警扫楼登记的工作方式，引导民警有针对性地开展上门核查工作，极大的减少了警力资源的浪费。

在服务民生方面，采取政府数据集中向公安网汇聚，在公安网内进行模型计算再输出结果的方式，为阳光扶贫、社保卡更换、政府一张网工程等多项重点工作提供数据服务，免去了群众办事需要来回开证明的尴尬。

淮安市局不断探索公安民警自主建模之路，让广大民警从数据模型的应用者变成了数据模型的创作者，在实战工作中取得了良好的成效。

参考文献：

[1] 李真子,袁安心.基于可视化的建模技术研究[J].计算机工程, 2001(01):180-181+190.

[2] 卢怀农. 嫌疑人物品信息智能采集方法研究[J].警察技术, 2016(4):83-86.

声明：本文来自一体化指挥调度国家工程实验室，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 [e-mail]。