贵州农信人员异常行为智能监督预警系统

获奖单位：贵州农信

荣获奖项：数智应用创新优秀案例、十大网络影响力优秀案例

一、建设背景

银行从最开始的手工处理账务发展到今天的计算机处理账务，内部员工作案一直困扰着各银行管理者，银保监局和人民银行也出台了很多管理制度和案防措施来减少和规避，但还是因为执行和监管不到位，频繁发生内控、监管相关的案件。

1、柜台交易过程的监督是一大监管盲区。解决大额现金交易、空存实转、代客交易、自办交易、本地授权交易授盲权的风险探测和相关视频的实时查看。

2、网点与现金现关的操作环节的监督不到位。卡把、加钞、查库、清机、接钞、交柜的过程监管全靠人工事后（T+N）抽查调看监控视频进行分析判断，抽查面不到1%，且监管效率严重滞后，案防隐患一直存在。若要做到全面、实时的对上述环节进行监管，人力投入非常巨大，有的环节投入再多的人力也不一定能解决关键问题。

3、人员非规范化服务监管无法落地。上班时间玩手机、吃外卖、趴桌睡觉、躺椅子睡觉、翘脚上桌等的监管，需要监管人员到现场突击检查或者通过调监控录像进行人工判别，监管面低于1%。很多网点都把精力放在案件的防范方面，在标准化服务要求方面就停留在制度和会议上。

近年来，生物识别技术的（人脸识别和行为识别）的发展和成熟，运用该技术来解决银行内控管理和服务监督两大痛点成为可能。通过AI赋能为银行更好的提升服务水平、加强风险防控、完善金融服务体系，推动银行内控管理及服务数字化、智能化转型。为了解决以上三点所面临的监管和人力投入相矛盾问题，拟建《人员异常行为智能监督预警系统》，通过此系统的建设，在现有的人力资源配比下，重新整合人力资源，通过“人工智能”的加持及赋能，把内控案防、标准化服务监管、交易过程风险实时探测做到方便、实时、全面、高效。

二、建设目标

（一）内控案防智能化。

内控案防智能化，对银行操作类风险进行实时、全面、智能监管，摆脱了事后人工调阅监控录像的落后现状，提高了效率，对员工产生了强有力的震摄，有效堵住了管理漏洞，提升了银行案防的级别。

1.对于加钞、清机、查库、卡把等操作自动记录，并根据行为模型进行合规性判断；

2.柜台交易过程风险自动预警（空存、空取、授盲权、代客交易、大额现金等）；

3.远程神秘人可以通过平台调看受控的任一摄像头，可远程进行神秘人巡查工作；

4.自动对进入现金区的非本机构人员自动报警。

（二）人员标准化服务（工作）智能监管。

各行（社）已经通过咨询、培训公司，对标准化服务进行了多轮培训，已形成了完善的管理制度，但是在制度的执行过程中，由于不能及时的监管和引导，导致对标准服务的执行不到位。系统建设完成后，可以通过智能监控进行服务标准化监管，智能识别员工的一些不规范行为（比如玩手机、趴桌、抽烟、脚抬上桌等），并自动记录违规证据。通过智能监控技术的引入，节省了监管人力资源的投入，提高了监管的时效性，有力的推动服务标准化的落实。

（三）营业大厅运力分析。

智能的对营业大厅是否按规定开门、关门，是否开晨会，自动统计进出大厅的客流数据，保安、大堂经理是否离岗、下班是否息屏关机、下班关灯检查，客户排队超限提示等。

三、建设规划

（一）智能案防。

1.卡把监管：

利用智能AI技术，自动对每个柜员营业终了之后的卡把过程进行智能监管，首先，自动判断是否双人进行的卡把；其次，是否用点钞机抽查大额现金；第三，卡把过程中钱箱是否打开，如果整个卡把过程以上三条件都满足，认定为合规，如果有其中一个条件不满足，则认定为不合规。

2.交易监控：

系统上线运行之后，在柜员办理交易的过程中，系统会根据预先配置的需要监控的交易类型，对满足条件的交易按设定的模型进行风险探测。

监控交易主要有：大额现金、现场授权交易、大额转账等交易；

主要监控模型有：是否有现金、授权人员是否到位、客户是否在现场等。一旦满足预警条件，向平台实时推送预警信息，监管人员可以通过平台实时、精准、快捷的调取该笔交易的录像进行风险确认。

3.加钞、查库、清ATM机：

利用区域探测模型，对金库、ATM加钞间、指定敏感区域、下班后营业厅等区域进行人员探测预警和自动录像。

以查库为例，当人员进行金库，系统会启动摄像头开始自动录像，人员离开后自动停止录像；然后AI平台基于双人模型对过程影像进行检测，若两个人在同一画面90%以上的时间，视为合格，否则预警到监管平台，平台监管人员审核预警信息，下整改、学习、处罚通知。

（二）标准化服务。

1.违规抓拍：

现在员工的行为监管是靠制度和抽查，要做到全方位监管，投入的人力和时间非常巨大，且投入和产出不成正比。

系统运用行为识别技术和模型（玩手机、趴桌睡觉、躺着睡着、抽烟），在营业（工作）期间，不间断地、实时地对员工的抽烟、睡觉、玩手机等违规行为进行自动化智能监管，自动抓到违规员工的违规证据，并实时推给监管平台进行核实。

2.远程神秘人：

远程神秘人可以通过系统提供的功能，远程调用任一网点的摄像头，并进行行为、操作等规范性监管，节约了去现场的时间成本和路途的舟车劳顿，更能真实的反馈服务现状。

四、主要业务功能

系统功能的设计，借鉴手机APP的设计理念（所见即所得）把日常监督、管理常用的操作都集中在一张可视化的监管大屏上，采用直观的展现方式，便捷的操作模式，使用者无需培训就可以进行系统操作和使用。

（一）交易复检员。

1.职能：对在银行柜台发生的且满足复检规则（自定义）的交易，进行现金、本地授权、客户是否来柜、现金来源等要素的复检，并对复检不通过的交易向平台预警提醒。

2.提供功能：空存、空取、授盲权、客户是否来柜、是否出现现金、预警集中提醒、人工复检、操作视频精准回看、报表等。

3.复检主要交易：大额现金、大额转账、本地授权交易、对公大额交易。

（二）现金督查员。

1.职能：对银行网点和现金相关的操作过程按银监、人行或总行制度要求，对操作的动作、过程、流程、人数、时长等进行自动督查，对不合规的操作实时向平台预警提醒。

2.提供功能：预警集中提醒、人工审核、操作视频精准回看、任务提醒、报表等。

3.督查操作：歇柜卡把、定期查库、日常出入库、加钞、接钞、清机、重要区域监管。

（三）服务质检员

1.职能：对在银行网点工作人员服务质量按本行标准化服务体系要求进行质检，对违规、不满足标准的服务向平台预警提醒。

2.提供功能：一是违规行为、不规范操作自动抓拍，并向平台集中提醒、人工复检、操作视频精准回看、报表、违规证据截图等；二是远程巡检“远程神秘人”。

3.质检规则：服装、巡逻、在(离)岗、吸烟、玩手机、翘脚、睡觉、吃外卖、带笔记本等。

（四）厅堂助手。

1.职能：一是对客户方面，主动识别VIP客户、主动识别潜在价值客户、金融产品适配（结合CRM）；二是在厅堂方面，实时分析网点运力、自动检测网点开、闭情况、精准检测柜台开、闭情况。

2.提供功能：VIP提醒、金融产品提荐提示、营销预约、登记、营销成果展示、运力曲线展示、运力超限预警。

（五）外包人员行为监督。

1.职能：

外包人员工作期间持续玩手机、PAD超过20份钟；

外包人员自带笔记本电脑进入外包办公区域；

外包人员双手横屏玩手机、PAD超过5分钟；

外包人员工作期间爬桌睡觉超过5分钟；

外包人员带外卖进入工作区域；

外包人员午休时，把脚搭桌子上；

外包人员上班期间长时间离开工位；

外包人员每天下班离场后未关电脑；

2.提供功能：

（1）违规行为、不规范操作自动抓拍，并向平台集中提醒、人工复检、操作视频精准回看、报表、违规证据截图等。

（2）远程巡检“远程神秘人”。

（3）质检规则：服装、巡逻、在(离)岗、吸烟、玩手机、翘脚、睡觉、吃外卖、带笔记本等。

五、创新点

银行的监控系统布满了整个办公场所，每天会产生海量的视频流数据，由于视频流数据不同于结构化数据那么直观易用，视频流数据普遍在3-6个月之后会策略性的删除，在删除之前的唯一的价值就是保留证据备查。这种现像在整个金融行业都存在，是对数据资源的极大浪费。

因此，我社提出了“金融行业视频流数据价值深度挖掘”、“非结构化视频流数据的应用拓展”的创新思维。

（一）金融行业视频流数据价值深度挖掘。

在金融行业里面，每天产生数据分为两类，结构化数据和非结构化数据。这两类数据的占比是20%的结构化数据，80%的非结构化数据，而在数据应用方面，80%使用的是结构化数据，20%使用的是非结构化数据，而使用的20%非结构化数据，图片和声音占了绝大部分，视频流数据的应用基本上只是人工调阅。

视觉分析、行为分析等视频AI技术的出现和成熟，给非结构化数据的应用带来了新的转机。利用视频AI技术，通过对监督模型的训练和自主学习，能对视频流中的图像信息按模型进行结构化程现和输出。例如：计算一段视频中出现了多少个人，每个面孔出现了几次，有没有拿钱动作，是否戴了帽子等。

通过视频AI技术的应用实例：

1.利用营业网点监控视频流数据，实现了智能案防、标准化服务监管、网点运力分析；

2.利用外包场地的监控系统产生的视频流数据，对外包人员的违规行为监督实现了智能化监管；

通过系统运行前后违规数据的对比，充分验证了视频流数据在管理、监督、内控案离条线的使用价值。

（二）非结构化视频流数据的应用拓展。

银行工作区域内安装的每个监控摄像头，都有其对应的监控目标和监控目的，比如：ATM加钞间的摄像头，是监控是否双人进入加钞间；柜员头顶的摄像头，是监控柜员行为、操作是否规范；金库摄像头是为了监控查库（出入库）是否规范等。

银行每个区域、每个摄像头后面都有一套人工对此视频的监督规则、方法、和流程，通过对人工监督规则、方法、和流程进行分析，对每个监督环节进行标准化监管建模，并通过机器自主学习，模拟人工自动进行监督工作，达到辅助或部分替代银行真实员工重复、繁重监督工作。

对非结构化视频流数据拓展规划如下：

第一期：营业网点智能案防（2021年8月上线）

本期建设实现了以下

1.柜台交易过程风险提示；

2.卡把、加钞、查库、清分等内控环节的智能监督；

3.柜员标准化服务智能监督；

4.网点运力智能分析；

第二期：实现省联社外包人员智能化监管(2022年6上线)

利用外包场地监控系统的视频数据，实时对外包人员的行为进行智能分析，对违反外包管理规定的行为（外包场地内带笔记本电脑入场、玩手机、玩PAD、睡觉、吃外卖、不雅行为、“葛优躺”、长时间离岗等）自动抓拍，保留违规证据，并向管理平台预警。

第三期：实现ECC、生产查询区智能化监管（2023年3月上线）

在二期的建设完成后，对各种技术可行性以及模型的准确性进行验证之后，再接入ECC、生产查询区里面的监控摄像头，进而对进入ECC、生产查询区进行智能监管，规划功能如下:

非报备人员进入预警；

使用手机预警（拍照泄密）；

24小时双人值守预警；

非行内人员单人操作预警；

使用笔记本电脑预警；

抽烟预警；

水杯、瓶装水进入管控区预警；

非运维人员进入机房预警；

非行内人员进入非操作区预警；

第四期：实现总行大楼监控涉及的区域智能监管（逐步接入）

接入食堂监管，实现光盘行动监管；

接入公共区域（大厅、过道），实现常态的监管；

接入停车场自燃预警；

（三）设备利旧、节约成本

系统充分利用我社已建设完成的监控系统的网络摄像头、NVR服务器以及监控网络的带宽等资源，通过NVR协议实现标准推流，达到视频数据和监控系统共享，避免重复投资，节约成本。

六、项目过程管理

2021年启动视频AI技术验证项目，我省剑河农商银行申请做为先行、先试单位，2021年8月完成了验证规划功能并成功上线之后，接着在雷山县联社、普定农商行推广试用，通过多联社（农商行）的试用，充分验证了视频AI技术的可落地性，以及在监督管理端能发挥的作用和价值。

2022年启动外包人员行为智能预警功能，复用系统成熟的监管模型进行定制化的改造，项目在4个月内完成了上线。

七、运营情况

（一）网点智能案防模块。

1.系统上线之后，对服务端、管理端提供的帮助以及产生的效果。

交易过程录像调阅只需输入流水号或客户身份证号，10秒内精准调取监控录像。

平台根据模型智能分析每笔交易是否合规(大额现金、授权交易、受控交易等)，并自动预警给网点负责人及总行监管平台，并可实时调阅该笔交易视频。

智能（自动）对加钞、查库、清机等操作，以及敏感区域人员出现，进行录像并分析。

平台可以随时、任意调看受控的摄像头，并自动进行录像，替代“神秘人”。

实现了网点员工标准化服务的全天候、无人化监管。

卡把、加钞、查库、清机等通过平台可以做到1个人对所有过程全监管（联社规模在50个网点下）。

2.系统上线后，通过视频AI技术以及行为识别模型的加持，扩大了监管面，提高了时效性，减轻了人员工作量。不新增加人员的前提下，对柜台业务、现金操作进行全流程、全覆盖的监管，监管面增加N倍的情况下，不但没有增加人力投入，反而是大大的减轻了监管部门的工作量。

3.系统上线后，通过集中监管大屏，对全辖的案防工作和服务监管情况，基本可以做到一“屏”了然。

（二）外包人员行为智能监管模块

自2022年6月正式上线运行以来，系统接管了15个外包办公区域，接入近200路摄像头，实时监管人员达到800-1000人，每天对4T的视频数据进行实时的多模型分析，以98%的模型正确率常态化运行。

第一阶段：系统运行初期，未正式下处罚前，系统每天违规总数在500多条，主要集中在玩手机80%、睡觉10%、用笔记本电脑4%，其它6%。

第二阶段：把违规数据通报给各外包厂商后，系统每天违规总数急剧下降，违规总数100多条，95%以上都是玩手机。

第三阶段：开始正式向外包厂商递交处罚通知书后，系统每天违规总数只有50来条，除了一些特殊情况外（打电话帮客户处理问题，APP开发团队测试功能等），真正违规的就10来条。

八、项目成效

以一期、二期已建设完成板块为例。

1.传统人防转型为人工智能技防。金融系统的监督工作，分为非现场和现场，这两种方式都需要监督人去现场或调阅监控视频才能进行监督工作。系统建成后，上线的智能监督模型自动对所涉及业务进行监督，把监督结果上报监督平台，实现了自动监督。替代的主要监督工作有：卡把、加钞、查库、交易过程、人员违规行为、晨会等。

2.人工智能替代98%以上的监督工作。系统建成后，监督区域的视频画面、质量和角度能达到要求的传统监督工作，98%以上可以由系统自动完成监督工作，真实员工只需要对系统预警出来的结果进行审核判断，确认是否下违规处罚。

3.人工智能加持能力和效率以1抵100。1个人在人工智能技术的加持下，工作能力和效率成100倍提升。以外包人员行为监督为例，总社科技部外包厂家63家，外包人员758人，有100多个项目组。外包人员的行为管理主要是参与项目行内的项目经理代为管理，但是项目经理不可能全天候的和外包团队呆在一起；另一管理部门是安全合规部门，现在采用的方法是每天不定时到现场巡视或者调阅场地监控视频进行监督。系统上线后，只需指定1个员工来配合系统监管，系统全面接管所有项目经理和安全合规部门负责的外包人员行为监督工作。

4.人工智能实时监督覆盖面达100%。由于监督业务量大，工作网点（场地）分散，人员数量巨大，人工监督的方式决定了监督只能是以不定期抽查为主，监督覆盖面不到1%，随机性比较大，震慑力不够。系统上线后，利用现有的监控系统对银行工作区域的人员全覆盖监督，从而做到对每个人员的行为进行实时监督，覆盖面达到100%。

5.人工智能与业务实时同步分析预警。系统上线后，利用监控系统实时产生的视频流数据，同步对柜台交易、现金操作环节、人员违规行为等进行分析，一旦违规行为出现，平台立即主动预警。

6.持续震慑、杜绝侥幸、提能增效。系统上线后，能全方位的、持续的、不间断的对人员进行行为监督，持续震慑有违规意图的人员，正向营造整个团队的氛围，减少干扰，杜绝侥幸，提升效率，缩短工期，节约成本。

九、经验总结

《人员异常行为智能监督预警系统》是作为我社对人工智能——视觉分析和行为识别两大技术在真实场景应用效果的验证项目；是我社探索非结构化数据深度应用的实验项目；也是我社尝试管理智能化的转型项目。

系统在多个场景成功上线并稳定运行，运行的效果完全达到项目建设目标和初衷；充分验证人工智能技术可以辅助实现管理智能化；充分体现非结构化的视频流数据在监督、管理端的价值。

通过此平台的建设，体会最深以下几点。

1.监控产生的视频流数据通过视频AI技术进行分析，在监管、合规、内控操作条线能发挥巨大作用，成败关键在于建模和模型训练。

2.数字化转型、大数据分析需要考虑在非结构化数据有限的生命周期内价值的深度挖掘。

3.任何部门和条线的工作，只要能找到和人工智能的契合点，工作效率会成几何倍数提高。

4.柜台交易过程风险管控和预警，是所有金融核心系统的盲区，也是案发的重灾区。

5.外包团队人员超过500人规模，建议考虑采用视频AI技术来实现智能监管。

6.场地监控摄像头的安装需要有一定角度（与天花板夹角不大于45度），以便获取角度、视线更好的视频画面。