株式会社富士通研究所（以下简称：富士通研究所）与富士通研究开发中心有限公司（以下简称：FRDC）共同开发了“行为分析技术Actlyzer--洗手动作AI识别技术”，可从摄像头拍摄的视频中识别出复杂的洗手动作。
洗手洗得干净吗？富士通AI帮你准确判断
近年来，洗手作为保护人类健康免受细菌、病毒侵害的一项防御措施，其重要性正重新得到认识。2020年6月在日本实施生效的“食品卫生法部分修改法案”中规定,食品经营者有义务根据国际标准HACCP采取有效措施进行卫生安全管理。因此迫切需要建立一个体制，来确认工作人员是否采用了正确的洗手方法。
此次，富士通对“行为分析技术Actlyzer”（可从视频中识别人类各种行为的AI技术）的手指动作识别功能进行了扩展，新开发出“行为分析技术Actlyzer--洗手动作AI识别技术”。该技术基于双手的整体形状和洗手时的一系列运动模式，可自动识别用户在洗手时复杂的手指动作。
该技术可对日本厚生劳动省建议的正确洗手六部曲的实施情况，以及各步骤中手的揉搓次数进行正确地自动识别。另外，通过使用该技术，在食品行业等需要进行卫生安全管理的现场，可有效促进洗手的正确实施、防止遗漏，削减人工目测监督所需工时数，为确保食品安全和预防传染病做出贡献。
【开发背景 】
近年来，洗手作为保护人类健康免受细菌、流感、新型病毒等侵害的一项防御措施，其重要性正得到全世界的重新认知。日本厚生劳动省建议并倡导的正确洗手六部曲，可有效预防食物中毒及各类传染性疾病。
正确洗手六部曲
当前，为了确认食品行业的从业人员在洗手时，是否实施了洗手六部曲，且每个步骤都按规定次数进行了揉搓，通常采用的方法是：从业人员自行填写检查表进行申报，或由监管人员目测进行监督确认。然而，人工核查确认，会导致在人为失误、监管人员资源保障等方面，产生较高的管理成本。另外，近年来，在食品行业等众多产品制作现场，目测监管正逐步向基于机器学习、深度学习的自动化监测转变，对于洗手动作自动化确认的需求也日渐高涨。
【 课题 】
近年来，基于深度学习的手势识别技术，作为识别手部及手指动作的常用技术正得到不断发展。该传统技术可从手部图像中检测出手指关节、指尖等手部的多个特征点，并根据这些特征点的位置关系确定手势。然而，传统技术的一个问题点是，人们在洗手时，由于双手发生重叠，手上覆盖了皂液泡沫，所以导致无法准确检测出手指特征点，从而无法对动作进行正确识别。
传统的手部跟踪技术（左：手势的识别结果，右：用于洗手动作的结果）
【 此项研发技术 】
此次，富士通研究所及FRDC对其独有的AI技术“行为分析技术Actlyzer”的手指动作识别功能进行了扩展，新开发出可准确识别洗手动作的“行为分析技术Actlyzer--洗手动作AI识别技术”。
开发的技术具有以下特征： 通过结合双手的整体形状和重复的运动模式，对双手复杂的手指动作进行识别 为了捕捉洗手时复杂的手指动作，该技术通过将其定义为双手形状和反复揉搓动作的组合，基于双手形状识别和运动识别两大深度学习引擎实现检测。 双手形状识别引擎，规定了双手基本形状（双手重叠时手指动作的代表形状），通过使用事先训练好的学习模型，来判定视频中每一帧的手部形状。通过聚焦整体形状，解决了因手部重叠或泡沫等造成的无法正确检测指尖和关节特征点的问题。
另外，通过使用可跟踪数据变化的富士通独有AI技术“High Durability Learning（高耐久性学习）”，在操作现场，即使摄像头位置、照明光线发生变化，也可对双手基本形状保持高精度识别。运动识别引擎，通过使用训练好的模型（该模型可从连续帧检测出周期性变化的运动模式），基于重复模式及其周期，将重复次数作为揉搓次数进行计算。
此外，通过将上述两个识别引擎的结果进行相互反馈，可进一步提高识别精度。运动识别引擎，根据双手形状识别引擎识别得出的步骤，为需要判定的运动大小设定阈值，以防止检测到与泡沫运动或揉搓无关的手部震颤等错误周期。双手形状识别引擎，通过利用运动识别引擎检测出的重复模式周期，对双手形状的判定结果进行过滤，从而达到提高检测精度的效果。
结合双手的整体形状与运动模式，对复杂的双手手指动作进行识别
【 效果 】
富士通独立拍摄、收集了约有2000种变化形式（包含人与摄像头的位置、皂液种类等）的洗手视频数据集，来进行训练和评估。结果显示，正确洗手6步曲中的动作识别平均判定精度达到了95%以上，揉搓手部次数的判定精度则超过了90%。在现场运行该系统时，从业人员需按照洗手步骤及每步规定的揉搓次数清洗双手，直至系统判定为洗手结束方可终止。此时系统会结合洗手实施的时间等信息，自动记录数据，从而避免遗漏。
洗手动作识别与判断
基于该技术，在需要进行卫生管理的现场可自动确认洗手的实施情况，并可将目测监督确认及手动记录所需工时减至为零。另外，由于错误的洗手动作无法被系统正常识别，因此该技术还可起到教育作用，促使每个人都能掌握正确的洗手方法，实现洗手方式的标准化。 此外，该技术不仅适用于食品行业，还可广泛应用于医疗、教育、住宿、活动设施等各个场所，可对卫生管理、预防流感或新型病毒等传染性疾病做出重大贡献。
