Design and Implemention of Cognitive Training and Brain Wave Testing
朱苍璐① ZHU Cang-lu；余策② YU Ce；卓雪雪① ZHUO Xue-xue
（①安徽三联学院计算机工程学院，合肥 230601；②广州汇智通信技术有限公司，广州 510000）
（①Department of Computer Engineering，Anhui Sanlian University，Hefei 230601，China；
②Guangzhou Intelligence Communications Technology Co.，Ltd.，Guangzhou 510000，China）
摘要：系统科学地训练方法能够有效改善认知功能缺陷，认知训练系统是一个为提高有认知缺陷障碍患者的认知能力而开发的系统。随着最近几年脑机接口技术的发展，将脑波技术应用到常规的认知训练系统取得可观成效，通过脑机接口BCI技术可以更加直观地检测、评估患者的认知能力，有针对性地训练受试者的认知弱项，从而更加有效地帮助认知障碍儿童。该文通过结合脑机接口技术，开发认知训练及其脑波检测系统，在进行认知训练项目时准确、实时获取脑波参数，直观反馈受试者的大脑运行状况，并根据脑波参数为受试者开出针对性的训练方案，更有效的提高认知能力障碍患者的认知能力。
Abstract: Systematic scientific training methods can effectively improve the cognitive deficits. The cognitive training system is a system developed to improve the cognitive ability of patients with cognitive impairment. With the development of brain-computer interface technology in recent years, the application of brain wave technology to conventional cognitive training systems has very good results. Through the brain-computer interface BCI technology, the cognitive ability of patients can be more intuitively detected and evaluated. Targeted training of the subject's cognitive weaknesses helps children with cognitive impairments more effectively. This paper combines brain-computer interface technology to develop cognitive training and brainwave detection systems. It can acquire brainwave parameters accurately and in real time during cognitive training projects, intuitively feedback the subject's brain operating conditions, and according to the brain The wave parameters for the subjects out of targeted training programs, more effective to improve the cognitive ability of patients with cognitive impairment.
关键词：认知训练；BCI；脑波参数；训练方案
Key words: cognitive training；BCI；brain wave parameters；training program
中图分类号：TP311 文献标识码：A 文章编号：1006-4311（2019）01-0151-05
0 引言
脑机接口中脑波检测技术的研究初衷缘于医疗康复领域的需求。已经丧失运动或者移动能力迟缓等人群可以通过该技术，将自己的脑波信号转化为机器指令的方式来实现意识操控外部设备，如不能行走的人通过该技术控制轮椅，普通人也可以利用该技术控制机器人实现人工智能，这样无论是残疾人群体还是正常人群，都可以通过该技术带来便利[1]。近几十年来，脑波控制技术的发展异常迅速，该技术在生活上的应用不断拓展。从残障人士的辅助设备、肢体不便人士如中风患者的复健训练、监控操作人员的精神状态、智能家居领域、脑波控制小游戏等。在脑机接口（BCI）应用系统的发展过程中，有许多具有里程碑意义的研究。1999年在Nature上发表了《基于慢皮层电位实现大脑拼写的BCI系统》的相关研究，这是历史上首次发表有关BCI脑机接口技术的文章[2]。在2003年Nature上报道了Nicolelis在Duke进行的实验研究，实现了猴脑与机器人的交互操作[3]。同年Graz大学Pfurtscheller等人研究开发的通过大脑发出的脑电信号控制机器手臂，使一个手臂残障人士可以控制自己的脑波信号来操作手矫形器，恢复手臂丧失的抓取功能[4]。2011年Pittsburgh大学通过BCI技术，使长期瘫痪在床的病人通过脑波信号操作机械手臂进食[5]。国内清华大学对脑机接口技术的研究应用颇有进展，主要研究内容集中于SSVEP控制技术，成功实现了通过SSVEP操作具有四个自由度的假肢倒水[6]。2012年，浙江大学通过长期的训练猴子，优化提取猴脑的脑波信号，成功展示了猴子通过大脑操作机器手臂完成不同的复杂动作，该项研究已达到世界先进水准[7]。北京大学的第六医院联合回龙观医院多名专家，通过对慢性精神分裂认知障碍患者进行长期的认知训练，结果表明认知训练治疗组认知能力得到较好的提高改善，通过普通的工娱疗法的组员各项认知能力提升没有认知训练组效果好[8][9]。文献[10]研究表明失语症患者结合语言认知训练系统进行早期康复治疗能取得良好效果。
1 需求分析
1.1 功能需求
根据以上小节对参与者的分析，确定系统应具备的功能，对这些功能进行归纳和细化，得到系统的功能需求分析如下：
①简化训练任务，确保训练内容的难度在受试者的认知水平之内。系统能对不同种类的训练素材设定进阶难度，根据受试者认知能力损害程度的不同，依据权威认知矫正理论，针对患者认知弱项进行训练加强。
②确保参与者在能接受的训练速度下完成任务。管理员能设定训练材料的完成时间，完成认知训练项目的速度是认知水平评价的一个指标，系统能够依据受试者认知水平的不同，由医生对训练时间进行设定，初始阶段设定较短的训练内容。随着训练周期的延长，认知能力得到加强相应地延长训练时间。
③保证受试者有足够丰富的训练加工策略，弥补多方面的认知能力，包括注意力加工、计划加工、同时性加工、继时性加工等。许多认知功能障碍儿童单项或者多项认知功能水平不达标，采用全面的加工策略使系统的完整性得到提现。
④减轻训练的任务量。一次性的任务量过大，会导致参与者一开始就很排斥训练，训练效果不佳，而且过多冗余的信息会导致受试者出现认知方面的问题，情况没有缓解反而加重。因此系统确保能对训练素材的数量动态设置，尽可能保证参与者在治疗期间不出现疲劳烦躁等负面情绪，训练进行到一定时间后系统自动暂停，保证受试者整个训练过程中专注度。在进入训练之前进行注意力测试，通过脑波参数反映注意力情况，未达到一定的注意力水平提示患者“集中精力，即将进入训练”。
1.2 信息反馈
认知训练系统的设计是为了提高患者相关的认知能力。为了鼓励吸引参与者的训练兴趣，确保参与者能够如期如量的完成认知功能加强训练，参与者的每一次训练的进步成果记录并展示给训练对象，使受试者能够即时对自己的认知能力的改善有大致的判断，对整个训练结果不足之处提供恰当的建议，正性反馈机制能够很好的达到目的。因此，系统须包括以下几种功能：
①每次患者训练结束，立即存储整个训练过程产生的结果参数，并建立对应的病历档案。每份病历表中记录有参与者的个人信息详情、本次训练完成的训练方案和具体内容、整个训练过程的持续时间、训练素材所属的认知加工类别、训练结果分析报告，这些资料将用于对后续的认知水平变化情况做全面的评估。
②患者每次训练结束后，存储的历史数据可以在历史信息模块中自行查看，并且将评估报告以图表的形式展示给患者，将抽象的数据形象化，很快就能掌握自己的认知水平的变化。参与者还可以自己对照每次的结果，根据结果报告的建议可以自行在训练中心中找到需要的训练素材进行训练。
③医生根据患者的训练结果，查看具体的训练疗程的报告分析，根据训练报告辅助相关认知训练理论。针对患者的弱项提供更科学的训练方案，对于训练效果好的疗程继续保持，动态地更新训练方案。
④进行训练时，认知训练项目训练时界面有脑波参数进度条（或实际注意力相关参数），实时反映受试者注意力情况，进度条一定阈值对应相应的进度条颜色（如：红色表示注意力分散、绿色注意力极佳），让受试者能够得到视觉反馈。且记录整个训练过程中脑波参数的变化并结合训练结果，反馈给受试者相应的说明建议和进一步的治疗方案。
2 总体设计
2.1 系统设计的原则
基于脑波检测的认知训练技术涉及到软件系统和硬件的交互，系统运行期间需要考虑到这两部分直接信号稳定程度、数据传递等问题，开发过程中要对软件和硬件两方面的综合分析考虑。
①先进性与实用性一致。在使用认知训练系统过程中，最基本的要求包括使用操作过程简便，用户界面清晰明了，参数能够快捷设置，符合实际的操作流程等。因为认知训练系统是应用与医疗领域，所以在系统的设计与实现的技术选择上应该选择当前最成熟先进的技术和设备，并且该技术应该是目前市场主流应用技术。系统应该要达到先进性和实用性相一致，保证了后续的扩展和维护更加方便高效。
②标准化和规范化设计。医疗领域有自己的规范和标准，所以认知训练系统的设计应该严格按照这些标准和规范来实施。在实际应用方面，因为系统的管理者都是医院内部的医护人员，他们有自己的一套工作流程和行为准则。在数据格式方面会有一定的数据规范和标准，系统在设计时要使所有的操作流程和数据存储标准和医疗领域的标准统一，达到标准化和规范化设计的原则，从而便于后期与相关系统的数据集成。
③经济性和时效性。基于脑波的认知训练系统是一款商用医疗辅助系统，要考虑开发系统的性价比和时效性，尤其是在系统的分析和设计过程中，选择最为合适的技术可以达到事半功倍的效果，减少开发成本，缩减研发周期。在系统设计期间，要估计系统性能和经济收益的关系，选择性价比高的技术框架和简便的设计语言，缩短开发时间争取早日投入规模化使用。
2.2 系统的架构设计
系统架构的设计包括硬件和软件两方面进行总体设计，对系统来说确定架构可以便于后续开发的维护和扩展。该认知训练系统采用B/S模式，B/S模式可以很好地利用客户端的资源进行处理，这样响应速度提升，浏览器用来处理与前端使用者进行交互的任务。服务器只需专心与具体的业务逻辑，响应具体请求，分析和处理相关业务。
认知训练系统的Browser端结合脑波接收设备以及传输脑波数据的蓝牙设备。用户需要在蓝牙和脑波设备连接时（相当一个服务器，不间断发送读取的脑波数据），需要输入配对密码后才能正确连接，验证通过后客户端程序解析蓝牙接收到的数据一并发送给服务器。服务端采用Java技术，通过发送AJAX轮询请求传递相关脑波参数，实时向用户反映脑波参数，认知训练项目结束后通过发送一次AJAX请求来传输训练过程中训练项目的相关参数，最终服务器将接收到的所有数据存入MySQL数据库中。
2.3 Browser端设计
认知训练系统Browser端由一些功能模块构成，Browser端包括医生端和用户端。医生端包括：患者注册模块，患者信息管理模块，患者训练数据查询模块，根据训练数据开出处方模块，认知训练项目管理模块，文件上传模块。其系统功能结构如图1所示。
①患者注册模块：患者登录的权限由医生给出，所以在医生端给出患者的注册功能，可以只注册好登录名和密码，具体的用户信息可以待患者自行登录患者端进行修改。
②患者信息管理：可以查看，修改患者的个人信息，设置登录认知训练系统的限制次数，超过使用次数患者可以重新向医生申请。
③认知训练项目管理：对认知训练项目的种类进行增删改操作。
④开处方：为患者开出具体的训练方案，根据每次的训练数据，选择合适的训练素材供患者进行认知训练。
⑤查询训练数据：查询用户信息时，提供对应用户的训练数据查询，根据该训练数据可以有针对性的开出训练处方。
⑥文件上传：上传一些操作、说明文档，方便指导远程用户的操作。
患者端的功能结构图：
①我的训练方案：可以查看医生开出的具体训练方案，直接进行训练，每次训练为一个疗程。
②训练中心：除了医生开出的具体训练方案，还可以在训练中心处试玩所有的训练项目，该中心包括系统内所有的训练素材。
③数据通信模块：训练过程中需要传递患者的脑波各种参数，该模块用于在患者训练的同时向服务器传递各种脑波，以供医生后期的分析并开出下一次处方。
④历史数据：查看自己历史训练数据。
⑤文件下载：下载各种需要的通知文档。
2.4 服务端设计
服务端包括了数据库和服务端应用程序。数据库用来存储库中认知训练项目的URL地址、用户的登录信息、训练的数据等。服务端应用程序作为客户端和数据库的访问桥梁和通信接口。客户端想要与远程的MySQL数据库交互，必须通过HTTP协议发送连接请求给Web服务器，服务器根据请求访问数据库，并把从数据库的数据返回给客户端。
服务器端包括两个部分，分别为数据访问接口和数据管理模块。
①数据访问接口：用于接收Web前端的HTTP请求和数据，处理请求并从数据库中进行CRUD操作。脑波参数的数据以JSON格式发送给服务器，服务器读取并存储到MySQL中。
②数据管理模块：主要对数据库进行增删查改操作时，通过Spring的AOP存储操作日志，并且做好数据库备份工作。
2.5 数据库的设计
本系统选择MySQL并使用SQLyog图形化管理工具进行管理。设计好具体的功能模块后，为了能够实现功能还需设计相应的数据表来支撑整个系统的业务逻辑。系统系那个要很好的完成功能则需要逻辑严谨的数据库设计，这样能够提高认知训练系统的工作性能，加快系统加载速度。本系统根据需求详细设计了用户信息表、认知训练项目素材表、处方表、处方内容表、训练结果数据表、文档存储表。
①用户信息表用来存储用户的用户名、真实名、登录密码、登录时间、登录身份等信息，这些信息在用户注册的时候存储到数据库中。
②认知训练项目素材表用来存储认知训练项目名称、认知训练项目路径、认知训练项目编号，认知训练项目编号中有如1代表注意力加工、2代表计划加工、3代表同时性加工、4代表同时性加工四种训练种类。
③训练方案处方表，主键处方号是由Java生成的32随机数唯一标识符UUID，处方表中有每张处方的创建者——医生、处方对象为患者以及开处方的时间。
④训练方案处方内容表，每个处方号对应有医生选择的多个训练项目为素材，处方号与认知训练项目为一对多的关系。其中认知训练项目编号和认知训练项目素材表中的编号一致，该表存储每个处方号对应的认知训练项目。
⑤训练参数表，每个处方有多个认知训练项目，每个认知训练项目结束后将训练结果参数存入该表，每个训练项目完成都有4个认知训练项目参数，11种脑波参数。
⑥脑波参数原始文件表，每个项目训练完存储每次训练过程中的平均参数存入到表中。而原始脑波参数（即训练过程每秒采集到的脑波参数）都会存入该表对应的文件中，留待科研人员分析，其中字段rawFileId由templateId与gameId的组合生成的字符串。
⑦文档表，医生可以上传说明和操作文档，或者通知文档供患者在客户端下载。
⑧数据表实体关系图中，训练方案处方表有多个处方号，每个处方号对应认知训练项目素材表中的多个训练项目，每个训练项目结束后获取的脑波参数存入训练参数表中，并且每个训练项目训练过程中的训练参数原始数据，全部存入对应的脑波参数原始文件表中文件中。如图3所示。
3 脑波参数统计分析
本系统适用对象为具有认知能力障碍儿童，结合认知训练小游戏的方式提高患者认知能力，为了简单、方便以及安全的原则，给儿童带来舒适的训练体验，使用MindWave Mobile设备采集受试者训练过程中的脑波参数。
对1名受试者进行认知训练，选择计划加工、注意力加工、同时性加工以及继时性加工的一个项目实例进行训练，并记录4个项目认知训练的脑波参数。统计每10秒的脑波参数平均值，每个编号代表10秒内的平均值，比较三分钟内（即每个项目18条记录，四个训练任务共72条数据）的脑波信号整体变化情况，其中第三个项目的训练情况如图4、图5所示。
本次实验统计了受试者分别在四个认知训练项目过程中采集的脑波信号，通过计算10秒内的平均值参数，评估脑波信号的变化趋势。根据以上参数统计结果可知，整个训练过程中脑波信号在不断变化，其中尤其注意加工训练时注意力值总体呈现上升趋势，随着训练的深入，注意力逐渐上升。其他三个加工模块涉及计划、记忆、观察等认知能力，整个过程并不特别需要专注于保持某种状态，训练过程中注意力是离散的，因此并没有像注意力加工阶段呈现注意力上升的趋势。其他8种波段：β波增加，身体呈现紧张状态。α波为活跃波时，表示放松状态，θ波反映人的深度放松状态或者潜意识状态，α波θ波是慢波，而β波和γ波称为快波。训练师根据这些波段结合专业的分析设备，评估大脑的运行状况。
4 结论
本文设计的系统是认知训练结合脑波检测技术的认知障碍辅助医疗系统，该系统可以有针对性地为患者开出认知训练方案，通过计划-注意-同时性加工-继时性加工的流程，改善患者的记忆力、注意力、观察力、分析能力、逻辑思考等认知概念，全面有效地强化恢复认知能力缺失患者的认知能力，该系统可以应用于以下几个方面：
①不同类型的认知障碍患者，如注意力缺失、记忆力障碍等，常见疾病有ADHD、精神发育迟滞、学习障碍等。
②因为外伤、感染、手术等脑器官质性损伤造成的认知障碍的患者。
③老年人也可以使用本系统进行认知训练，延缓大脑的老化、衰退。
通过以上测试结果可知，认知训练系统在具体功能实现上达到了设计的最初目的和要求，可以满足需求分析中对于系统功能性需求与非功能性需求，可以投入到医疗系统进行治疗使用。
参考文献：
[1]Vidal J J. Toward direct brain-computer communication[J]. Annual review of Biophysics and Bioengineering,1973,2(1):157-180.
[2]Birbaumer N, Ghanayim N, Hinterberger T, et al. A spelling device for the paralysed[J]. Nature, 1999, 398(6725): 297-298.
[3]Nicolelis M A L. Brain–machine interfaces to restore motor function and probe neural circuits[J]. Nature Reviews Neuroscience, 2003, 4(5): 417-422.
[4]Pfurtscheller G, Müller G R, Pfurtscheller J, et al. ‘Thought’–control of functional electrical stimulation to restore hand grasp in a patient with tetraplegia[J]. Neuroscience letters, 2003, 351(1): 33-36.
[5]Maye A, Zhang D, Wang Y, et al. Multimodal brain-computer interfaces[J].Tsinghua Science & Technology,2011,16(2):133-139.
[6]程明，任宇鹏，高小榕，等.脑电信号控制康复机器人的关键技术[J].机器人技术与应用，2003（4）：45-48.
[7]王思.猴子意念控制机械手[N].文汇日报，2012-02-22（003）.
[8]叶建军.认知矫正治疗对慢性精神分裂症患者临床症状和社会功能的影响[J].养生保健指南：医药研究，2015（13）：59.
[9]谢波，康德智，郑建民，等.计算机辅助认知障碍康复训练系统联合多奈哌齐治疗脑外伤认知障碍的临床研究[J].临床神经外科杂志，2011，8（3）：150-152.
[10]陈丽函，赵志红，陈树标，等.言语认知训练系统对脑卒中失语症患者早期康复治疗的应用研究[J].汕头大学医学院学报，2014，4：017. |
