基于网页端的数据导入方法和系统技术领域
本发明涉及数据处理技术领域,特别是涉及一种基于网页端的数据导入方法和系
统。
背景技术
目前市面上基于网页端的数据导入,其导入数据的流程一般是用户在网页端下载
模板,然后把成绩单重新复制粘贴到模板中,再上传回网页。
例如,基于网页端的成绩分析产品,导入成绩统计数据时,用户先从网页端下载模
板,然后把成绩统计数据重新复制粘贴到模板中,再上传回网页。
上述方式存在如下缺陷:
(1)用户必须按照模板,再次编辑一次成绩单,工作量大、效率低;
(2)用户在再次编辑的过程中,可能会出现人为的操作失误,导致数据错误。
由此可见,现有的数据导入方案,存在效率低、容易出错的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种基于网页端的数据导入方法和系统。
一种基于网页端的数据导入方法,包括:
将用户自定义的电子表格上传至网页端,并在网页端上选择项目类别;其中,所述
电子表格按统一的行、列格式填写各个统计对象信息及其项目类别和各个项目类别对应的
数据信息;
在网页端对该电子表格中各个统计对象信息及其在所选项目类别中对应的数据
信息进行识别和抓取;
根据识别和抓取的统计对象信息及其对应的导入数据,按所选的项目类别导入到
网页端的模版中。
一种基于网页端的数据导入系统,包括:
表单上传模块,用于将用户自定义的电子表格上传至网页端,并在网页端上选择
项目类别;其中,所述电子表格按统一的行、列格式填写各个统计对象信息及其项目类别和
各个项目类别对应的数据信息;
数据获取模块,用于在网页端对该电子表格中各个统计对象信息及其在所选项目
类别中对应的数据信息进行识别和抓取;
数据导入模块,用于根据识别和抓取的统计对象信息及其对应的导入数据,按所
选的项目类别导入到网页端的模版中。
上述基于网页端的数据导入方法和系统,基于网页端对用户上传的自定义的电子
表格进行数据信息的识别和抓取,可以抓取不同格式的电子表格数据,减少了用户的操作
步骤和工作量,使得导入数据更加简单便捷,避免了导入数据容易出错的现象。
附图说明
图1为一个实施例的基于网页端的数据导入方法流程示意图,;
图2为数据导入应用示例的流程图;
图3-9为异常数据的示意图;
图10为成绩单预览界面示意图;
图11为一个实施例的基于网页端的数据导入系统结构示意图。
具体实施方式
参考图1,图1为一个实施例的基于网页端的数据导入方法流程示意图,包括:
步骤S10:将用户自定义的电子表格上传至网页端,并在网页端上选择项目类别;
其中,所述电子表格按统一的行、列格式填写各个统计对象信息及其项目类别和各个项目
类别对应的数据信息;
此过程中用户无需从网页端下载模版,可以利用自定义格式的电子表格填写统计
对象信息、项目类别和各个项目类别对应的数据信息等;电子表格按统一的行、列格式填
写,在此,行、列填写内容方向可以根据实际情况进行选择。
以Exel表为例,以一行记录统计对象、各个项目类别;向列的方向记录统计对象信
息和各个项目类别对应的数据信息。
在一个实施例中,将用户自定义的电子表格上传至网页端的步骤,可以包括如下:
调用系统自带的文件管理器界面,上传默认格式的电子表格文件;在上传过程中,
当需更改电子表格文件时,删除后重新上传。
步骤S20:在网页端对该电子表格中各个统计对象信息及其在所选项目类别中对
应的数据信息进行识别和抓取;
在此,可以在在网页端后台调用工具对电子表格的记录内容进行识别和抓取。
在一个实施例中,对应的数据信息进行识别和抓取的步骤,可以包括如下:
在网页端后台对所述电子表格的横向单元格数据信息进行识别,获取统计对象信
息和项目类别的关键单元格的数据信息;
根据网页端上选择的项目类别,从识别的项目类别中筛选出相应的项目类别;
对统计对象信息和筛选的项目类别的关键单元格下整列的数据信息进行抓取,得
到统计对象信息及其对应的导入数据。
以Exel表为例,对第一行的关键单元格进行识别,抓取到统计对象信息和项目类
别的数据信息,按Exel表的纵向,整列识别。抓取各列数据信息。
进一步地,为了排除认为填写错误,在对统计对象信息和筛选的项目类别的关键
单元格下整列的数据信息进行抓取后,还可以包括:
对各列数据信息进行异常检测,查找异常的数据表格位置并通过异常标识进行提
示。
对于异常检测,可以从多个维度进行检测,包括重复信息检测,缺漏信息检测、特
殊字符检测、统计对象信息匹配检测等。
对于所述统计对象信息,如果包括多个关联的信息项;可以根据后台的数据库对
统计对象信息的各个信息项进行匹配检测,确定各个信息项的对应关系。
进一步的,在异常检测后,根据用户的异常修改操作,对所述电子表格进行更新,
并在更新后再次对所述统计对象信息及其数据信息进行异常检测,直至所有异常修改完
成。
步骤S30:根据识别和抓取的统计对象信息及其对应的导入数据,按所选的项目类
别导入到网页端的模版中;
网页端后台利用抓取的导入数据,按所选的项目类别导入到网页端的模版中,完
成数据导入过程,导入过程利用了用户自定义电子表格具有规律性特点,实现了数据的抓
取,在两种模版之间进行转换,用户无需进行表单的复制操作,提高了操作效率,避免了人
为操作的失误。
针对于本发明提供的数据导入方法在成绩分析产品中的应用,以下提供相应的实
施例。
在以下实施例中,所述统计对象信息包括:学号、姓名;所述项目类别包括考试科
目;所述数据信息包括分数或成绩分级。
参考图2所示,图2为数据导入应用示例的流程图,主要包括如下过程:
s1,用户在启动网页端后,点击预设的【导入成绩】按键,通过弹框提示用户上传成
绩单,并在界面提示用户导入Exel格式的文件。
s2,用户点击【上传成绩单】后,调用系统的文件管理器界面上传文件,上传规则可
设置如下几项:
(1)默认只显示Exel格式的文件;
(2)每次只允许上传一个文件,如需更改文件,需要用户删除后重新上传;
(3)禁止用户上传文件夹,则禁止【上传成绩单】,将按钮置为灰色以进行提示。
项目类别可以包括:时间、班级、考试等。
成绩单被导入后,用户通过预设的输入框标记上对应的项目类别,用于在被导入
的成绩单中筛选出所需要的数据。
每个项目类别的字符规则为:除了“()-_,”4个符号外,禁止其他特殊符号;当输入
框失焦后,判断输入框的字符规则,如存在错误的字符规则,则提示“不能输入除“()-_”之
外的特殊符号。
s3,设置考试类别,项目类别可设置多个考试科目,例如:语文、数学、英语、物理、
化学、生物、历史、政治、地理、科学、计算机、美术、音乐、体育、思想品德等之类。在此可以设
置后台数据库,用户选择时,调用后台数据库的数据。
s4,上传成绩单后,用户可以通过选择来筛选需要导入的科目。
如用户选择了成绩单中没有的科目,则增加一列没有成绩的科目数据,用户可以
选择重新填写成绩,或删除这一列的成绩;如用户没有选择任何科目,则将预设的【完成】按
钮置为灰色以进行提示,禁止用户进入下一步操作。
s5,上传完成后,在网页端后台对用户上传的成绩单进行关键字符列的识别和抓
取,以Exel表横向单元格为基础,先获取关键单元格,例如:学号、姓名、科目,再获取对应关
键单元格下一整列的数据信息。
s6,完成字符列的抓取后,在网页端后台开始对数据进行异常检测,参考图3-9所
示,图3-9为异常数据的示意图,异常数据主要分为3大类:
(1)统计对象信息不匹配:
作为一个示例,参考图3所示,对于学号和姓名等统计对象信息,根据后台的数据
库来确认两者对应关系,如姓名-学号错误,将对应单元格标识为异常,hover状态下提示
“姓名-学号不匹配”,可以通过用户直接更改姓名、在网页端自动匹配的方式进行修改。
(2)信息重复:
①学号与姓名重复:
作为一个示例,参考图4所示,如果列表中有两个学号和名字都一样,但至少有一
科成绩不一样,则两项的学号和姓名同时标识异常,hover状态下提示“信息重复”;如导入
成绩单中,存在多条重复数据(姓名、学号、成绩完全一样),则只导入一条,过滤重复信息。
②科目信息重复:
作为一个示例,参考图5所示,如果导入的电子表格中,存在着两项科目名称和分
数都一样,则智能识别只保留其中一项,然后导入到预览界面中;
如果导入的表格中,存在着两项科目名称一样,但分数不一样,则保留两项分数,
并导入到预览界面,并将两个科目名称标识为异常,hover状态下提示“信息重复”;
(3)数据格式错误:
①无学号或无姓名:
作为一个示例,参考图6所示,如果成绩单缺少学号或姓名,则在编辑界面,补全学
号一列,并标识为错误,hover状态下提示“学号为空”;
②信息为空:
作为一个示例,参考图7所示,如果科目分数为空,则单元格标识为异常,hover状
态下提示“请输入分数”;
③信息不符合格式:
作为一个示例,参考图8所示,学号或姓名格式错误,则按“姓名-学号不匹配”处
理;如果学号和姓名、格式错误,单元格标识异常,hover状态下提示“请输入分数”;
④勾选了导入电子表格中没有的科目:
作为一个示例,参考图9所示,如果成绩单中缺失科目,则补全缺失的科目,并标识
单元格异常,hover状态下提示“请输入分数”。
s7,在判断异常后,形成新的成绩单预览界面,标识异常单元格,便于用户修改;作
为一个示例,参考图10所示,图10为成绩单预览界面示意图,在检测到单元格被修改后,再
进行异常判断的操作,如有异常则继续标识,无异常则取消异常标识;
s8,当用户点击【保存】操作时,导入数据信息。
综上实施例所述,本发明提供的基于网页端的数据导入方法,基于网页端对导入
数据抓取进行运算,可抓取不同格式Excel表下的成绩单,从而减少了用户导入成绩数据操
作步骤,大大地降低了工作量,让导入成绩单变得更为灵活快捷;同时通过对异常数据的判
断,从更多维度对数据进行对比和判断,可以为用户排除人为填写数据的错误,而且可利用
后台数据,对成绩单中关键信息(如学号和姓名)不匹配的异常进行“一键匹配”,无需再次
手动核对修改,便于纠正异常数据。
参考图11,图11为一个实施例的基于网页端的数据导入系统结构示意图,包括:
表单上传模块10,用于将用户自定义的电子表格上传至网页端,并在网页端上选
择项目类别;其中,所述电子表格按统一的行、列格式填写各个统计对象信息及其项目类别
和各个项目类别对应的数据信息;
数据获取模块20,用于在网页端对该电子表格中各个统计对象信息及其在所选项
目类别中对应的数据信息进行识别和抓取;
数据导入模块30,用于根据识别和抓取的统计对象信息及其对应的导入数据,按
所选的项目类别导入到网页端的模版中。
本发明的基于网页端的数据导入系统与本发明的基于网页端的数据导入方法一
一对应,在上述基于网页端的数据导入方法的实施例阐述的技术特征及其有益效果均适用
于基于网页端的数据导入系统的实施例中,特此声明。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实
施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存
在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并
不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来
说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护
范围。因此,本发明专利的保护范围应以所附权利要求为准。