内容提供者
一种大数据预处理方法、系统、存储介质和终端.pdf
2023-05-26
10金币
883KB
8页
婀娜****aj
实名认证
内容提供者
1/8
2/8
3/8
4/8
5/8
6/8
7/8
8/8
在线预览结束，喜欢就下载吧，查找使用更方便
相关资料
一种大数据预处理方法、系统、存储介质和终端.pdf
本发明属于数据处理技术领域，具体公开了一种大数据预处理方法，包括：确定数据源预处理的任务类型以及预处理模型的功能组成；并进一步确定数据建模系统的组件算子拖拽轨迹形成流程可视化的预处理模型；基于预处理模型对数据源的部分数据进行预处理；判断预处理结果是否满足设计要求，若满足，则保存预处理模型为录制宏模型并保存模型元信息；若不满足，则重新进行预处理模型的构建；引入录制宏模型并且生成对应的模型元信息，对数据源进行数据处理并输出处理结果。本发明基于组件和流程图的方法进行拖拽式建模，零代码的方式进行图形化建模，将具体
2023-05-26
10
883KB
数据预处理方法、装置、系统和存储介质.pdf
本发明公开了一种数据预处理方法、装置、系统和存储介质，通过获取图像数据，图像数据为无人机在进行输电线路巡检时，由无人机上的拍摄装置拍摄的图像数据；获取巡检任务信息；根据巡检任务信息将所述图像数据进行图像整理，得到整理后的图像数据，如此能够使整理后的图像变得结构化，便于图像后期入库存储和检索；将整理后的图像数据进行数据清洗，得到清洗后的图像数据，能够清洗掉不需要的图像，保留需求的图像，从而能够提高数据预处理的效率，使预处理后的数据更加准确。
2023-11-07
10
612KB
数据预处理方法、设备和存储介质.pdf
本发明实施例公开了一种数据预处理方法、设备和存储介质，属于数据预处理领域。其中，该方法包括：监测原始数据所在的路径；当检测到存在未处理的原始数据后，根据配置文件中预设的各个步骤执行顺序，执行各个步骤对应的预处理脚本或程序；其中，配置文件中预设有数据预处理的所有步骤及其执行顺序、各个步骤对应的数据输入路径、数据输出路径、以及预处理脚本或程序。本发明实施例通过将各个步骤进行标准化，各个步骤之间由数据驱动，由预处理脚本或程序从数据输入路径读取数据，将生成的结果保存到数据输出路径，从而能适用各种各样数据及各种程序
2023-08-28
10
584KB
一种页面数据采集方法、系统、终端及存储介质.pdf
本发明公开了一种页面数据采集方法、系统、终端及存储介质。一种页面数据采集方法，包括：根据现有爬虫记忆曲线定时爬取目标页面数据；根据重点页面的内容变化更新爬虫记忆曲线；根据更新的爬虫记忆曲线，再次爬取目标页面数据；对爬取的目标页面数据按预设评分标准进行相关度评分，进行结构化处理并按预设业务属性对目标页面数据进行分类，得到结构化数据；按照预设数据类型将结构化数据转换为标准格式输出。实现周期性更新爬虫记忆曲线，制定最优数据抓取任务，让获取的数据更加贴近实际业务，增加了数据抓取的场景，提高了结果数据可靠性和业务适
2023-07-25
10
756KB
备份终端数据的装置、方法、终端和存储介质.pdf
本发明公开了一种备份终端数据的装置、方法、终端和存储介质。该装置包括：数据线和存储单元，数据线包括：数据线本体、用于连接终端的终端适配端口和用于连接电源的电源适配端口，存储单元与数据线本体连接，其中：终端适配端口，用于当电源适配端口连接电源时，向终端传输充电电能，并生成供终端生成信息备份指令的信息备份功能标识；存储单元，用于接收终端的信息备份指令，响应于信息备份指令，存储终端传输的数据。本发明实施例可以使得在为终端充电的同时，可以直接在本地备份数据信息，无需另外增加备份设备，不仅杜绝了第三方备份设备泄露信
2023-06-26
10
609KB