互联网的快速发展,每天都产生了大量的信息,信息过载[1-2]十分严重,解决该问题的常用方法有两个,通过搜索引擎查询自己所需要的信息,这种方式有一个很大的缺点是,很多可能会使得引发人们兴趣的信息被埋没了,而推荐系统是能很好解决该问题的有效方法,推荐系统常用的方法是协同过滤算法,本文对协同过滤算法常见问题做了一些研究。本文由公司网站滚圆机网站 转摘采集转载中国知网整理!   http://www.dapengkuoguanji.com/ 着教育教学行业的不断快速发展,教育资源在实际教育教学中所发挥的作用也越来越重要,而教育资源库是提供教育资源的重要平台,因而加强教育资源库建设十分必要。在当前教育资源库建设过程中,为能够使资源库建设更符合实际需求,应当在结合云计算的基础上进行,从而使教育资源库建设能够得到更理想的效果,丰富资源库内容,为教育教学行业更好地发展提供资源 在番茄病虫害防治中常常出现因资料分散而导致的信息获取不全或是利用效率低等问题,为此提出利用计算机技术设计一套针对开放网络上的多方数据进行收集与整理的方法。该方法基于Scrapy框架依次确定爬取对象、设计爬取流程、分析原始网页、存储相关数据,最后依托Django框架搭建可视化界面用于前端与后台的数据交互病虫害数据收集-电动数控滚圆机滚弧机张家港电动液压滚圆机滚弧机折弯机。由此实现了对各类数据的有效收集和按规则的结构化存储,为在番茄病虫害领域搭建系统、专业的知识库提供数据依据。脑知识与技术指管道，用于进一步处理Spiders发送过来的数据，例如数据清洗、持久化存储等。用户可在Spiders和Pipeline中根据需求自定义所需爬虫及存储位置。2数据爬取2.1确定爬取对象番茄病虫害数据分布于各大农业及百科类网站，可分为结构化数据、半结构化数据、本文由公司网站滚圆机网站 转摘采集转载中国知网整理!   http://www.dapengkuoguanji.com/ 非结构化数据三种。利用爬取到的数据为农业从业人员提供防御和治疗依据是数据收集的目的，因此确定以番茄病虫害名称、症状描述、发病特征、治疗方法、图片为主的爬取对象。但番茄病虫害的命名方式在开源网络上的存在不统一性，例如“番茄芽枯脖与“西红柿芽枯脖这类同类不同名的命名、“番茄有害气体”这类概括性命名等，这将导致对多源数据进行直接爬取后的数据冗余、缺失问题，因此，在比较各方网站后，确定先以农业医院网为主，百度百科、互动百度为辅，整合番茄病虫害名称，再进行后续爬龋2.2设计爬取流程根据确定的番茄病虫害名称，从多方数据源中爬取所需数据，以在互动百科为例，设计数据爬取流程，如图2。图2scrapy框架爬取数据流程系统先根据番茄病虫害名称对互动百科词条的初始URL进行解析，响应内容包括URL和数据。URL解析时，相关模块会基于定义的HTML规则将该页面中所包含的其他词条URL保存至词条URL库中[4]。系统不断地对词条URL库中的URL进行解析，并将获取到的数据内容存储在csv文件中。2.3网页对象分析Web网页是结构化的，网页中的任何内容都处于结构体中，因此可以在结构体的路径中查询到[5]。以番茄褐色根腐病在互动百科中的词条为例，词条条目包括名称病虫害数据收集-电动数控滚圆机滚弧机张家港电动液压滚圆机滚弧机折弯机本文由公司网站滚圆机网站 转摘采集转载中国知网整理!   http://www.dapengkuoguanji.com/