ISAP
2016-05-20 14:51:32 0 举报
ISAP,即智能系统应用与产品,是一种将先进的人工智能技术应用于实际产品和服务的创新模式。通过深度学习、大数据分析、自然语言处理等技术手段,ISAP为企业和个人提供智能化的解决方案,提高生产效率,降低成本,提升用户体验。ISAP广泛应用于智能家居、智能医疗、智能交通、金融科技等领域,为人们的生活带来便捷和舒适。随着人工智能技术的不断发展和创新,ISAP将成为未来科技发展的重要趋势,推动社会进步和人类福祉。
作者其他创作
大纲/内容
workern
用户通过管理平台对信源进行配置,配置信息如下:category:一级分类名称childCategory:二级分类名称name:信源名称type:信源类型(离线或在线)url:信源的地址status:信源的状态(编辑、待审核、审核通过、上线、下线)workerName: \"xxx\" 需要配置具体的worker name信息
爬虫&存储、索引服务集群
索引集群
Master 的作用:监听 zookeeper,如果worker 挂了,则会去启动 worker;
爬虫Worker
信源配置信息
实时信源插件
Solr集群
worker管理
Master(monitor worker)
离线信源
事业部管理员
信源存储
在线部分
监控需要存储和索引的信源
业务服务端
信源检索服务
爬虫集群
用户通过管理平台对信源进行配置,配置信息如下:category:一级分类名称childCategory:二级分类名称name:信源名称startTime:爬取开始时间(YYYY-MM-DD hh-mm-ss)endTime:爬取结束时间(YYYY-MM-DD hh-mm-ss)status:爬取的状态(成功、失败)storestatus: 存储的状态(正在存储、成功、失败)
爬取历史信息
配置信息,是否需要索引等信息
web 管理系统
文件系统的路径;/一级分类/二级分类/信源名称/爬取开始时间
离线配置的数据源
worker1(包括爬虫、存储索引服务)
插件管理
存储信息记录到数据库
存储&索引集群
用户通过管理平台对完善类目信息:category:一级分类名称childCategory:二级分类名称field1~n:字段信息,每个字段有类型以及是否索引等信息
worker的配置信息:name:worker名称,全局唯一host:所在的机器,一个机器可以配置多个worker
worker配置
信源数据库
根据信源类型调用子模块
信源管理(实时+离线)
存储&索引 Worker
本地文件系统
web服务
信源管理
java插件
python插件
数据库集群
信源分类信息
python插件管理器
信源cache
离线部分
java插件管理器
在线信源
0 条评论
下一页
为你推荐
查看更多