· 国家档案局主管· 中国档案杂志社主办1951年创刊欢迎来到中国档案网 !2026年11月03日    星期二

湖南

湘潭市互联网信用信息采集子平台成功部署

作者:葛睿 来源:湘潭市档案局 发表时间:2017-01-06

2016年11月底,湘潭市诚信平台二期工程——互联网信用信息采集子平台正式部署完毕。

互联网信用信息采集子平台可根据用户自定义的任务配置,批量而精确地抽取互联网目标网页中的半结构化与非结构化数据,转化为结构化的记录,保存在本地数据库中,通过数据处理和加工,使之形成有效的信用信息,拓展诚信平台数据来源。

该系统主要实现了三大功能:一是系统的爬虫采集功能。通过爬虫技术自动抓取全国权威信用发布平台的、和湘潭本地企业、自然人有关的信用数据,系统从一个或若干初始网页的URL开始,获得初始网页上的URL。所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的数据检索和数据处理。二是用户的定制采集功能。用户可选择相关权威的信用信息发布平台,指定栏目进行信息自动抓取,系统根据用户设定的规则自动解析源网页,获取格式网页中需要的内容,并按照设定的规则数据入库,系统可配置时间定期抓取目标网站,采集记录建立唯一索引,避免相同信息重复入库。三是平台的数据处理比对功能。对来自各个网站的信用信息进行梳理、清洗、处理,形成有效、准确的信用信息数据库,同时通过企业注册号、身份证号码等唯一标识和湘潭本地的法人、自然人进行数据比对,建立数据关联。

湘潭市信用信息采集系统是服务于整个社会信用体系的数据采集与共享平台,该系统的成功部署,为湘潭市诚信平台的数据拓展提供重要来源,为单位及个人的信用行为、开展信用服务提供了重要的技术手段,为政府部门的政务信息公开提供了重要渠道。