Skip to content

GitLab

aiqicha · Changes

Page history
add: aiqicha authored by 袁波's avatar 袁波
Hide whitespace changes
Inline Side-by-side
Showing with 297 additions and 0 deletions
data_stream/aiqicha.md 0 → 100644
View page @ 0251bf0a
# **基本信息**
### 数据维度
```
1. 基本信息
2. 股东信息
3. 高管信息
```
## 数据名称（中文）
<!-- 该项数据的中文标准名称，后续沟通交流使用的规范名称，如：工商公示股东信息、失信被执行人、一般纳税人等-->
###
```
爱企查
```
## 数据英文名称
<!--英文名称，后续流程中所有涉及到英文名称均以此为准，如：partner、shixin、general_taxpayer等-->
```
aiqicha_search_company
```
## 采集网站（采集入口）
<!--采集的入口地址，不能只是一个网站域名，具体到该网站的数据入口-->
```
搜索页: https://aiqicha.baidu.com/
详情页: https://aiqicha.baidu.com/company_detail_31370200772422
```
## 采集频率及采集策略
<!--说明该项数据更新频率，存量数据的更新频率及策略、新增数据的采集频率及策略-->
### 存量更新策略
<!--无需更新？每天全量更新？逐条轮询更新？多久更新完一轮？或其他-->
```
此次先跑完在营企业4000w+
```
### 增量采集策略
<!--新增数据怎么来？无需单独采集新增数据？-->
```buildoutcfg
```
---
# **爬虫**
```
爱企查 aiqicha_search_company
```
## 责任人
```
袁波
```
## 爬虫名称
```
aiqicha_search_company
```
<!--spider_name-->
## 代码地址
```
项目地址:http://192.168.109.110/granite/project-gravel/-/tree/aiqicha_20211112
## 队列名称及队列地址
<!--redis host port db key 优先级说明-->
-
* redis host: redis://:utn@0818@bdp-mq-001.redis.rds.aliyuncs.com:6379/7
* redis port: 6379
* redis db: 7
* redis key:
* aiqicha_search_company
```
## 任务输入参数（样例）
```json
{
"company_name": "眉山市彭山百盛农业发展有限公司",
"credit_no": "91511422689947471C"
}
```
### 任务参数说明
<!--特有参数说明，通用参数比如spider_name,task_params,task_src,task_result等不需说明-->
```
```
## data_type说明
<!--可能产生的data_type说明-->
```
```
## 爬虫结果的超级数据
<!--包含所有字段的json数据，每个value都要有样例值-->
```
```
## 实际爬虫结果的数据结构
<!--可能与超级数据一致，可能不同的data_type的爬虫结果结构不同，超级数据是把所有data_type的结果组合在一起-->
```json
{
"data": [{
"baseinfo": {
"legal_person": "王森",
"legal_person_url": "/person?personId=5f075668eb4d758c04ddc362b5aabb6d&subtab=personal-allenterprises",
"company_status": "开业",
"capital": "1,000万(元)",
"stock_realcapital": "-",
"history_name": "-",
"industries_name": "房地产业",
"credit_no": "91310114MA1GYHF51D",
"tax_code": "-",
"company_code": "91310114MA1GYHF51D",
"company_name": "上海皓辰祥和房地产开发有限公司",
"org_code": "MA1GYHF5-1",
"authority": "嘉定区市场监督管理局",
"establish_date": "2021-07-29",
"company_type": "有限责任公司(自然人投资或控股)",
"operation_startdate": "2021-07-29",
"operation_enddate": "2051-07-28",
"issue_date": "2021-07-29",
"company_address": "上海市嘉定区封周路655号14幢201室JT7994",
"business_scope": "许可项目：房地产开发经营；建设工程设计；各类工程建设活动；建设工程监理；住宅室内装饰装修；工程造价咨询业务。（依法须经批准的项目，经相关部门批准后方可开展经营活动，具体经营项目以相关部门批准文件或许可证件为准） 一般项目：信息咨询服务（不含许可类信息咨询服务）；物业管理；园林绿化工程施工；五金产品零售；建筑材料销售；金属材料销售；机械设备销售。（除依法须经批准的项目外，凭营业执照依法自主开展经营活动）",
"claim_status": "我要认领"
},
"partners": [{
"partner_no": 1,
"stock_name": "上海辰景企业发展有限公司",
"partner_url": "",
"stock_proportion": "85%",
"stock_capital": "850万(元)",
"stock_realcapital": "-"
},
{
"partner_no": 2,
"stock_name": "苏州万昇行科技有限公司",
"partner_url": "",
"stock_proportion": "15%",
"stock_capital": "150万(元)",
"stock_realcapital": "-"
}],
"employees": [{
"employee_no": 1,
"employee_name": "王森",
"employee_url": "/person?personId=5f075668eb4d758c04ddc362b5aabb6d",
"position": "执行董事"
},
{
"employee_no": 2,
"employee_name": "张攀",
"employee_url": "/person?personId=2e123b59ec0cfdc5b4611ce67478315a",
"position": "监事"
}]
}],
"http_code": 200,
"error_msg": "",
"task_result": 1000,
"data_type": "detail",
"spider_start_time": "2021-11-15 18:38:46.785",
"spider_end_time": "2021-11-15 18:38:48.260",
"task_params": {
"company_name": "上海皓辰祥和房地产开发有限公司",
"credit_no": "91310114MA1GYHF51D"
},
"metadata": {},
"spider_name": "aiqicha_search_company",
"spider_ip": "10.8.1.50",
"proxy_ip": "http://10.8.6.219:1805"
}
```
## 爬虫运行环境
<!--udm模块？scrapy？或其他-->
```buildoutcfg
scrapy
```
## 爬虫部署信息
<!--部署在哪些机器？每个机器多少进程？项目名称是什么？-->
```
crontab任务对应机器collie用户: 10.8.6.63
爬虫部署机器: 10.8.6.62 20个进程
```
## Taskhub地址
```
提交任务地址:http://10.8.6.222:8526/inbound/public_company_spider_data/check_task/
```
## Taskhub调度规则说明
```buildoutcfg
task_result=9110 # 非预期状态码
task_result=9201 # 出现异常提示信息
```
## 爬虫监控指标设计
<!--监控爬虫正常运行的指标是什么？报警规则是什么？-->
```
待定
```
---
# **数据归集**
## 责任人
```
范召贤
```
## 数据归集方式
- [ ] 爬虫直接写kafka
- [x] 爬虫写文件logstash采集
## 爬虫结果目录
```html
/data/gravel_spiders/aiqicha_search_company
```
## 归集后存放目录
```html
/data2_227/grvael_spider_result/aiqicha_search_company
```
## logstash配置文件名称
```html
project-deploy/logstash/10.8.6.246/conf.d/collie_spider_data_to_kfk.conf(入topic)
project-deploy/logstash/10.8.6.229/conf.d/grvael_spider_to_es.conf(入es)
```
## logstash文件采集type
```html
type=>"aiqicha-spider-data"
```
## 数据归集的topic
```html
topic_id => "public-company-spider-data"
```
## ES日志索引及筛选条件
```html
index => "public-company-spider-data-%{log_date}"
```
## 监控指标看板
## 数据保留策略
---
# **数据清洗**
## 责任人
## 代码地址
## 部署地址
<!--机器及线上代码地址-->
## 部署方法及说明
<!--运行方法及运行命令、supervisor配置、supervisor的program等-->
- [ ] crontab + data_pump
- [ ] supervisor + data_pump
- [ ] supervisor + consumer
## 数据接收来源
<!--来源于kafka还是归集的文件、topic的group？-->
## 数据存储表地址
* 数据库地址：
* 表名：
\ No newline at end of file