| ... | ... | @@ -62,6 +62,12 @@ |
|
|
|
- wechat_yhc_initial_pic_upload.yml 读mysql没有设置offset，可能导致数据中断。
|
|
|
|
- 中间表是否需要两个，没有字段冲突能否只使用一个中间表。
|
|
|
|
- picture_download_result.pic中定义了一些未使用的类如PicPatent，可以删掉。
|
|
|
|
- 图片下载功能是否有必要单独一个程序（更新mysql表时提交图片下载任务）？
|
|
|
|
- 图片下载sql reader中下载不到对应图片的任务重复提交，累积提交，占用资源
|
|
|
|
- 中间表起到的作用是什么（我理解的是保留数据源，为何会在test库下）？
|
|
|
|
- 是否有必要做中间表（直接读文件是否更好？，且程序以外down后以时间作为offset可能存在数据丢失）？
|
|
|
|
- 是否有必要做mysql中间表（若只为保留数据源，hive上建对应表load数据进集群）？
|
|
|
|
|
|
|
|
|
|
|
|
### 改进落实
|
|
|
|
|
| ... | ... | |
