dsp_view_cpt.py
文件来源：dsp_view_cpt_rcv_date
billing_dsp_view_cpt_date 文件格式：line +\t+ bill_cost =
cost取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 其中（is_special = true）
billing_dspcpt_date 文件格式 ：uid | app_id| plan_id | cp | media_id | _sn | cost
cost取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 其中（is_special = true）
RCV click join 使用 的 变量 join_tk（tk + "_" + pkg_name）
中间文件 dsp_attribute_view_cpt_tk_date 文件格式：join_tk
bakup to big data
/ifsnew/anti-fraud/pre_deal/billing_dsp_view_cpt/20190110/CN_billing_dsp_view_cpt_date
bill use
源文件：billing_dspcpt_date
备份 (big_data_deal_path/log_type/20190110/15/00/CN_filename)
/ifsnew/anti-fraud/pre_deal/billing/billing_dsp_view_cpt/20190110/15/00/CN_billing_dspcpt_date
计费 (cn_remote_rsync_billfile_path/CN_filename)
目标路径：/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpt_date
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpt_date.done
dsp_view.py
文件来源：dsp_view_rcv_date
超时（if expired）
lt 为 空
中间文件 filter_billing_dsp_view_date 文件格式：[FILTER_BY_EXPIRED_FORMAT] + \t +line(文件来源 dsp_view_rcv_date)
lt =0 or ( lt>0 and abs(lt-ts) >rcv_expired_time = 21600)
filter_billing_dsp_view_date 文件格式：[FILTER_BY_EXPIRED_VIEW] + \t +line(文件来源 dsp_view_rcv_date)
去重
生成 uniqs
a.将1个小时内的时间存放在一个list中(5分钟记录一次) b.删除当前时间 c. 循环list创建路径 d.生成uniqs （key的形式）
父主题
中间文件：filter_billing_dsp_view_date (文件格式：[FILTER_BY_DSP_DUP_VIEW] + \t + line
生成集合变量 new_uniqus（元素：key）
遍历new_uniqus
中间文件：uniq_dsp_view_date 文件格式：key | key |key ……
dsp 没判断计费类型
billing_dspcpm_date (文件格式：uid | app_id |plan_id|cp|media_id|_sn|cost)
cost取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 其中（is_special = true）
billing_dsp_view_date 文件格式： line +\t bill_cost +str(cost)
cost取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 其中（is_special = true）
归因的中间变量 （RCV click join 使用） join_tk (文件格式tk + "_" + pkg_name)
<ol><li>中间文件 dsp_attribute_view_tk_ date(文件格式：join_tk)<br></li></ol>
bakup to big data
源文件：billing_dsp_view_date
/ifsnew/anti-fraud/pre_deal/billing_dsp_view/20190110/CN_billing_dsp_view_date
bill use
源文件：billing_dspcpm_date
备份
/ifsnew/anti-fraud/pre_deal/billing/billing_dsp_view/20190110/15/00/CN_billing_dspcpm_date
计费
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpm_date
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_dspcpm_date.done
bill_view_cpt.py
文件来源：view_cpt_rcv_date
处理 cn
if 计费方式cp = 2 and asc =1
billing_view_cpt_asc_date 文件格式 ：line+ bill_cost=0(line是文件来源的line)
bill_view_cpt_asc_file_date 文件格式：res_type+ |+ _sn
else
billing_view_cpt_date 文件格式：line + bill_cost =
cost 取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 (其中 is_special = true)
if cp =2 and res_type = 80
billing_cpt_date 文件格式 ：uid | app_id |plan_id|cp|media_id|_sn|cost
cost 取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 其中（is_special = true）
归因 RCV click join
join_tk
中间文件 attribute_view_cpt_tk_date（文件格式：tk + "_" + pkg_name）
bakup to big data
源文件：billing_view_cpt_date
/ifsnew/anti-fraud/pre_deal/billing_view_cpt/20190110/CN_billing_view_cpt_date
bill use
源文件：billing_cpt_date
计费
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpt_date
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpt_date.done
备份
/ifsnew/anti-fraud/pre_deal/billing/billing_view_cpt/20190110/15/00/CN_billing_cpt_date
if cn
源文件：billing_asccpt_date
计费
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_asccpt_date
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_asccpt_date.done
备份
/ifsnew/anti-fraud/pre_deal/billing/billing_view_cpt/20190110/15/00/CN_billing_asccpt_date
bill_view.py
文件来源 ：view_rcv_date
超时
lt 为 空
中间文件 filter_billing_view_date 文件格式：[FILTER_BY_EXPIRED_FORMAT] + \t +line(文件来源 view_rcv_date)
lt =0 or ( lt>0 and abs(lt-ts) >rcv_expired_time = 21600)
filter_billing_view_date 文件格式：[FILTER_BY_EXPIRED_VIEW] + \t +line(文件来源 view_rcv_date)
去重：cp == cpm(4)
中间文件 filter_billing_view_date 文件格式 ：[FILTER_BY_DUP_VIEW] +\t+ line (文件来源：view_rcv_date)
生成集合变量 new_uniqus（元素：key）
遍历new_uniqus
中间文件：uniq_view_date 文件格式：key | key |key ……
报表使用 billing_view_date 文件格式：line + \t +bill_cost =
cost取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 (其中 is_specila = true)
计费使用 cp =4 and res_type = 80
billing_cpm_date 文件格式：uid | app_id |plan_id|cp|media_id|_sn|cost
cost取值
if cost ==0 （if bid != '' cost = bid*1000000 else cost = 0）
if is_special cost =cost/1000 其中（is_special = true）
归因的中间变量 （RCV click join 使用） join_tk (文件格式tk + "_" + pkg_name)
attribute_view_tk_date 文件格式：join_tk
backup to big data
源文件：billing_view_date
/ifsnew/anti-fraud/pre_deal/billing_view/20190110/CN_billing_view_date
bill use
源文件：billing_cpm_date
备份
/ifsnew/anti-fraud/pre_deal/billing/billing_view/20190110/15/00/CN_billing_cpm_date
计费
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpm_date
/ifsnew/anti-fraud/pre_deal/result/billfile/CN_billing_cpm_date.done
backup fraud
源文件：filter_billing_view_date
/ifsnew/anti-fraud/pre_deal/classify/other/billing_view/20190110/15/00/CN_filter_billing_view_date
