解析edip文件

Y

check_gz_size > 10

cd column_dir根据flag文件column分布，解析edip_file_dat生成每一列 column_name.column小文件

curl fdip_url

rm interface_name.running

CSV

N

子进程结束

ls gzfiles$?

!=0

每个gz文件大小和flag文件中是否一致

主进程开始

rm interface_name.runningfind logs_dir -exec rmfind edip_err_dir -szie 0 -exec rm 

调用sqlldr导入临时表；通过sqlplus记录日志

gunzip -c edip_file_datgz > gunzip_file_dat通过flag文件生成edip_file_structureline_length=grep RWOLENGTH flagfile

flag_short_name=flag文件前缀report_day=flg文件第二列interface_name=main.conf第一列result_type=main.conf第二列destination=main.conf第四列encoding=main.conf第五列group_flag_files=该flg文件对应的一组flag文件

./edip_anlysisi_csv.shflg_filedestination(ip port trade_type)interface_nameencoding

ls ${1}$?

report_day=$1第二列flag_short_name=flag文件第一列check_gz_size_count=0check_gz_size_max_count=10edip_file_prefix=flag文件去掉后缀edip_file_datgz=edip_file_prefix.dat.gzedip_file_dat=rec/report_day/flag_short_name/edip_file_prefix.datedip_err_file=err/edip_file_prefix.dat.erredip_file_result=rec/report_day/flag_short_name/edip_file_prefix.csvedip_file_structure=rec/report_day/flag_short_name/edip_file_prefix.structurecolumn_dir=rec/report_day/flag_short_namegunzip_file_dat=rec/edip_file_prefix.datdat_file_count=flag文件中记录dat文件的行数flag_gz_size=flag文件中记录的dat文件的大小fdip_host=fdip_port=fdip_trade_type=

ls *.flg

-f interface_name.running

touch interface_name.running

flg文件满足.*\\.[0-9]{8}\\.000000\\.000[0-9]\\.flg$

DB

sleep 30check_gz_size_count+1

datgz文件当前实际大小 != flag_gz_size

-f edip_file_datgz

check_gz_size_count=0

子进程开始

子进程正常结束

sleep 300

touch running

rec/flag_file

-f interface.running

=0一组gz文件是齐的

sleep 500

rm running

-n destination

主进程日志滚动

通过 paste -d '|' 将每一种column小文件拼接起来

result_type

./edip_anlysis_db.shgroup_flag_filesdetinationinterface_name

=0一组flag文件是是齐的

通过sqlplus调用配置的储存过程

rm *.column *.structure *.datmv current_flag edip_file_gatgz edip_proc_dirmv edip_file_result edip_result_dir

遍历flg files