カテゴリー 全て

によって 诗君 朱 14年前.

485

目前问题

在数据中心的运营过程中,arms数据库出现了一些异常情况,导致连接数量超过400个,监控线程无法连接,此外,arms前台还面临访问问题。为了应对这些问题,数据中心计划通过脚本追踪并恢复系统。此外,数据库用户的密码已过期,已经采取措施设置密码不过期并更新了密码。

押品管理方面,存在权证关系正副本不一致的情况,影响了系统同步,导致错误数据的生成。建议采取评估影响并调整数据顺序的措施,并在补录已有权证信息时不要关联押品和从合同。

目前问题

近期问题

贷后

数据库用户密码过期
设置用户密码不过期
已更新了用户密码

押品

审计发现股票等押品价值重估 没有定期进行

修改跑批脚本,取内网T+0目录下的T+1数据

押品系统取数据全部取的是T+1,因此导致内网数据没有取到
cmis数据是T+1
内网T+1目录下的数据实际时间是T+2
押品权证关系正副本不一致

最终:评估影响并最终调整数据顺序

临时:建议分行在做补录已有权证信息时不要关联押品和从合同

影响

已有押品权证关系,外系统做一次正本到副本的同步,影响了副本信息,再生效一次,就会产生错误的正本数据

在补录已有权证信息时如果选择了已有关系的押品和合同,第二次保存时会报错

正副本表上的押品权证主键顺序不一
gsp超时报警
日志追查情况

67

00000050

10:29:18:006 完成操作

[10-6-17 10:29:18:006 GMT+08:00] 00000050 SystemOut O [INFO ] 10:29:18,004 CommonsLogger#info: Executed action [/workflow/detailTaskAction!detailTask] took 489872 ms

10:21:08:141 更新FLW_INFO

[10-6-17 10:21:08:141 GMT+08:00] 00000050 SystemOut O [DEBUG] 10:21:08,139 JakartaCommonsLoggingImpl#debug: {conn-12611136} Preparing Statement: update FLW_INFO set FLW_INFO_STATUS=? ,FLW_EMP=?,FLW_NEXT=NULL where FLW_INFONO=?

00000045

10:29:18:000 完成操作

[10-6-17 10:29:18:000 GMT+08:00] 00000045 SystemOut O [INFO ] 10:29:17,999 CommonsLogger#info: Executed action [/workflow/detailTaskAction!detailTask] took 492143 ms

10:21:05:902 更新flw_opinion

[10-6-17 10:21:05:902 GMT+08:00] 00000045 SystemOut O [DEBUG] 10:21:05,901 JakartaCommonsLoggingImpl#debug: {conn-12611121} Preparing Statement: INSERT INTO FLW_OPINION(FLW_INSNO,FLW_CONTENT,FLW_EMP,FLW_EMPNAME) VALUES(?,?,?,?)

10:21:05:893 新增FLW_INFO

[10-6-17 10:21:05:893 GMT+08:00] 00000045 SystemOut O [DEBUG] 10:21:05,892 JakartaCommonsLoggingImpl#debug: {conn-12611114} Preparing Statement: INSERT INTO FLW_INFO(FLW_INSNO,FLW_NOW ,FLW_OVER_EMP ,FLW_INFO_STATUS,FLW_START,FLW_EDITNO) VALUES(?,? ,? ,?,?,?)

10:21:05:857 detailTaskAction

[10-6-17 10:21:05:857 GMT+08:00] 00000045 SystemOut O [INFO ] 10:21:05,856 CommonsLogger#info: Starting execution stack for action /workflow/detailTaskAction

58

0000003f

10:29:24:828 数据库异常,数据太长

[10-6-17 10:29:24:828 GMT+08:00] 0000003f SystemOut O [ERROR] 10:29:24,824 ExceptionHandler#log2file: 鎿嶄綔鏁版嵁搴撳彂鐢熷紓甯?ASICMS02: DAE 20100617102924)

10:29:18:056 拿到权证主键

[10-6-17 10:29:18:056 GMT+08:00] 0000003f SystemOut O [DEBUG] 10:29:18,054 JakartaCommonsLoggingImpl#debug: {conn-19199342} Preparing Statement: VALUES IDENTITY_VAL_LOCAL()

10:21:05:999 新增CER_INFO

[10-6-17 10:21:05:999 GMT+08:00] 0000003f SystemOut O [DEBUG] 10:21:05,997 JakartaCommonsLoggingImpl#debug: {conn-19199342} Preparing Statement: INSERT INTO CER_INFO (CER_STATUS, BRANCH_CODE, SCAN_INFO, CER_TYPE, IS_ENTRY, IS_BACK, RGT_MOR_ST, OWNER, PACK_CODE, ASU_TYPE, END_DATE, IS_CONSIGN, FLOW_STATUS, RGT_VALUE, RGT_NO, RGT_BDEPT, REC_NO, MOR_ENT_CODE, NOTICE) VALUES (null, '110999', null, '2091', '1', '', '2009-12-21', '', '', '', '2029-12-21', null, null, 1100000.0, 'X浜埧浠栬瘉涓板瓧绗?62305鍙?, '', null, '', '')

10:21:05:153开始操作submitRestockinApplyAction

[10-6-17 10:21:05:153 GMT+08:00] 0000003f SystemOut O [INFO ] 10:21:05,152 CommonsLogger#info: Starting execution stack for action /warrant/submitRestockinApplyAction

000000161

10:29:18:050 完成操��

[10-6-17 10:29:18:050 GMT+08:00] 00000161 SystemOut O [INFO ] 10:29:18,037 CommonsLogger#info: Executed action [/warrant/submitWarrantLeaveApplyAction!submitLeaveApply] took 485879 ms

10:21:12:273 更新FLW_INSTANCE

[10-6-17 10:21:12:273 GMT+08:00] 00000161 SystemOut O [DEBUG] 10:21:12,271 JakartaCommonsLoggingImpl#debug: {conn-19199534} Preparing Statement: UPDATE FLW_INSTANCE SET FLW_STATUS=? ,FLW_TITLE=? WHERE FLW_INSNO=?

10:21:12:159开始submitWarrantLeaveApplyAction

[10-6-17 10:21:12:159 GMT+08:00] 00000161 SystemOut O [INFO ] 10:21:12,158 CommonsLogger#info: Starting execution stack for action /warrant/submitWarrantLeaveApplyAction

措施

最终:根据日志定位问题

临时:数据中心加强db2监控,通过脚本记录锁表情况

初步怀疑是做批量重估时押品数量过大引起锁表
从systemerr上来看,集中反映出押品系统查询已办任务时锁表,抛68错误
从db2日志来看,有三张表有锁升级情况

重估表

流程信息

押品基本信息

由于时间太短,数据中心没有保留现场
押品系统锁表引起gsp超时报警-100617 10:21-100617 10:33
从合同权证关系重复
涉及库表

lock表

从合同权证关系副本表

从合同权证关系正本表

程序6月5日版本已修复,目前正在准备修复数据

脚本等待确认中

等待业务确认数据

原因

如果在押品系统先补录,在外系统是看不到该条关系的,可以再次建立带系统编号的数据

外系统建立关系时要求该系统编号

押品系统补录权证时从合同系统编号为空

历史数据

arms

arms数据库实例异常
数据中心监控有一定难度
查看app server最大数量
0618又发生了3次,准备做脚本跟踪
数据中心没有拿到现场记录,快速恢复
数据库连接超过400个,监控线程无法连接,报错
arms前台无法访问
已更新到182.1.56.45
182.1.1.87ldap服务器异常