You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-10-17 - 06:19

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #4
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rackdslot4.osadl.org (updated Fri Oct 15, 2021 12:46:08)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1227723760,7sleep112284-21cpuspeed_turbos07:05:191
2551821520,2sleep20-21swapper/207:20:292
1208911200,50ptp4l401ktimersoftd/307:09:343
56598880,14rtkit-daemon0-21swapper/207:09:122
14616998671,8cyclictest9-21ksoftirqd/011:35:140
14616998671,8cyclictest9-21ksoftirqd/011:35:140
241882740,4sleep324192-21cpuspeed_turbos11:20:023
73862720,5sleep341-21ksoftirqd/307:40:053
73862720,5sleep341-21ksoftirqd/307:40:043
242612720,5sleep024266-21hwlatdetect10:00:050
33242700,2sleep20-21swapper/210:15:012
33242700,2sleep20-21swapper/210:15:012
14617997057,9cyclictest25-21ksoftirqd/110:10:131
14617996955,9cyclictest25-21ksoftirqd/109:30:131
207662660,8sleep31461999cyclictest11:55:113
18732650,2sleep00-21swapper/011:30:190
14619996531,11cyclictest41-21ksoftirqd/309:45:173
14616996551,7cyclictest9-21ksoftirqd/009:45:130
15872640,2sleep30-21swapper/309:30:223
14617996450,8cyclictest25-21ksoftirqd/109:25:131
14619996226,9cyclictest41-21ksoftirqd/307:30:433
155522590,7sleep31461999cyclictest07:50:043
174882580,2sleep00-21swapper/012:30:090
14619995828,9cyclictest41-21ksoftirqd/311:12:543
14619995826,5cyclictest41-21ksoftirqd/310:15:073
14619995826,5cyclictest41-21ksoftirqd/310:15:063
14619995728,9cyclictest41-21ksoftirqd/309:06:183
14619995727,9cyclictest41-21ksoftirqd/310:07:583
14619995727,9cyclictest41-21ksoftirqd/308:51:213
120891570,1ptp4l391rcuc/308:37:023
120891570,1ptp4l391rcuc/308:18:283
56598560,11rtkit-daemon0-21swapper/208:32:442
316422560,2sleep00-21swapper/012:05:320
14619995628,8cyclictest41-21ksoftirqd/310:04:283
14619995627,9cyclictest41-21ksoftirqd/310:57:043
14619995626,9cyclictest41-21ksoftirqd/310:50:393
14619995626,9cyclictest41-21ksoftirqd/308:09:453
1461999553,8cyclictest41-21ksoftirqd/307:45:123
14617995540,9cyclictest25-21ksoftirqd/109:45:101
125472555,36sleep00-21swapper/007:05:230
14619995426,9cyclictest41-21ksoftirqd/310:35:403
14619995425,10cyclictest41-21ksoftirqd/311:00:053
261842530,2sleep20-21swapper/210:00:242
14619995326,8cyclictest41-21ksoftirqd/310:40:253
14619995325,8cyclictest41-21ksoftirqd/312:14:403
14619995219,9cyclictest41-21ksoftirqd/309:53:573
1461999514,7cyclictest401ktimersoftd/311:31:523
14619995027,8cyclictest41-21ksoftirqd/311:09:133
14619995024,10cyclictest41-21ksoftirqd/310:25:183
14619995023,9cyclictest41-21ksoftirqd/311:50:053
14619995019,9cyclictest41-21ksoftirqd/310:11:553
1461999501,8cyclictest3593-21sed09:35:033
1461999493,8cyclictest41-21ksoftirqd/312:15:143
14619994927,7cyclictest41-21ksoftirqd/307:28:283
14619994926,8cyclictest41-21ksoftirqd/312:04:043
14619994925,10cyclictest41-21ksoftirqd/307:40:013
14619994925,10cyclictest41-21ksoftirqd/307:40:003
14619994822,10cyclictest41-21ksoftirqd/309:25:033
14619994726,8cyclictest41-21ksoftirqd/308:32:383
1461999470,7cyclictest41-21ksoftirqd/307:10:313
120891470,1ptp4l401ktimersoftd/309:55:163
120891470,1ptp4l401ktimersoftd/309:15:063
14619994640,4cyclictest41-21ksoftirqd/309:20:013
14619994621,10cyclictest41-21ksoftirqd/312:25:313
14619994620,9cyclictest41-21ksoftirqd/308:25:343
14619994527,8cyclictest41-21ksoftirqd/310:21:353
14619994526,9cyclictest41-21ksoftirqd/310:32:513
1461999452,5cyclictest0-21swapper/307:21:133
14619994520,10cyclictest41-21ksoftirqd/311:40:063
14617994533,6cyclictest25-21ksoftirqd/109:20:111
14617994531,7cyclictest25-21ksoftirqd/110:15:101
14617994531,7cyclictest25-21ksoftirqd/110:15:101
1461799452,40cyclictest2740-21cron08:15:011
14619994426,9cyclictest41-21ksoftirqd/312:35:363
14619994419,9cyclictest41-21ksoftirqd/311:35:033
14619994419,9cyclictest41-21ksoftirqd/311:35:033
120891440,1ptp4l401ktimersoftd/311:16:433
14619994337,4cyclictest41-21ksoftirqd/311:45:153
14619994318,9cyclictest41-21ksoftirqd/308:45:053
14617994336,4cyclictest25-21ksoftirqd/110:30:011
1461699439,4cyclictest319892fschecks_time07:30:100
14616994315,5cyclictest1088-21runrttasks11:50:130
14616994314,4cyclictest7405-21/usr/sbin/munin10:20:110
1461999423,6cyclictest41-21ksoftirqd/308:00:063
14619994236,4cyclictest41-21ksoftirqd/308:20:053
14619994236,3cyclictest41-21ksoftirqd/309:10:293
14617994236,4cyclictest25-21ksoftirqd/112:35:131
14617994236,4cyclictest25-21ksoftirqd/112:00:131
14617994236,3cyclictest25-21ksoftirqd/109:40:011
120891420,1ptp4l401ktimersoftd/308:44:223
1461999415,9cyclictest41-21ksoftirqd/312:21:493
14619994136,3cyclictest41-21ksoftirqd/310:45:113
14619994136,3cyclictest41-21ksoftirqd/308:10:143
14618994134,4cyclictest33-21ksoftirqd/212:30:022
14617994135,4cyclictest25-21ksoftirqd/112:05:151
14617994135,4cyclictest25-21ksoftirqd/109:50:031
14616994115,4cyclictest634-21cpu08:10:170
14616994113,4cyclictest24724-21if_enp4s012:00:060
14616994112,4cyclictest28334-21expr11:25:020
14616994112,4cyclictest25741-21sed08:40:240
14619994035,3cyclictest41-21ksoftirqd/308:55:253
14619994034,3cyclictest41-21ksoftirqd/309:00:023
14619994034,3cyclictest41-21ksoftirqd/309:00:013
14618994033,4cyclictest18746-21cron07:55:002
14617994034,4cyclictest25-21ksoftirqd/112:35:001
14617994034,3cyclictest25-21ksoftirqd/109:20:011
14616994017,4cyclictest9-21ksoftirqd/010:59:510
14616994013,3cyclictest7120-21/usr/sbin/munin09:40:130
14616994013,3cyclictest19185-21latency_hist09:15:010
177752390,8sleep21461899cyclictest10:30:142
1461999396,10cyclictest41-21ksoftirqd/312:30:133
14619993934,3cyclictest41-21ksoftirqd/309:40:213
14619993931,5cyclictest41-21ksoftirqd/311:25:103
14617993933,4cyclictest25-21ksoftirqd/111:50:291
14617993933,4cyclictest25-21ksoftirqd/107:10:271
14617993932,4cyclictest25-21ksoftirqd/112:15:021
14617993932,4cyclictest25-21ksoftirqd/108:50:011
14617993932,4cyclictest25-21ksoftirqd/108:30:121
14616993914,3cyclictest4369-21/usr/sbin/munin10:15:270
14616993914,3cyclictest4369-21/usr/sbin/munin10:15:270
14616993914,3cyclictest29229-21/usr/sbin/munin10:05:190
14616993913,4cyclictest15051-21cat11:05:290
14617993832,4cyclictest25-21ksoftirqd/111:20:001
14617993832,4cyclictest25-21ksoftirqd/110:55:091
14617993831,4cyclictest25-21ksoftirqd/111:30:121
14617993831,4cyclictest25-21ksoftirqd/110:00:001
14616993813,3cyclictest8485-21/usr/sbin/munin08:20:230
1461999375,9cyclictest41-21ksoftirqd/312:08:323
1461999375,7cyclictest41-21ksoftirqd/307:15:033
14619993733,2cyclictest391rcuc/307:57:003
1461899373,4cyclictest149082sed07:50:012
14617993732,3cyclictest25-21ksoftirqd/111:55:011
14617993731,4cyclictest25-21ksoftirqd/110:35:011
14617993731,4cyclictest25-21ksoftirqd/108:40:241
14617993731,3cyclictest25-21ksoftirqd/107:35:041
14617993731,3cyclictest25-21ksoftirqd/107:35:041
14617993731,3cyclictest25-21ksoftirqd/107:18:481
14617993730,4cyclictest25-21ksoftirqd/108:28:551
14617993730,4cyclictest25-21ksoftirqd/108:24:311
1461699372,14cyclictest7734-21cron12:20:010
14616993712,3cyclictest1579-21irqrtprio09:30:220
14617993630,4cyclictest25-21ksoftirqd/108:50:021
14617993630,4cyclictest25-21ksoftirqd/107:40:021
14617993630,4cyclictest25-21ksoftirqd/107:40:011
14617993630,4cyclictest25-21ksoftirqd/107:20:051
14617993629,4cyclictest25-21ksoftirqd/112:30:001
14618993529,4cyclictest33-21ksoftirqd/211:30:122
14618993529,4cyclictest33-21ksoftirqd/207:56:192
14618993528,4cyclictest33-21ksoftirqd/210:12:442
14617993530,3cyclictest25-21ksoftirqd/111:20:121
14617993529,4cyclictest25-21ksoftirqd/111:45:031
14617993529,4cyclictest25-21ksoftirqd/111:25:331
14617993529,4cyclictest25-21ksoftirqd/110:05:091
14617993529,4cyclictest25-21ksoftirqd/108:58:441
14617993529,4cyclictest25-21ksoftirqd/108:15:041
14617993528,4cyclictest25-21ksoftirqd/111:09:081
14617993528,4cyclictest25-21ksoftirqd/107:48:011
14617993521,7cyclictest25-21ksoftirqd/109:05:101
1461699356,4cyclictest0-21swapper/011:20:020
14616993528,4cyclictest9-21ksoftirqd/011:55:290
14616993528,4cyclictest9-21ksoftirqd/009:21:310
14618993428,4cyclictest33-21ksoftirqd/212:10:152
14618993427,4cyclictest33-21ksoftirqd/210:45:472
14618993427,4cyclictest33-21ksoftirqd/209:15:142
14617993429,3cyclictest25-21ksoftirqd/107:25:171
14617993428,4cyclictest25-21ksoftirqd/109:10:021
14617993428,4cyclictest25-21ksoftirqd/108:40:001
14617993428,4cyclictest25-21ksoftirqd/108:05:151
14617993428,3cyclictest25-21ksoftirqd/110:00:141
14617993427,4cyclictest25-21ksoftirqd/111:35:011
14617993427,4cyclictest25-21ksoftirqd/111:35:011
14617993427,4cyclictest11404-21kworker/1:011:10:081
14616993428,4cyclictest9-21ksoftirqd/011:16:170
14616993428,3cyclictest9-21ksoftirqd/008:46:570
14616993427,4cyclictest9-21ksoftirqd/011:41:110
14616993427,4cyclictest9-21ksoftirqd/011:14:140
14616993427,4cyclictest9-21ksoftirqd/008:33:540
14616993426,5cyclictest9-21ksoftirqd/009:02:170
14616993426,5cyclictest9-21ksoftirqd/009:02:170
14618993328,3cyclictest33-21ksoftirqd/210:40:282
14618993327,3cyclictest33-21ksoftirqd/212:19:332
14618993327,3cyclictest33-21ksoftirqd/211:50:132
14618993327,3cyclictest33-21ksoftirqd/211:42:362
14618993327,3cyclictest33-21ksoftirqd/211:21:112
14618993326,4cyclictest33-21ksoftirqd/211:00:422
14618993326,4cyclictest33-21ksoftirqd/209:51:562
14618993326,4cyclictest33-21ksoftirqd/209:10:542
14618993326,4cyclictest33-21ksoftirqd/208:25:402
14618993326,4cyclictest33-21ksoftirqd/207:40:452
14618993326,4cyclictest33-21ksoftirqd/207:40:442
14617993327,4cyclictest25-21ksoftirqd/110:40:151
14617993326,4cyclictest25-21ksoftirqd/112:13:121
14617993326,4cyclictest25-21ksoftirqd/111:01:581
14617993326,4cyclictest25-21ksoftirqd/110:51:141
14617993326,4cyclictest25-21ksoftirqd/110:25:011
14617993320,8cyclictest25-21ksoftirqd/108:00:111
14616993327,4cyclictest9-21ksoftirqd/008:35:380
14616993327,3cyclictest9-21ksoftirqd/012:10:360
14616993327,3cyclictest9-21ksoftirqd/007:46:500
14616993326,5cyclictest9-21ksoftirqd/010:12:460
14616993326,5cyclictest9-21ksoftirqd/008:06:000
14616993326,4cyclictest9-21ksoftirqd/012:27:000
14616993325,5cyclictest9-21ksoftirqd/009:29:180
74282320,8sleep21461899cyclictest08:20:032
14618993226,4cyclictest33-21ksoftirqd/212:00:052
14618993226,4cyclictest33-21ksoftirqd/211:25:122
14618993226,4cyclictest33-21ksoftirqd/211:13:382
14618993226,4cyclictest33-21ksoftirqd/210:20:442
14618993226,4cyclictest33-21ksoftirqd/208:55:132
14618993226,3cyclictest33-21ksoftirqd/210:54:292
14618993226,3cyclictest33-21ksoftirqd/208:50:022
14618993226,3cyclictest33-21ksoftirqd/208:13:132
14618993226,3cyclictest33-21ksoftirqd/207:12:202
14618993225,4cyclictest33-21ksoftirqd/211:38:002
14618993225,4cyclictest33-21ksoftirqd/211:38:002
14618993225,4cyclictest33-21ksoftirqd/209:33:132
14618993225,4cyclictest33-21ksoftirqd/209:26:332
14618993225,4cyclictest33-21ksoftirqd/209:02:312
14618993225,4cyclictest33-21ksoftirqd/209:02:302
14617993227,3cyclictest25-21ksoftirqd/110:45:141
14617993227,3cyclictest25-21ksoftirqd/110:35:101
14617993226,4cyclictest25-21ksoftirqd/109:40:181
14617993226,4cyclictest25-21ksoftirqd/109:00:151
14617993226,4cyclictest25-21ksoftirqd/109:00:141
14617993225,4cyclictest25-21ksoftirqd/112:25:001
14617993225,4cyclictest25-21ksoftirqd/107:59:101
14616993226,3cyclictest9-21ksoftirqd/008:58:370
14616993225,4cyclictest9-21ksoftirqd/011:03:170
14616993225,4cyclictest9-21ksoftirqd/010:29:440
14616993225,4cyclictest9-21ksoftirqd/008:53:490
14616993225,4cyclictest9-21ksoftirqd/007:21:550
14618993126,3cyclictest33-21ksoftirqd/211:15:122
14618993125,4cyclictest33-21ksoftirqd/212:29:072
14618993125,4cyclictest33-21ksoftirqd/208:40:332
14618993124,4cyclictest33-21ksoftirqd/212:36:522
14618993124,4cyclictest33-21ksoftirqd/210:55:482
14618993124,4cyclictest33-21ksoftirqd/209:43:422
14616993125,4cyclictest9-21ksoftirqd/009:16:490
14616993125,3cyclictest9-21ksoftirqd/012:37:040
14616993125,3cyclictest9-21ksoftirqd/010:51:060
14616993125,3cyclictest9-21ksoftirqd/009:53:010
14616993125,3cyclictest9-21ksoftirqd/007:56:250
14616993125,3cyclictest9-21ksoftirqd/007:11:460
14616993124,4cyclictest9-21ksoftirqd/010:45:420
14616993124,4cyclictest9-21ksoftirqd/008:29:240
14618993025,3cyclictest33-21ksoftirqd/207:35:152
14618993025,3cyclictest33-21ksoftirqd/207:35:142
14618993024,3cyclictest33-21ksoftirqd/211:08:202
14618993024,3cyclictest33-21ksoftirqd/210:27:192
14618993024,3cyclictest33-21ksoftirqd/208:46:432
14618993023,4cyclictest33-21ksoftirqd/212:06:272
14618993023,4cyclictest33-21ksoftirqd/208:01:542
14617993025,3cyclictest25-21ksoftirqd/107:50:111
14617993024,4cyclictest25-21ksoftirqd/107:30:151
14617993023,4cyclictest25-21ksoftirqd/111:40:441
14616993025,3cyclictest9-21ksoftirqd/012:24:510
14616993024,4cyclictest9-21ksoftirqd/010:38:030
14616993024,4cyclictest9-21ksoftirqd/009:05:370
14616993023,4cyclictest9-21ksoftirqd/008:18:150
14616993023,4cyclictest9-21ksoftirqd/007:40:540
14616993023,4cyclictest9-21ksoftirqd/007:40:530
14618992923,3cyclictest33-21ksoftirqd/210:37:392
14616992923,4cyclictest9-21ksoftirqd/010:42:130
14616992923,4cyclictest9-21ksoftirqd/007:38:010
14616992923,4cyclictest9-21ksoftirqd/007:38:010
14616992923,3cyclictest9-21ksoftirqd/007:27:410
14616992923,3cyclictest9-21ksoftirqd/007:17:280
14618992823,3cyclictest33-21ksoftirqd/209:56:372
14618992822,3cyclictest33-21ksoftirqd/212:23:522
14618992822,3cyclictest33-21ksoftirqd/209:49:592
14618992821,4cyclictest33-21ksoftirqd/211:47:192
14618992821,4cyclictest33-21ksoftirqd/209:25:002
14618992821,4cyclictest33-21ksoftirqd/208:39:302
14618992821,4cyclictest33-21ksoftirqd/208:06:362
14616992822,4cyclictest9-21ksoftirqd/010:30:570
14616992822,4cyclictest9-21ksoftirqd/009:58:530
14616992822,3cyclictest9-21ksoftirqd/008:02:460
14618992722,3cyclictest33-21ksoftirqd/210:05:322
14618992722,3cyclictest33-21ksoftirqd/207:25:222
14618992721,4cyclictest33-21ksoftirqd/207:18:322
14618992721,3cyclictest33-21ksoftirqd/209:07:382
14618992720,4cyclictest33-21ksoftirqd/207:33:302
14618992620,4cyclictest33-21ksoftirqd/209:39:272
14616992618,5cyclictest9-21ksoftirqd/011:49:300
14618992519,3cyclictest33-21ksoftirqd/211:58:132
14618992417,4cyclictest33-21ksoftirqd/208:18:222
14616992418,3cyclictest9-21ksoftirqd/007:53:350
14616992318,3cyclictest9-21ksoftirqd/009:39:370
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional