You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-27 - 13:09
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot2.osadl.org (updated Fri Apr 26, 2024 12:46:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2654821710,8sleep2686499cyclictest07:50:192
1958921700,8sleep0686299cyclictest09:55:190
1235911260,98ptp4l41-21ksoftirqd/307:09:393
1235911050,2ptp4l19618-21fschecks_count12:15:143
6862998879,5cyclictest9-21ksoftirqd/008:40:130
6862998780,4cyclictest9-21ksoftirqd/009:05:130
6862998274,4cyclictest9-21ksoftirqd/010:00:140
6862998073,4cyclictest9-21ksoftirqd/008:20:110
6862997971,4cyclictest9-21ksoftirqd/007:35:130
6862997840,4cyclictest9-21ksoftirqd/008:29:590
6864997615,14cyclictest6906-21awk11:45:302
6864997615,14cyclictest29626-21awk10:15:322
6862997466,4cyclictest9-21ksoftirqd/008:10:050
6862997428,8cyclictest9-21ksoftirqd/010:05:310
6864997315,22cyclictest12172-21df_abs07:20:132
6864997313,13cyclictest20108-21runrttasks12:15:212
6864997310,14cyclictest31328-21sed09:10:312
6862997239,5cyclictest9-21ksoftirqd/007:55:210
6862997238,5cyclictest9-21ksoftirqd/010:40:280
6862997238,5cyclictest9-21ksoftirqd/008:00:160
6862997237,4cyclictest9-21ksoftirqd/007:50:300
6862997236,5cyclictest9-21ksoftirqd/011:20:260
123591720,45ptp4l401ktimersoftd/307:10:003
6862997138,5cyclictest9-21ksoftirqd/011:25:180
6862997138,4cyclictest9-21ksoftirqd/010:45:300
6862997138,4cyclictest9-21ksoftirqd/007:10:250
65102712,18sleep00-21swapper/007:09:160
686599704,8cyclictest41-21ksoftirqd/311:50:003
6862997037,4cyclictest9-21ksoftirqd/007:40:170
6862997035,5cyclictest9-21ksoftirqd/011:15:140
6862997028,8cyclictest9-21ksoftirqd/010:50:250
65172702,55sleep20-21swapper/207:09:212
6865996961,5cyclictest41-21ksoftirqd/307:20:053
686599695,9cyclictest41-21ksoftirqd/309:35:013
6864996911,14cyclictest32589-21/usr/sbin/munin09:15:212
6862996936,5cyclictest9-21ksoftirqd/012:20:300
6862996936,4cyclictest9-21ksoftirqd/010:35:290
6862996936,4cyclictest9-21ksoftirqd/010:35:290
6862996935,4cyclictest9-21ksoftirqd/011:30:290
6862996934,8cyclictest9-21ksoftirqd/009:30:170
57698690,40rtkit-daemon25-21ksoftirqd/107:08:431
686599683,8cyclictest41-21ksoftirqd/308:40:003
686499689,14cyclictest21832-21sed12:20:142
6862996835,4cyclictest9-21ksoftirqd/007:15:160
6862996833,4cyclictest9-21ksoftirqd/010:15:320
6862996831,5cyclictest9-21ksoftirqd/009:20:170
6862996830,5cyclictest9-21ksoftirqd/007:25:310
6864996713,14cyclictest14870-21irqrtprio07:25:212
6864996712,13cyclictest31907-21sensors08:00:262
6862996734,5cyclictest9-21ksoftirqd/007:45:290
6862996733,4cyclictest9-21ksoftirqd/009:35:140
686599667,10cyclictest41-21ksoftirqd/312:05:163
686599666,9cyclictest41-21ksoftirqd/312:30:283
686599665,9cyclictest41-21ksoftirqd/311:25:283
686599665,8cyclictest41-21ksoftirqd/308:25:003
686599665,7cyclictest41-21ksoftirqd/310:50:323
686599665,10cyclictest41-21ksoftirqd/311:00:133
686599664,9cyclictest41-21ksoftirqd/310:55:273
686599664,9cyclictest41-21ksoftirqd/309:50:023
6864996611,13cyclictest11336-21chrt10:47:242
6862996656,5cyclictest9-21ksoftirqd/008:30:090
6862996632,4cyclictest9-21ksoftirqd/008:50:150
686599657,10cyclictest41-21ksoftirqd/309:15:013
686599654,9cyclictest41-21ksoftirqd/311:35:283
686599654,9cyclictest41-21ksoftirqd/310:20:233
686599653,8cyclictest41-21ksoftirqd/309:45:173
686499656,12cyclictest2175-21runrttasks10:28:592
6862996557,5cyclictest9-21ksoftirqd/007:20:050
6862996527,7cyclictest9-21ksoftirqd/009:10:130
176832650,3sleep20-21swapper/209:50:302
686599647,9cyclictest41-21ksoftirqd/310:40:013
686599647,9cyclictest41-21ksoftirqd/310:40:003
686599647,8cyclictest41-21ksoftirqd/310:15:293
686599647,11cyclictest41-21ksoftirqd/310:05:333
686599647,10cyclictest41-21ksoftirqd/310:00:123
686599647,10cyclictest41-21ksoftirqd/309:40:243
686599646,10cyclictest41-21ksoftirqd/307:55:203
686599646,10cyclictest41-21ksoftirqd/307:50:293
686599645,9cyclictest41-21ksoftirqd/312:35:133
686599644,8cyclictest41-21ksoftirqd/309:25:363
686599643,9cyclictest41-21ksoftirqd/308:45:173
686599643,8cyclictest41-21ksoftirqd/312:20:343
6862996453,4cyclictest9-21ksoftirqd/011:35:290
6862996425,7cyclictest9-21ksoftirqd/011:10:170
6862996422,7cyclictest9-21ksoftirqd/011:00:010
6862996410,4cyclictest9-21ksoftirqd/007:30:250
686599637,9cyclictest41-21ksoftirqd/308:40:003
686599637,9cyclictest41-21ksoftirqd/308:20:013
686599637,10cyclictest41-21ksoftirqd/307:25:293
686599635,8cyclictest41-21ksoftirqd/311:50:183
686599635,8cyclictest41-21ksoftirqd/310:40:183
686599635,8cyclictest41-21ksoftirqd/309:00:183
686599634,9cyclictest41-21ksoftirqd/311:20:243
686599634,9cyclictest41-21ksoftirqd/308:05:013
686599634,8cyclictest41-21ksoftirqd/312:00:263
686599634,8cyclictest41-21ksoftirqd/312:00:253
686599634,8cyclictest41-21ksoftirqd/310:45:163
686599634,8cyclictest41-21ksoftirqd/310:30:153
686599634,8cyclictest41-21ksoftirqd/310:30:143
686599634,8cyclictest41-21ksoftirqd/308:55:183
686599633,8cyclictest41-21ksoftirqd/311:30:223
686599633,8cyclictest41-21ksoftirqd/310:10:193
6862996355,4cyclictest9-21ksoftirqd/009:25:060
6862996346,4cyclictest9-21ksoftirqd/010:25:170
6862996324,9cyclictest9-21ksoftirqd/012:35:230
6862996321,8cyclictest9-21ksoftirqd/011:45:180
203832630,6sleep1686399cyclictest11:05:331
686599627,11cyclictest41-21ksoftirqd/307:40:203
686599626,10cyclictest41-21ksoftirqd/310:00:003
686599626,10cyclictest41-21ksoftirqd/307:30:143
686599625,8cyclictest41-21ksoftirqd/308:10:283
686599625,7cyclictest41-21ksoftirqd/307:35:123
686599624,8cyclictest41-21ksoftirqd/311:10:333
686599624,8cyclictest41-21ksoftirqd/308:30:183
686599624,8cyclictest41-21ksoftirqd/308:05:173
686599623,8cyclictest41-21ksoftirqd/312:25:273
6864996212,18cyclictest21187-21dpkg07:40:022
6862996255,4cyclictest9-21ksoftirqd/012:00:000
6862996251,4cyclictest9-21ksoftirqd/008:55:310
6862996248,4cyclictest9-21ksoftirqd/012:05:240
6862996229,4cyclictest9-21ksoftirqd/011:04:270
6862996229,4cyclictest9-21ksoftirqd/009:17:520
6862996228,4cyclictest9-21ksoftirqd/009:04:200
6862996228,4cyclictest9-21ksoftirqd/008:09:390
6862996224,12cyclictest9-21ksoftirqd/008:45:010
6862996224,11cyclictest9-21ksoftirqd/009:45:140
6862996223,8cyclictest9-21ksoftirqd/012:25:330
686599616,9cyclictest41-21ksoftirqd/307:15:123
686599614,9cyclictest41-21ksoftirqd/311:05:283
686599614,8cyclictest41-21ksoftirqd/312:10:233
686599614,7cyclictest41-21ksoftirqd/309:05:113
6862996154,4cyclictest9-21ksoftirqd/008:20:010
308622610,8sleep2686499cyclictest10:20:182
686599607,10cyclictest41-21ksoftirqd/309:15:053
686599604,7cyclictest41-21ksoftirqd/311:55:203
686599603,7cyclictest41-21ksoftirqd/310:30:003
6864996012,13cyclictest3004-21taskset08:10:042
6862996050,3cyclictest9-21ksoftirqd/012:30:170
6862996048,4cyclictest9-21ksoftirqd/010:10:100
6862996026,4cyclictest9-21ksoftirqd/012:01:360
6862996026,4cyclictest9-21ksoftirqd/012:01:360
6862996026,4cyclictest9-21ksoftirqd/011:50:350
6862996021,7cyclictest9-21ksoftirqd/012:10:280
686599596,11cyclictest41-21ksoftirqd/311:40:233
686599594,7cyclictest41-21ksoftirqd/309:35:123
686599593,9cyclictest41-21ksoftirqd/311:15:153
686599593,8cyclictest41-21ksoftirqd/308:30:003
6862995928,8cyclictest9-21ksoftirqd/009:40:160
6862995928,7cyclictest9-21ksoftirqd/012:20:000
6862995928,4cyclictest9-21ksoftirqd/010:20:320
686599583,12cyclictest41-21ksoftirqd/307:45:143
6862995847,4cyclictest9-21ksoftirqd/010:30:270
6862995847,4cyclictest9-21ksoftirqd/010:30:270
6862995844,4cyclictest9-21ksoftirqd/008:35:150
686599573,8cyclictest41-21ksoftirqd/309:20:333
686499579,14cyclictest18018-21/usr/sbin/munin08:45:132
6864995712,14cyclictest18544-21awk12:10:352
6863995751,3cyclictest25-21ksoftirqd/112:00:011
6862995751,3cyclictest9-21ksoftirqd/011:10:000
6865995650,4cyclictest41-21ksoftirqd/308:50:333
6864995612,20cyclictest24730-21awk07:45:272
6864995612,12cyclictest19546-21irqrtprio07:35:232
686499558,14cyclictest2627-21grep10:30:142
686499558,14cyclictest2627-21grep10:30:132
6862995537,9cyclictest9-21ksoftirqd/011:40:280
686499547,13cyclictest0-21swapper/209:30:262
6862995446,4cyclictest9-21ksoftirqd/009:50:160
686499539,11cyclictest0-21swapper/212:38:092
6864995210,11cyclictest0-21swapper/209:25:372
6864995112,19cyclictest2104-21cpuspeed_turbos09:20:142
686499508,14cyclictest12155-21sed08:30:272
88652480,2sleep20-21swapper/210:40:332
686499486,12cyclictest0-21swapper/211:35:312
686499479,14cyclictest0-21swapper/207:13:512
6864994614,15cyclictest12874-21needreboot10:50:292
686499458,11cyclictest9880-21apt-get11:55:102
6864994539,3cyclictest33-21ksoftirqd/211:44:552
6863994540,3cyclictest25-21ksoftirqd/107:40:001
6864994412,14cyclictest9149-21date08:20:322
6864994412,14cyclictest17729-21runrttasks08:44:212
6863994438,4cyclictest25-21ksoftirqd/107:19:401
6863994437,5cyclictest25-21ksoftirqd/109:35:001
686499439,10cyclictest23162-21diskstats08:55:172
6864994336,4cyclictest33-21ksoftirqd/208:50:582
6864994336,4cyclictest33-21ksoftirqd/208:20:012
6863994337,3cyclictest25-21ksoftirqd/112:34:191
6863994336,4cyclictest25-21ksoftirqd/110:35:011
6863994336,4cyclictest25-21ksoftirqd/110:35:001
6863994236,4cyclictest25-21ksoftirqd/109:45:121
6863994236,4cyclictest25-21ksoftirqd/108:40:001
686499418,13cyclictest26857-21open_files11:20:222
686499415,12cyclictest0-21swapper/210:05:152
6863994135,4cyclictest25-21ksoftirqd/110:10:281
6863994133,5cyclictest25-21ksoftirqd/108:16:231
686499409,14cyclictest11774-21grep09:40:122
686499409,13cyclictest21951-21irqrtprio11:10:232
6864994034,3cyclictest33-21ksoftirqd/212:06:142
6864994034,3cyclictest33-21ksoftirqd/209:46:042
6864994033,4cyclictest33-21ksoftirqd/208:36:592
6863994035,3cyclictest25-21ksoftirqd/110:40:011
6863994035,3cyclictest25-21ksoftirqd/110:40:001
6863994034,4cyclictest5100-21cron08:15:011
6863994034,4cyclictest25-21ksoftirqd/111:18:021
6863994034,4cyclictest25-21ksoftirqd/110:15:311
6863994034,4cyclictest25-21ksoftirqd/109:40:201
6863994033,4cyclictest25-21ksoftirqd/110:48:041
6863994032,5cyclictest25-21ksoftirqd/111:47:411
6863994032,5cyclictest25-21ksoftirqd/108:01:341
686499399,14cyclictest26680-21smartctl12:30:162
6864993932,4cyclictest33-21ksoftirqd/208:25:582
6864993911,12cyclictest29526-21taskset11:25:302
6864993911,12cyclictest1-21systemd07:56:492
6864993910,13cyclictest25025-21/usr/sbin/munin09:00:322
6864993910,10cyclictest2343-21taskset08:07:102
6863993933,3cyclictest25-21ksoftirqd/112:29:051
6863993933,3cyclictest25-21ksoftirqd/110:23:271
6863993932,5cyclictest25-21ksoftirqd/109:26:451
6863993932,4cyclictest25-21ksoftirqd/111:27:211
6863993932,4cyclictest25-21ksoftirqd/109:38:211
6863993932,4cyclictest25-21ksoftirqd/109:13:511
6864993832,3cyclictest33-21ksoftirqd/212:29:312
6864993830,5cyclictest33-21ksoftirqd/207:17:512
6863993832,4cyclictest25-21ksoftirqd/109:06:131
6863993832,4cyclictest25-21ksoftirqd/108:42:561
6863993831,5cyclictest25-21ksoftirqd/108:34:541
6863993831,4cyclictest25-21ksoftirqd/112:20:121
6863993831,4cyclictest25-21ksoftirqd/112:16:551
6863993831,4cyclictest25-21ksoftirqd/112:02:541
6863993831,4cyclictest25-21ksoftirqd/112:02:531
6863993831,4cyclictest25-21ksoftirqd/109:23:041
6863993831,4cyclictest25-21ksoftirqd/108:46:311
6863993831,4cyclictest25-21ksoftirqd/108:22:401
6863993830,5cyclictest25-21ksoftirqd/107:31:361
686499379,12cyclictest1126-21runrttasks11:07:152
6864993731,3cyclictest33-21ksoftirqd/212:00:542
6864993731,3cyclictest33-21ksoftirqd/212:00:532
6863993732,3cyclictest25-21ksoftirqd/112:39:591
6863993732,3cyclictest25-21ksoftirqd/111:45:001
6863993731,3cyclictest25-21ksoftirqd/107:23:061
6863993730,4cyclictest25-21ksoftirqd/112:13:181
6863993730,4cyclictest25-21ksoftirqd/111:21:091
6863993730,4cyclictest25-21ksoftirqd/107:55:571
6863993730,4cyclictest25-21ksoftirqd/107:41:511
6864993629,4cyclictest33-21ksoftirqd/211:34:482
6864993629,4cyclictest33-21ksoftirqd/207:32:402
6864993628,5cyclictest33-21ksoftirqd/209:38:552
6863993630,4cyclictest25-21ksoftirqd/110:42:341
6863993630,4cyclictest25-21ksoftirqd/107:46:261
6863993630,3cyclictest25-21ksoftirqd/110:04:081
6863993630,3cyclictest25-21ksoftirqd/109:15:071
6863993630,3cyclictest25-21ksoftirqd/107:25:551
6863993629,5cyclictest25-21ksoftirqd/112:08:121
6863993629,4cyclictest25-21ksoftirqd/111:39:221
6863993629,4cyclictest25-21ksoftirqd/111:14:361
6863993629,4cyclictest25-21ksoftirqd/109:52:581
6864993529,3cyclictest33-21ksoftirqd/211:53:572
6863993529,4cyclictest25-21ksoftirqd/108:27:281
6863993529,3cyclictest25-21ksoftirqd/107:11:301
6863993528,5cyclictest25-21ksoftirqd/108:55:051
6863993528,4cyclictest25-21ksoftirqd/111:53:541
6863993528,4cyclictest25-21ksoftirqd/108:09:521
686399352,3cyclictest121rcu_preempt11:04:431
6864993427,4cyclictest33-21ksoftirqd/210:57:352
6864993426,5cyclictest33-21ksoftirqd/210:39:502
6864993426,5cyclictest33-21ksoftirqd/210:39:492
6863993428,4cyclictest25-21ksoftirqd/110:59:471
6863993427,4cyclictest25-21ksoftirqd/111:34:321
6863993427,4cyclictest25-21ksoftirqd/110:25:461
6863993427,4cyclictest25-21ksoftirqd/107:52:431
686499336,13cyclictest0-21swapper/211:01:482
6863993327,3cyclictest25-21ksoftirqd/109:56:061
6863993327,3cyclictest25-21ksoftirqd/108:52:031
686499326,9cyclictest26186-21seq10:10:162
6864993217,11cyclictest0-21swapper/209:55:082
6864993125,3cyclictest33-21ksoftirqd/209:06:532
6864993117,8cyclictest23481-21apt-get11:15:122
6863993125,4cyclictest25-21ksoftirqd/110:54:531
6863992923,3cyclictest25-21ksoftirqd/110:07:061
6864992816,8cyclictest21208-21cpuspeed_turbos10:00:162
6863992619,5cyclictest25-21ksoftirqd/109:02:411
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional