You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-05-25 - 07:17
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 792 highest latencies:
System rackdslot2.osadl.org (updated Sat May 25, 2024 00:46:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
157822340,4sleep30-21swapper/319:05:443
35942764,59sleep0208-21systemd-journal19:09:580
24162740,18sleep10-21swapper/119:07:521
63912710,7sleep1395699cyclictest23:45:251
219742680,8sleep2395799cyclictest22:00:252
57698670,41rtkit-daemon18741-21apache219:07:272
123591640,1ptp4l401ktimersoftd/321:25:283
3956996355,5cyclictest25-21ksoftirqd/121:10:131
3956996355,5cyclictest25-21ksoftirqd/121:10:121
3956996154,4cyclictest25-21ksoftirqd/122:05:111
3956995952,4cyclictest25-21ksoftirqd/123:25:121
3956995952,4cyclictest25-21ksoftirqd/119:40:001
3956995850,5cyclictest25-21ksoftirqd/121:45:121
57698570,2rtkit-daemon0-21swapper/020:37:340
3956995750,4cyclictest25-21ksoftirqd/121:25:121
3957995635,18cyclictest33-21ksoftirqd/223:37:072
3956995649,4cyclictest25-21ksoftirqd/120:50:101
3956995548,4cyclictest25-21ksoftirqd/100:15:131
3956995546,5cyclictest25-21ksoftirqd/100:00:151
3957995333,17cyclictest33-21ksoftirqd/221:35:032
395699539,6cyclictest25-21ksoftirqd/119:27:141
3956995348,3cyclictest25-21ksoftirqd/120:25:011
3956995347,4cyclictest25-21ksoftirqd/123:20:011
3956995347,3cyclictest25-21ksoftirqd/122:40:001
3956995347,3cyclictest25-21ksoftirqd/121:05:001
3956995346,4cyclictest25-21ksoftirqd/123:40:101
3956995345,5cyclictest25-21ksoftirqd/120:35:121
3956995345,4cyclictest25-21ksoftirqd/120:55:121
3956995330,9cyclictest25-21ksoftirqd/119:10:541
3956995246,4cyclictest25-21ksoftirqd/120:20:011
3956995245,4cyclictest25-21ksoftirqd/122:20:001
3958995134,14cyclictest41-21ksoftirqd/321:12:323
3958995134,14cyclictest41-21ksoftirqd/321:12:313
3956995145,4cyclictest25-21ksoftirqd/100:00:011
3956995145,4cyclictest25-21ksoftirqd/100:00:011
6542500,2sleep00-21swapper/021:15:210
3958995033,14cyclictest41-21ksoftirqd/323:42:303
3958995033,14cyclictest41-21ksoftirqd/321:33:113
3956995043,4cyclictest25-21ksoftirqd/123:00:141
3956995043,4cyclictest25-21ksoftirqd/120:44:591
3956995043,4cyclictest25-21ksoftirqd/119:50:011
3956995043,4cyclictest25-21ksoftirqd/119:31:061
3955995043,4cyclictest9-21ksoftirqd/019:11:130
3956994942,4cyclictest25-21ksoftirqd/119:22:261
3955994942,4cyclictest9-21ksoftirqd/022:20:010
395599492,3cyclictest131rcu_sched19:33:100
3956994842,3cyclictest25-21ksoftirqd/121:25:001
3956994842,3cyclictest241ktimersoftd/119:19:051
3955994841,4cyclictest9-21ksoftirqd/021:30:000
3956994742,3cyclictest25-21ksoftirqd/122:50:001
3956994741,4cyclictest25-21ksoftirqd/120:30:211
3956994741,3cyclictest25-21ksoftirqd/100:30:001
3956994740,4cyclictest25-21ksoftirqd/121:05:011
3955994741,3cyclictest9-21ksoftirqd/000:40:010
3958994640,3cyclictest41-21ksoftirqd/319:10:413
3958994639,4cyclictest41-21ksoftirqd/322:35:003
3957994640,3cyclictest1-21systemd19:11:032
3957994624,19cyclictest33-21ksoftirqd/221:31:422
3957994623,20cyclictest33-21ksoftirqd/223:09:252
3956994640,4cyclictest25-21ksoftirqd/123:35:001
3956994640,4cyclictest25-21ksoftirqd/119:45:011
3956994640,4cyclictest25-21ksoftirqd/119:45:001
3956994639,4cyclictest25-21ksoftirqd/121:50:251
3955994640,3cyclictest9-21ksoftirqd/019:22:290
3955994639,4cyclictest9-21ksoftirqd/021:00:000
3958994538,4cyclictest41-21ksoftirqd/319:18:353
3957994517,24cyclictest11762-21systemd19:23:042
3956994539,4cyclictest25-21ksoftirqd/123:24:591
3956994538,4cyclictest25-21ksoftirqd/123:00:001
395699450,9cyclictest25-21ksoftirqd/120:00:001
3955994536,6cyclictest9-21ksoftirqd/020:35:000
123591450,1ptp4l401ktimersoftd/319:35:243
3958994437,4cyclictest41-21ksoftirqd/319:27:593
3957994427,5cyclictest33-21ksoftirqd/219:15:122
3956994439,3cyclictest25-21ksoftirqd/121:15:221
3956994438,4cyclictest25-21ksoftirqd/123:50:391
3956994438,4cyclictest25-21ksoftirqd/120:25:361
3956994438,4cyclictest25-21ksoftirqd/119:55:001
3956994437,5cyclictest25-21ksoftirqd/122:28:171
3956994437,4cyclictest25-21ksoftirqd/123:40:001
3956994437,4cyclictest25-21ksoftirqd/121:40:121
3956994437,4cyclictest25-21ksoftirqd/121:40:011
3956994436,4cyclictest25-21ksoftirqd/122:10:371
3955994438,3cyclictest9-21ksoftirqd/019:28:050
123591440,1ptp4l401ktimersoftd/322:05:363
123591440,1ptp4l401ktimersoftd/321:21:533
123591440,1ptp4l401ktimersoftd/320:50:293
3958994323,17cyclictest41-21ksoftirqd/300:27:513
3957994337,3cyclictest33-21ksoftirqd/222:18:092
3957994320,19cyclictest33-21ksoftirqd/222:25:582
3956994338,3cyclictest25-21ksoftirqd/100:35:301
3956994337,4cyclictest25-21ksoftirqd/121:55:211
3956994336,5cyclictest25-21ksoftirqd/120:15:001
3956994336,4cyclictest25-21ksoftirqd/122:45:001
3955994335,5cyclictest9-21ksoftirqd/019:19:410
3958994235,5cyclictest41-21ksoftirqd/319:23:353
3958994235,4cyclictest41-21ksoftirqd/319:41:593
3958994235,4cyclictest41-21ksoftirqd/319:41:593
395899421,4cyclictest131rcu_sched19:30:563
3957994234,5cyclictest33-21ksoftirqd/222:58:572
3956994237,3cyclictest25-21ksoftirqd/100:11:091
3956994236,3cyclictest25-21ksoftirqd/120:05:151
3956994235,4cyclictest25-21ksoftirqd/123:10:231
3956994235,4cyclictest25-21ksoftirqd/122:04:591
3955994236,3cyclictest9-21ksoftirqd/023:40:010
3955994235,4cyclictest9-21ksoftirqd/022:00:230
3955994235,4cyclictest9-21ksoftirqd/020:25:010
3955994235,4cyclictest9-21ksoftirqd/000:25:090
3958994135,4cyclictest41-21ksoftirqd/319:46:443
3958994134,4cyclictest41-21ksoftirqd/320:08:313
3958994113,5cyclictest32575-21df_abs21:15:143
3957994135,3cyclictest33-21ksoftirqd/219:28:042
3957994134,4cyclictest33-21ksoftirqd/222:35:002
3956994135,3cyclictest25-21ksoftirqd/120:00:181
3956994134,4cyclictest25-21ksoftirqd/122:20:141
3956994134,4cyclictest25-21ksoftirqd/120:45:241
3956994134,4cyclictest25-21ksoftirqd/100:08:001
3956994133,5cyclictest25-21ksoftirqd/122:30:291
3955994134,4cyclictest9-21ksoftirqd/022:37:270
3955994134,4cyclictest9-21ksoftirqd/000:23:460
210342410,5sleep09-21ksoftirqd/019:40:280
210342410,5sleep09-21ksoftirqd/019:40:280
3958994033,4cyclictest41-21ksoftirqd/319:55:233
3958994033,4cyclictest17345-21sshd20:42:363
3958994019,4cyclictest41-21ksoftirqd/320:27:513
3957994034,4cyclictest33-21ksoftirqd/221:10:262
3957994034,4cyclictest33-21ksoftirqd/221:10:262
3957994034,4cyclictest33-21ksoftirqd/220:51:162
3957994033,4cyclictest33-21ksoftirqd/200:01:592
3957994016,21cyclictest33-21ksoftirqd/200:17:432
3956994034,3cyclictest25-21ksoftirqd/123:05:411
3956994033,4cyclictest25-21ksoftirqd/122:55:001
3956994033,4cyclictest25-21ksoftirqd/100:25:011
3955994035,3cyclictest9-21ksoftirqd/019:37:160
3955994034,4cyclictest9-21ksoftirqd/022:25:200
3955994034,4cyclictest9-21ksoftirqd/022:20:350
3955994034,3cyclictest9-21ksoftirqd/022:53:330
3955994033,4cyclictest9-21ksoftirqd/023:59:590
3955994033,4cyclictest9-21ksoftirqd/021:02:410
3955994033,4cyclictest9-21ksoftirqd/000:00:000
3955994032,5cyclictest9-21ksoftirqd/019:56:370
3958993933,3cyclictest41-21ksoftirqd/321:47:533
3958993933,3cyclictest41-21ksoftirqd/320:45:083
3958993932,4cyclictest41-21ksoftirqd/323:56:273
3958993932,4cyclictest41-21ksoftirqd/323:56:263
3958993932,4cyclictest41-21ksoftirqd/323:11:113
3958993932,4cyclictest41-21ksoftirqd/322:12:383
3958993932,4cyclictest41-21ksoftirqd/321:06:153
395799399,4cyclictest17420-21irqrtprio23:00:272
395799397,7cyclictest0-21swapper/200:30:162
3957993933,3cyclictest33-21ksoftirqd/221:51:002
3957993933,3cyclictest33-21ksoftirqd/200:08:382
3957993932,4cyclictest33-21ksoftirqd/223:19:552
3957993932,4cyclictest33-21ksoftirqd/221:41:232
3957993932,4cyclictest33-21ksoftirqd/221:20:532
3957993932,4cyclictest33-21ksoftirqd/220:56:012
3957993932,4cyclictest33-21ksoftirqd/220:12:532
3956993933,4cyclictest25-21ksoftirqd/100:30:261
3956993932,4cyclictest25-21ksoftirqd/121:32:571
3955993934,3cyclictest9-21ksoftirqd/023:45:000
3955993933,4cyclictest9-21ksoftirqd/023:06:180
3955993933,3cyclictest9-21ksoftirqd/019:54:590
3955993932,4cyclictest9-21ksoftirqd/022:58:310
3955993932,4cyclictest9-21ksoftirqd/020:08:170
3955993932,4cyclictest9-21ksoftirqd/000:33:340
123591390,1ptp4l401ktimersoftd/321:35:113
3958993830,5cyclictest41-21ksoftirqd/321:01:193
3958993821,15cyclictest41-21ksoftirqd/300:08:313
3958993814,5cyclictest24624-21/usr/sbin/munin19:50:133
395799389,5cyclictest548-21dbus-daemon19:43:182
395799389,5cyclictest548-21dbus-daemon19:43:172
395799388,4cyclictest31707-21uname23:30:232
3957993832,4cyclictest33-21ksoftirqd/220:02:252
3957993832,4cyclictest33-21ksoftirqd/200:11:072
3957993831,4cyclictest33-21ksoftirqd/223:51:592
3957993831,4cyclictest33-21ksoftirqd/220:47:442
3957993815,20cyclictest33-21ksoftirqd/223:14:552
3957993811,4cyclictest32638-21sed21:15:142
3957993811,4cyclictest27703-21latency_hist22:15:002
3957993811,4cyclictest25236-21needreboot00:25:242
3955993832,4cyclictest9-21ksoftirqd/023:49:140
3955993832,4cyclictest9-21ksoftirqd/000:15:590
3955993832,3cyclictest9-21ksoftirqd/023:23:230
3955993832,3cyclictest9-21ksoftirqd/020:54:570
3955993832,3cyclictest9-21ksoftirqd/020:40:430
3955993831,5cyclictest9-21ksoftirqd/020:18:450
3955993831,4cyclictest9-21ksoftirqd/020:10:140
3955993831,4cyclictest9-21ksoftirqd/000:05:150
3955993831,4cyclictest9-21ksoftirqd/000:02:030
3958993731,4cyclictest41-21ksoftirqd/320:31:053
3958993730,4cyclictest41-21ksoftirqd/321:50:033
3958993729,5cyclictest41-21ksoftirqd/322:02:063
3957993732,3cyclictest33-21ksoftirqd/222:40:132
3957993731,4cyclictest33-21ksoftirqd/222:45:282
3957993731,4cyclictest33-21ksoftirqd/219:30:222
3957993731,3cyclictest33-21ksoftirqd/223:24:362
3957993731,3cyclictest33-21ksoftirqd/220:27:452
3957993731,3cyclictest33-21ksoftirqd/220:21:322
3957993730,4cyclictest33-21ksoftirqd/222:50:462
3957993730,4cyclictest33-21ksoftirqd/222:09:482
3957993730,4cyclictest33-21ksoftirqd/219:46:032
395799372,8cyclictest10892-21apt-get20:30:092
3957993713,3cyclictest31744-21ptp4l22:20:332
3957993710,4cyclictest29170-21df_abs00:35:172
3955993732,3cyclictest9-21ksoftirqd/022:10:130
3955993732,3cyclictest9-21ksoftirqd/021:20:220
3955993731,4cyclictest9-21ksoftirqd/023:11:320
3955993731,4cyclictest9-21ksoftirqd/021:56:100
3955993731,4cyclictest9-21ksoftirqd/021:13:380
3955993731,4cyclictest9-21ksoftirqd/021:13:370
3955993731,3cyclictest9-21ksoftirqd/023:29:280
3955993731,3cyclictest9-21ksoftirqd/020:28:030
3955993730,4cyclictest9-21ksoftirqd/023:18:150
3955993730,4cyclictest9-21ksoftirqd/020:45:130
3955993730,4cyclictest9-21ksoftirqd/000:12:430
123591370,11ptp4l401ktimersoftd/322:50:343
3958993630,4cyclictest41-21ksoftirqd/322:42:573
3958993630,3cyclictest41-21ksoftirqd/323:47:213
3958993629,5cyclictest41-21ksoftirqd/321:59:573
3958993629,5cyclictest41-21ksoftirqd/300:32:283
3958993629,4cyclictest41-21ksoftirqd/323:26:443
3958993629,4cyclictest41-21ksoftirqd/323:00:083
3958993629,4cyclictest41-21ksoftirqd/322:39:113
3958993629,4cyclictest41-21ksoftirqd/322:17:323
3958993629,4cyclictest41-21ksoftirqd/320:19:533
3957993631,3cyclictest33-21ksoftirqd/200:24:552
3957993630,4cyclictest33-21ksoftirqd/220:19:282
3957993629,4cyclictest33-21ksoftirqd/223:46:102
3957993629,4cyclictest33-21ksoftirqd/223:25:442
3957993629,4cyclictest33-21ksoftirqd/221:49:492
3957993629,4cyclictest33-21ksoftirqd/221:07:042
3957993611,4cyclictest16934-21timedrift20:40:352
3957993610,4cyclictest5246-21fschecks_time21:25:182
3957993610,4cyclictest27112-21latency_hist21:05:002
3955993630,4cyclictest9-21ksoftirqd/022:44:310
3955993630,4cyclictest9-21ksoftirqd/021:30:360
3955993630,3cyclictest9-21ksoftirqd/023:01:270
3955993629,4cyclictest9-21ksoftirqd/022:06:080
3958993529,3cyclictest41-21ksoftirqd/323:36:423
3958993528,4cyclictest41-21ksoftirqd/323:05:213
3958993528,4cyclictest41-21ksoftirqd/320:58:193
3958993528,4cyclictest41-21ksoftirqd/300:11:013
395799359,3cyclictest11975-21seq23:58:052
395799359,3cyclictest11975-21seq23:58:042
395799358,3cyclictest5336-21latency_hist23:45:002
3957993529,3cyclictest33-21ksoftirqd/219:59:462
3955993528,4cyclictest9-21ksoftirqd/023:51:230
3955993528,4cyclictest9-21ksoftirqd/022:34:390
3955993528,4cyclictest9-21ksoftirqd/021:09:370
3958993427,5cyclictest41-21ksoftirqd/322:24:383
3958993427,4cyclictest41-21ksoftirqd/320:14:313
395799349,3cyclictest25155-21fschecks_time19:50:162
3957993428,4cyclictest33-21ksoftirqd/222:36:102
3955993429,3cyclictest9-21ksoftirqd/021:40:590
3955993428,4cyclictest9-21ksoftirqd/022:45:290
3955993428,3cyclictest9-21ksoftirqd/021:51:570
3955993428,3cyclictest9-21ksoftirqd/020:00:170
123591340,13ptp4l395899cyclictest20:36:483
3958993327,4cyclictest41-21ksoftirqd/300:23:373
3958993326,4cyclictest41-21ksoftirqd/323:54:273
3957993327,4cyclictest33-21ksoftirqd/220:38:512
3955993326,4cyclictest9-21ksoftirqd/019:47:460
3958993226,4cyclictest41-21ksoftirqd/320:00:053
3958993226,3cyclictest41-21ksoftirqd/300:35:353
3958993224,5cyclictest41-21ksoftirqd/300:01:253
3957993226,3cyclictest33-21ksoftirqd/221:57:062
3957993225,4cyclictest33-21ksoftirqd/220:05:542
3955993226,4cyclictest9-21ksoftirqd/021:49:560
3958993124,4cyclictest41-21ksoftirqd/321:41:183
3955993126,3cyclictest9-21ksoftirqd/021:35:340
3958993024,4cyclictest41-21ksoftirqd/323:19:343
3958993024,4cyclictest41-21ksoftirqd/320:23:513
3958993024,3cyclictest41-21ksoftirqd/300:15:573
3958993023,4cyclictest41-21ksoftirqd/322:26:133
3957993025,3cyclictest33-21ksoftirqd/219:36:132
3955992923,4cyclictest9-21ksoftirqd/023:30:510
3958992822,4cyclictest41-21ksoftirqd/323:31:143
3958992822,3cyclictest41-21ksoftirqd/323:24:363
123591280,1ptp4l401ktimersoftd/322:45:373
123591270,1ptp4l401ktimersoftd/322:55:323
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional