You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-03-02 - 00:47
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot4.osadl.org (updated Fri Mar 01, 2024 12:46:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
129891125103,10phc2sys0-21swapper/307:05:333
197509910494,6cyclictest41-21ksoftirqd/311:30:183
19750999686,5cyclictest41-21ksoftirqd/310:35:193
56498910,12rtkit-daemon0-21swapper/007:07:480
19750998473,6cyclictest41-21ksoftirqd/309:55:243
19750998268,8cyclictest41-21ksoftirqd/311:40:233
19750998167,7cyclictest41-21ksoftirqd/309:00:193
19750998067,6cyclictest41-21ksoftirqd/310:05:243
19750997564,6cyclictest41-21ksoftirqd/310:20:203
19750997562,8cyclictest41-21ksoftirqd/312:10:193
19750997561,8cyclictest41-21ksoftirqd/310:15:173
1974799748,14cyclictest26009-21cron10:50:000
99892730,9sleep11974899cyclictest09:05:311
19750997361,7cyclictest41-21ksoftirqd/312:35:223
19750997261,7cyclictest41-21ksoftirqd/308:10:173
19750997059,6cyclictest41-21ksoftirqd/311:00:193
19750996953,10cyclictest41-21ksoftirqd/308:35:203
1974799665,13cyclictest31507-21grep09:50:330
19750996551,8cyclictest41-21ksoftirqd/309:50:203
129991640,2ptp4l22095-21/usr/sbin/munin07:15:173
19750996250,7cyclictest41-21ksoftirqd/309:15:173
19748996010,7cyclictest25-21ksoftirqd/112:00:411
19748996010,6cyclictest25-21ksoftirqd/112:25:161
19748996010,6cyclictest25-21ksoftirqd/112:15:261
19748996010,6cyclictest25-21ksoftirqd/111:40:461
279842580,6sleep027987-21latency_hist09:45:010
19750995852,3cyclictest41-21ksoftirqd/307:45:003
19750995846,7cyclictest41-21ksoftirqd/309:35:223
19748995810,7cyclictest25-21ksoftirqd/111:50:381
19750995750,4cyclictest41-21ksoftirqd/312:20:003
1974799573,13cyclictest17467-21acpi11:40:220
205042560,2sleep30-21swapper/307:10:273
19750995648,4cyclictest41-21ksoftirqd/307:24:593
19750995642,10cyclictest41-21ksoftirqd/310:30:353
19750995549,3cyclictest41-21ksoftirqd/307:34:593
19750995546,5cyclictest41-21ksoftirqd/310:00:213
19750995544,9cyclictest41-21ksoftirqd/308:40:263
19750995543,9cyclictest41-21ksoftirqd/307:35:393
19748995511,7cyclictest25-21ksoftirqd/110:55:221
19748995511,7cyclictest25-21ksoftirqd/110:55:221
19750995448,3cyclictest41-21ksoftirqd/308:20:013
1974799544,9cyclictest20232-21df_inode07:10:230
1974799543,9cyclictest10915-21users09:05:430
129991540,1ptp4l401ktimersoftd/308:20:103
19750995346,4cyclictest41-21ksoftirqd/310:45:003
19750995341,9cyclictest41-21ksoftirqd/308:30:313
19750995245,4cyclictest41-21ksoftirqd/309:10:003
19750995244,4cyclictest41-21ksoftirqd/311:35:223
19750995244,4cyclictest41-21ksoftirqd/309:45:003
19749995234,14cyclictest33-21ksoftirqd/212:39:302
2081325142,4sleep09-21ksoftirqd/009:30:000
2081325142,4sleep09-21ksoftirqd/009:29:590
19750995146,3cyclictest41-21ksoftirqd/312:30:363
19750995146,3cyclictest41-21ksoftirqd/312:30:353
19750995144,4cyclictest41-21ksoftirqd/308:59:593
19749995133,15cyclictest33-21ksoftirqd/211:02:502
1974799512,16cyclictest0-21swapper/008:34:020
182562510,2sleep20-21swapper/210:30:392
129991510,1ptp4l401ktimersoftd/307:50:223
19750995045,3cyclictest41-21ksoftirqd/309:25:423
19750995045,3cyclictest41-21ksoftirqd/309:25:413
19750995044,4cyclictest41-21ksoftirqd/311:20:003
19750995044,3cyclictest41-21ksoftirqd/310:45:193
19750995044,3cyclictest41-21ksoftirqd/309:45:463
19750995044,3cyclictest41-21ksoftirqd/309:20:283
19750995044,3cyclictest41-21ksoftirqd/308:30:013
19750995043,4cyclictest41-21ksoftirqd/311:10:203
19750995043,4cyclictest41-21ksoftirqd/310:14:593
19750995043,3cyclictest41-21ksoftirqd/311:54:593
19750995016,4cyclictest41-21ksoftirqd/308:05:253
321002490,2sleep232098-21cat08:45:002
19750994943,3cyclictest41-21ksoftirqd/311:20:303
19750994943,3cyclictest41-21ksoftirqd/311:05:223
19750994943,3cyclictest41-21ksoftirqd/308:45:353
19750994943,3cyclictest41-21ksoftirqd/307:45:353
19750994942,4cyclictest41-21ksoftirqd/307:55:283
1974799495,13cyclictest24324-21latency_hist07:20:010
19750994843,3cyclictest41-21ksoftirqd/312:20:163
19750994843,3cyclictest41-21ksoftirqd/310:25:183
19750994842,3cyclictest41-21ksoftirqd/311:50:003
19750994842,3cyclictest41-21ksoftirqd/310:55:003
19750994842,3cyclictest41-21ksoftirqd/310:54:593
19750994842,3cyclictest41-21ksoftirqd/308:00:243
19750994842,3cyclictest41-21ksoftirqd/308:00:233
19750994841,4cyclictest41-21ksoftirqd/311:30:013
19750994841,3cyclictest41-21ksoftirqd/312:30:003
19750994840,5cyclictest41-21ksoftirqd/307:29:593
19750994742,3cyclictest41-21ksoftirqd/308:50:503
19750994741,4cyclictest41-21ksoftirqd/312:00:003
19750994741,4cyclictest41-21ksoftirqd/309:35:003
1975099470,3cyclictest121rcu_preempt12:05:323
19749994730,14cyclictest33-21ksoftirqd/211:21:302
19748994737,7cyclictest25-21ksoftirqd/110:55:001
19748994737,7cyclictest25-21ksoftirqd/110:54:591
19750994641,3cyclictest41-21ksoftirqd/310:55:303
19750994641,3cyclictest41-21ksoftirqd/310:55:293
19750994640,3cyclictest41-21ksoftirqd/309:15:003
19750994613,4cyclictest41-21ksoftirqd/312:00:213
1974799466,19cyclictest12396-21grep08:00:380
1974799466,19cyclictest12396-21grep08:00:380
19747994610,19cyclictest2225-21Xorg10:57:590
19747994610,19cyclictest2225-21Xorg10:57:580
1927024616,18sleep10-21swapper/107:07:361
56498450,12rtkit-daemon19746-21cyclictest09:01:402
19749994538,4cyclictest33-21ksoftirqd/207:20:002
19749994435,6cyclictest33-21ksoftirqd/210:45:002
1974899421,13cyclictest26831-21bc07:25:241
19747994236,4cyclictest9-21ksoftirqd/008:57:560
19749994134,4cyclictest33-21ksoftirqd/210:37:382
19749994134,4cyclictest33-21ksoftirqd/208:13:062
19749994134,4cyclictest33-21ksoftirqd/208:07:402
19749994131,5cyclictest33-21ksoftirqd/211:35:232
19748994135,4cyclictest25-21ksoftirqd/108:46:561
19748994134,4cyclictest25-21ksoftirqd/111:34:571
1974899412,5cyclictest0-21swapper/109:35:351
19747994135,4cyclictest9-21ksoftirqd/012:35:570
19747994134,4cyclictest9-21ksoftirqd/011:08:450
1919224111,18sleep20-21swapper/207:06:362
1974999404,8cyclictest0-21swapper/209:30:212
19749994034,3cyclictest33-21ksoftirqd/211:17:232
19749994033,4cyclictest33-21ksoftirqd/212:04:272
19749994033,4cyclictest33-21ksoftirqd/209:28:292
19749994033,4cyclictest33-21ksoftirqd/209:28:282
19749994033,4cyclictest33-21ksoftirqd/207:54:312
19749994033,4cyclictest33-21ksoftirqd/207:43:102
1974999400,3cyclictest121rcu_preempt11:40:252
19748994033,4cyclictest25-21ksoftirqd/109:26:511
19748994033,4cyclictest25-21ksoftirqd/109:26:511
19748994033,4cyclictest25-21ksoftirqd/107:37:471
19748994032,5cyclictest25-21ksoftirqd/109:57:461
19747994034,4cyclictest9-21ksoftirqd/012:10:300
19747994033,4cyclictest9-21ksoftirqd/012:32:140
19747994033,4cyclictest9-21ksoftirqd/012:32:130
19747994033,4cyclictest9-21ksoftirqd/012:24:270
19747994033,4cyclictest9-21ksoftirqd/010:17:370
1974999398,6cyclictest26768-21missed_timers09:40:362
1974999393,6cyclictest0-21swapper/207:25:242
19749993932,4cyclictest33-21ksoftirqd/211:25:052
19749993932,4cyclictest33-21ksoftirqd/210:56:452
19749993932,4cyclictest33-21ksoftirqd/210:56:442
19749993932,4cyclictest33-21ksoftirqd/210:53:312
19749993932,4cyclictest33-21ksoftirqd/210:53:312
19749993932,4cyclictest33-21ksoftirqd/207:13:162
19749993931,4cyclictest33-21ksoftirqd/212:24:342
19749993920,16cyclictest33-21ksoftirqd/212:27:302
19749993913,3cyclictest14974-21sed11:35:012
19748993933,3cyclictest25-21ksoftirqd/107:56:291
19748993932,4cyclictest25-21ksoftirqd/108:55:231
19748993932,4cyclictest25-21ksoftirqd/108:03:251
19748993932,4cyclictest25-21ksoftirqd/108:03:241
19748993931,5cyclictest25-21ksoftirqd/109:48:231
19748993910,7cyclictest25-21ksoftirqd/112:35:541
19747993933,3cyclictest9-21ksoftirqd/008:07:060
19747993932,4cyclictest9-21ksoftirqd/009:10:170
19747993932,4cyclictest9-21ksoftirqd/008:12:110
19747993931,5cyclictest9-21ksoftirqd/010:08:130
1974999383,7cyclictest0-21swapper/209:05:212
19749993832,3cyclictest33-21ksoftirqd/209:50:002
19749993832,3cyclictest33-21ksoftirqd/208:16:352
19749993831,4cyclictest33-21ksoftirqd/211:47:362
19749993831,4cyclictest33-21ksoftirqd/211:10:132
19749993831,4cyclictest33-21ksoftirqd/211:08:102
19749993831,4cyclictest33-21ksoftirqd/210:15:452
19749993831,4cyclictest33-21ksoftirqd/210:13:572
19749993831,4cyclictest33-21ksoftirqd/209:50:502
19749993831,4cyclictest33-21ksoftirqd/208:50:172
19749993830,5cyclictest33-21ksoftirqd/209:38:522
19749993830,5cyclictest33-21ksoftirqd/207:58:472
19748993832,3cyclictest25-21ksoftirqd/111:10:181
19748993832,3cyclictest25-21ksoftirqd/110:00:101
19748993832,3cyclictest25-21ksoftirqd/108:44:281
1974899383,19cyclictest1146-21apt-get11:05:211
19748993831,4cyclictest25-21ksoftirqd/110:36:081
19748993831,4cyclictest25-21ksoftirqd/110:09:231
19748993831,4cyclictest25-21ksoftirqd/109:13:461
19748993831,4cyclictest25-21ksoftirqd/108:38:541
19748993831,4cyclictest25-21ksoftirqd/108:05:051
19748993831,4cyclictest25-21ksoftirqd/107:52:051
19748993810,7cyclictest25-21ksoftirqd/110:45:091
19748993810,6cyclictest25-21ksoftirqd/112:22:331
19747993832,4cyclictest9-21ksoftirqd/008:39:280
19747993832,3cyclictest9-21ksoftirqd/011:49:540
19747993832,3cyclictest9-21ksoftirqd/009:16:040
19747993831,4cyclictest9-21ksoftirqd/012:29:120
19747993831,4cyclictest9-21ksoftirqd/008:46:040
56498370,2rtkit-daemon563-21rtkit-daemon09:24:072
19749993732,3cyclictest33-21ksoftirqd/208:30:132
19749993731,4cyclictest33-21ksoftirqd/207:48:462
19749993731,3cyclictest33-21ksoftirqd/207:31:402
19749993730,4cyclictest33-21ksoftirqd/210:07:382
19749993730,4cyclictest33-21ksoftirqd/208:58:462
19749993730,4cyclictest33-21ksoftirqd/208:47:342
19749993729,5cyclictest33-21ksoftirqd/210:01:122
1974899379,7cyclictest25-21ksoftirqd/110:44:501
19748993731,4cyclictest25-21ksoftirqd/111:04:421
19748993731,3cyclictest25-21ksoftirqd/111:49:501
19748993730,4cyclictest25-21ksoftirqd/111:24:181
19748993730,4cyclictest25-21ksoftirqd/109:22:381
19748993730,4cyclictest25-21ksoftirqd/108:15:171
1974899371,13cyclictest22862-21grep08:25:221
19748993710,7cyclictest25-21ksoftirqd/111:15:181
19748993710,7cyclictest25-21ksoftirqd/110:20:121
19748993710,7cyclictest25-21ksoftirqd/110:11:581
19748993710,7cyclictest25-21ksoftirqd/108:54:391
19748993710,6cyclictest25-21ksoftirqd/107:11:041
1974799374,9cyclictest4666-21irqstats07:45:300
19747993730,4cyclictest9-21ksoftirqd/011:58:370
19747993730,4cyclictest9-21ksoftirqd/011:29:350
19747993730,4cyclictest9-21ksoftirqd/010:31:260
19747993730,4cyclictest9-21ksoftirqd/010:04:120
19747993730,4cyclictest9-21ksoftirqd/009:55:080
19747993730,4cyclictest9-21ksoftirqd/008:42:380
19747993729,5cyclictest9-21ksoftirqd/008:19:260
19749993630,4cyclictest33-21ksoftirqd/209:11:042
19749993629,4cyclictest33-21ksoftirqd/208:29:092
19749993629,4cyclictest33-21ksoftirqd/208:04:192
19749993629,4cyclictest33-21ksoftirqd/208:04:182
19749993628,4cyclictest33-21ksoftirqd/211:57:022
1974899369,6cyclictest25-21ksoftirqd/107:24:411
19748993629,4cyclictest25-21ksoftirqd/111:59:181
19748993629,4cyclictest25-21ksoftirqd/110:26:211
19748993629,4cyclictest25-21ksoftirqd/109:52:521
19748993629,4cyclictest25-21ksoftirqd/109:33:211
19748993629,4cyclictest25-21ksoftirqd/108:32:191
19748993629,4cyclictest25-21ksoftirqd/108:21:391
19748993629,4cyclictest25-21ksoftirqd/107:47:471
19748993610,7cyclictest25-21ksoftirqd/109:42:151
19748993610,6cyclictest25-21ksoftirqd/111:26:491
19748993610,6cyclictest25-21ksoftirqd/109:17:261
19748993610,6cyclictest25-21ksoftirqd/107:41:281
1974799366,17cyclictest6973-21irqrtprio07:50:270
1974799364,18cyclictest23379-21/usr/sbin/munin09:35:250
1974799364,17cyclictest0-21swapper/007:20:240
19747993631,3cyclictest9-21ksoftirqd/007:34:160
19747993629,4cyclictest9-21ksoftirqd/010:40:130
19747993629,4cyclictest9-21ksoftirqd/010:21:020
19747993629,4cyclictest9-21ksoftirqd/009:48:340
19749993529,3cyclictest33-21ksoftirqd/208:21:542
19749993528,4cyclictest33-21ksoftirqd/212:31:362
19749993528,4cyclictest33-21ksoftirqd/212:31:352
19749993528,4cyclictest33-21ksoftirqd/212:10:032
19749993528,4cyclictest33-21ksoftirqd/209:55:102
19749993528,4cyclictest33-21ksoftirqd/207:35:192
19749993527,5cyclictest33-21ksoftirqd/212:09:192
19749993527,5cyclictest33-21ksoftirqd/209:15:402
19749993512,3cyclictest14152-21latency_hist10:25:012
19748993528,4cyclictest25-21ksoftirqd/111:36:501
19748993528,4cyclictest25-21ksoftirqd/107:31:091
19748993528,4cyclictest25-21ksoftirqd/107:19:011
19748993510,6cyclictest25-21ksoftirqd/110:31:251
1974799355,9cyclictest32210-21iostat_ios07:35:330
1974799355,18cyclictest0-21swapper/011:10:390
1974799355,13cyclictest19699-21sed10:35:230
19747993528,4cyclictest9-21ksoftirqd/012:05:110
19747993528,4cyclictest9-21ksoftirqd/011:20:190
19747993528,4cyclictest9-21ksoftirqd/011:03:260
19747993528,4cyclictest9-21ksoftirqd/009:23:170
19747993528,4cyclictest9-21ksoftirqd/007:59:190
1974799344,18cyclictest1242-21snmpd11:15:160
1974799344,18cyclictest1242-21snmpd10:50:110
1974799344,18cyclictest1242-21snmpd10:50:110
1974799344,17cyclictest3542-21mailstats08:50:500
19747993428,4cyclictest9-21ksoftirqd/007:42:040
19747993428,3cyclictest9-21ksoftirqd/008:27:300
19747993427,4cyclictest9-21ksoftirqd/011:38:570
19747993427,4cyclictest9-21ksoftirqd/010:12:190
19747993427,4cyclictest9-21ksoftirqd/009:00:080
19749993326,4cyclictest33-21ksoftirqd/211:54:532
19749993313,3cyclictest2096-21fschecks_count12:15:232
19748993327,3cyclictest25-21ksoftirqd/108:11:591
19747993327,4cyclictest9-21ksoftirqd/009:31:400
19749993227,3cyclictest33-21ksoftirqd/208:39:402
19749993226,3cyclictest33-21ksoftirqd/210:26:212
19748993225,4cyclictest25-21ksoftirqd/112:14:561
19748993225,4cyclictest25-21ksoftirqd/109:04:521
19747993227,4cyclictest9-21ksoftirqd/010:25:550
19747993225,4cyclictest9-21ksoftirqd/012:15:070
19747993225,4cyclictest9-21ksoftirqd/011:52:470
1974799321,19cyclictest0-21swapper/008:20:190
19749993124,4cyclictest33-21ksoftirqd/210:49:532
19748993124,4cyclictest25-21ksoftirqd/112:05:121
1974899312,17cyclictest209-21systemd-journal10:15:021
19747993124,4cyclictest9-21ksoftirqd/012:04:100
1974799295,9cyclictest28221-21mailstats07:25:460
19749992822,4cyclictest33-21ksoftirqd/207:21:412
19748992722,3cyclictest25-21ksoftirqd/112:32:491
19748992722,3cyclictest25-21ksoftirqd/112:32:491
19747992721,3cyclictest9-21ksoftirqd/011:32:200
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional