You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-02-25 - 12:29
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot3.osadl.org (updated Sun Feb 25, 2024 00:46:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2472925750,6sleep30-21swapper/319:05:363
576981760,37rtkit-daemon12992-21apache219:06:570
25793997340,8cyclictest25-21ksoftirqd/122:49:591
254982724,11sleep10-21swapper/119:09:551
251832724,55sleep20-21swapper/219:05:482
25793997160,6cyclictest25-21ksoftirqd/120:55:211
98152690,8sleep32579599cyclictest23:10:273
25793996837,8cyclictest25-21ksoftirqd/100:20:231
25793996760,4cyclictest25-21ksoftirqd/120:10:051
25793996759,4cyclictest25-21ksoftirqd/120:15:051
25793996751,12cyclictest25-21ksoftirqd/100:40:011
25793996637,7cyclictest25-21ksoftirqd/123:20:331
25793996634,4cyclictest25-21ksoftirqd/121:37:101
25793996558,4cyclictest25-21ksoftirqd/123:40:051
25793996533,4cyclictest25-21ksoftirqd/100:33:241
25793996531,5cyclictest25-21ksoftirqd/119:25:281
25793996527,7cyclictest25-21ksoftirqd/122:59:591
25793996457,4cyclictest25-21ksoftirqd/122:25:051
25793996430,7cyclictest25-21ksoftirqd/119:23:381
25793996331,4cyclictest25-21ksoftirqd/122:51:191
25793996331,4cyclictest25-21ksoftirqd/122:20:231
25793996330,8cyclictest25-21ksoftirqd/119:15:001
25793996326,8cyclictest25-21ksoftirqd/119:50:201
2579399623,4cyclictest25-21ksoftirqd/121:20:011
25793996231,4cyclictest25-21ksoftirqd/120:08:251
25793996226,5cyclictest25-21ksoftirqd/122:14:061
25793996153,4cyclictest25-21ksoftirqd/120:40:051
25793996147,4cyclictest25-21ksoftirqd/121:45:351
25793996119,5cyclictest25-21ksoftirqd/123:36:121
25793996046,3cyclictest25-21ksoftirqd/123:00:401
25793996028,4cyclictest25-21ksoftirqd/121:27:061
25793996027,4cyclictest25-21ksoftirqd/100:18:031
25793996024,5cyclictest25-21ksoftirqd/121:14:531
25793996023,8cyclictest25-21ksoftirqd/121:05:221
25793996022,7cyclictest25-21ksoftirqd/119:15:381
25793995925,7cyclictest25-21ksoftirqd/119:55:391
25793995925,4cyclictest25-21ksoftirqd/123:17:531
25793995924,5cyclictest25-21ksoftirqd/122:32:051
25793995924,4cyclictest25-21ksoftirqd/120:23:591
25793995923,5cyclictest25-21ksoftirqd/119:45:331
25793995922,8cyclictest25-21ksoftirqd/123:26:281
25793995922,8cyclictest25-21ksoftirqd/123:26:281
25793995921,8cyclictest25-21ksoftirqd/123:59:491
25793995921,8cyclictest25-21ksoftirqd/121:44:491
825591580,2ptp4l1100-21runrttasks00:21:483
25793995823,4cyclictest25-21ksoftirqd/123:13:121
25793995724,4cyclictest25-21ksoftirqd/123:31:421
25793995723,7cyclictest25-21ksoftirqd/122:40:121
2579399566,3cyclictest25-21ksoftirqd/122:40:001
2579399556,4cyclictest25-21ksoftirqd/123:05:211
25793995518,11cyclictest25-21ksoftirqd/121:20:261
825591540,1ptp4l401ktimersoftd/319:39:393
2579399546,7cyclictest25-21ksoftirqd/120:45:291
2579399545,8cyclictest25-21ksoftirqd/120:00:261
2579399543,7cyclictest25-21ksoftirqd/122:20:011
25792995446,4cyclictest23022-21cron23:39:590
2579399535,3cyclictest25-21ksoftirqd/123:45:431
25793995347,3cyclictest25-21ksoftirqd/100:15:001
2579399534,3cyclictest25-21ksoftirqd/121:00:411
2579399534,3cyclictest25-21ksoftirqd/120:50:241
2579399531,9cyclictest30242-21latency_hist23:55:001
2579399531,9cyclictest25-21ksoftirqd/120:30:311
2579399531,9cyclictest25-21ksoftirqd/120:30:311
2579399526,8cyclictest25-21ksoftirqd/119:40:231
2579399526,3cyclictest25-21ksoftirqd/121:50:331
25793995246,3cyclictest25-21ksoftirqd/122:00:001
25793995246,3cyclictest25-21ksoftirqd/120:35:361
25793995246,3cyclictest25-21ksoftirqd/100:29:591
25793995245,4cyclictest25-21ksoftirqd/120:25:391
116152520,2sleep30-21swapper/322:05:233
825591510,1ptp4l401ktimersoftd/321:48:403
2579399515,7cyclictest25-21ksoftirqd/122:05:231
25793995145,3cyclictest25-21ksoftirqd/122:00:231
25793995145,3cyclictest25-21ksoftirqd/122:00:231
25793995144,4cyclictest25-21ksoftirqd/119:30:261
2579399504,3cyclictest2562-21awk00:05:001
25793995043,4cyclictest25-21ksoftirqd/119:40:011
2579399495,8cyclictest25-21ksoftirqd/121:30:341
25794994842,4cyclictest33-21ksoftirqd/200:20:002
2579399483,5cyclictest25-21ksoftirqd/100:05:421
25794994741,3cyclictest33-21ksoftirqd/222:00:002
25794994741,3cyclictest33-21ksoftirqd/220:15:002
160642470,15sleep233-21ksoftirqd/223:24:552
25794994639,4cyclictest5975-21turbostat.cron20:45:002
25794994639,4cyclictest33-21ksoftirqd/222:40:002
25792994628,15cyclictest9-21ksoftirqd/019:32:570
25794994538,4cyclictest33-21ksoftirqd/221:20:192
25794994537,5cyclictest33-21ksoftirqd/200:20:182
25794994537,4cyclictest33-21ksoftirqd/222:50:182
825591440,1ptp4l401ktimersoftd/323:39:093
825591440,1ptp4l401ktimersoftd/300:36:393
25794994438,4cyclictest33-21ksoftirqd/222:30:002
25794994438,3cyclictest33-21ksoftirqd/220:10:002
25794994438,3cyclictest33-21ksoftirqd/219:20:012
25794994338,3cyclictest33-21ksoftirqd/223:40:012
25794994337,4cyclictest33-21ksoftirqd/223:35:002
25794994335,5cyclictest33-21ksoftirqd/219:45:172
25795994237,3cyclictest41-21ksoftirqd/322:50:003
25794994237,3cyclictest311rcuc/200:30:292
25794994236,4cyclictest33-21ksoftirqd/221:50:002
25794994236,3cyclictest33-21ksoftirqd/223:40:272
25794994236,3cyclictest33-21ksoftirqd/223:15:002
25794994236,3cyclictest33-21ksoftirqd/221:15:002
25794994230,9cyclictest33-21ksoftirqd/200:37:182
25795994135,3cyclictest41-21ksoftirqd/300:00:003
25794994136,3cyclictest33-21ksoftirqd/219:40:002
25794994134,4cyclictest33-21ksoftirqd/223:20:002
25794994127,11cyclictest33-21ksoftirqd/220:00:002
25792994122,4cyclictest9-21ksoftirqd/023:44:120
25792994122,4cyclictest9-21ksoftirqd/022:42:060
8259914033,3phc2sys41-21ksoftirqd/321:53:383
25795994035,3cyclictest41-21ksoftirqd/321:39:593
25795994034,4cyclictest41-21ksoftirqd/319:44:113
25795994034,3cyclictest41-21ksoftirqd/323:25:003
25794994035,3cyclictest33-21ksoftirqd/220:40:012
25794994034,4cyclictest33-21ksoftirqd/221:30:212
25794994034,3cyclictest33-21ksoftirqd/222:40:312
25794994033,4cyclictest33-21ksoftirqd/222:55:402
25792994019,4cyclictest9-21ksoftirqd/022:47:280
25795993934,3cyclictest41-21ksoftirqd/319:50:003
25794993933,4cyclictest33-21ksoftirqd/220:55:232
25794993931,4cyclictest33-21ksoftirqd/222:20:282
25792993933,3cyclictest9-21ksoftirqd/021:12:270
25792993933,3cyclictest9-21ksoftirqd/019:30:010
25795993833,3cyclictest41-21ksoftirqd/323:05:003
25795993833,3cyclictest41-21ksoftirqd/322:30:013
25794993832,3cyclictest33-21ksoftirqd/222:05:282
25794993830,4cyclictest33-21ksoftirqd/221:50:222
25792993832,4cyclictest9-21ksoftirqd/020:28:000
25792993832,3cyclictest9-21ksoftirqd/000:10:190
825591370,1ptp4l401ktimersoftd/321:34:183
825591370,1ptp4l401ktimersoftd/300:35:003
25795993731,4cyclictest41-21ksoftirqd/321:20:253
25795993730,4cyclictest41-21ksoftirqd/319:28:533
25795993730,4cyclictest41-21ksoftirqd/319:17:393
25794993732,3cyclictest33-21ksoftirqd/223:50:012
25794993732,3cyclictest33-21ksoftirqd/223:05:292
25794993732,3cyclictest33-21ksoftirqd/221:00:232
25794993731,4cyclictest33-21ksoftirqd/222:15:352
25794993731,4cyclictest33-21ksoftirqd/221:35:332
25794993731,4cyclictest33-21ksoftirqd/200:10:552
25794993731,4cyclictest33-21ksoftirqd/200:00:492
25794993731,3cyclictest33-21ksoftirqd/220:50:012
25794993730,4cyclictest33-21ksoftirqd/222:10:192
25794993730,4cyclictest33-21ksoftirqd/221:40:212
25794993730,4cyclictest33-21ksoftirqd/220:20:212
25794993729,4cyclictest33-21ksoftirqd/220:15:202
25792993731,3cyclictest9-21ksoftirqd/021:08:230
25795993630,4cyclictest41-21ksoftirqd/322:50:283
25795993630,4cyclictest41-21ksoftirqd/321:19:313
25795993630,4cyclictest41-21ksoftirqd/300:15:443
25795993630,3cyclictest41-21ksoftirqd/323:25:203
25795993630,3cyclictest41-21ksoftirqd/323:25:203
25795993629,4cyclictest41-21ksoftirqd/322:13:353
25795993629,4cyclictest41-21ksoftirqd/319:23:063
25795993629,4cyclictest41-21ksoftirqd/319:13:593
25795993628,5cyclictest41-21ksoftirqd/322:35:293
25794993630,4cyclictest33-21ksoftirqd/220:50:312
25794993630,3cyclictest33-21ksoftirqd/221:27:242
25794993629,4cyclictest33-21ksoftirqd/219:50:002
25794993629,4cyclictest33-21ksoftirqd/219:44:242
25792993630,4cyclictest9-21ksoftirqd/023:17:020
25792993630,3cyclictest9-21ksoftirqd/022:21:040
25792993630,3cyclictest9-21ksoftirqd/020:12:130
25792993630,3cyclictest9-21ksoftirqd/019:39:000
25792993629,4cyclictest9-21ksoftirqd/023:25:090
25792993629,4cyclictest9-21ksoftirqd/023:25:090
25792993629,4cyclictest9-21ksoftirqd/020:15:380
825591350,1ptp4l401ktimersoftd/321:25:303
25795993530,3cyclictest41-21ksoftirqd/320:25:003
25795993529,4cyclictest41-21ksoftirqd/322:20:493
25795993529,4cyclictest41-21ksoftirqd/320:55:283
25795993529,4cyclictest41-21ksoftirqd/320:14:113
25795993529,4cyclictest41-21ksoftirqd/319:51:193
25795993529,3cyclictest41-21ksoftirqd/323:15:133
25795993529,3cyclictest41-21ksoftirqd/319:58:193
25795993528,4cyclictest41-21ksoftirqd/323:32:073
25795993528,4cyclictest41-21ksoftirqd/320:45:313
25795993528,4cyclictest41-21ksoftirqd/320:06:533
25795993528,4cyclictest41-21ksoftirqd/300:09:323
25794993530,3cyclictest33-21ksoftirqd/220:00:252
25794993530,3cyclictest311rcuc/221:05:322
25794993529,3cyclictest33-21ksoftirqd/222:01:122
25794993529,3cyclictest33-21ksoftirqd/222:01:122
25794993529,3cyclictest33-21ksoftirqd/219:15:002
25794993528,4cyclictest33-21ksoftirqd/200:25:052
25792993529,3cyclictest9-21ksoftirqd/022:33:480
25792993529,3cyclictest9-21ksoftirqd/022:12:130
25792993529,3cyclictest9-21ksoftirqd/000:17:210
25792993528,4cyclictest9-21ksoftirqd/020:08:390
25792993528,4cyclictest9-21ksoftirqd/000:36:500
25792993527,5cyclictest9-21ksoftirqd/020:00:160
825591340,1ptp4l401ktimersoftd/323:09:313
825591340,12ptp4l401ktimersoftd/320:52:503
25795993429,3cyclictest41-21ksoftirqd/323:52:533
25795993429,3cyclictest41-21ksoftirqd/321:09:233
25795993428,4cyclictest41-21ksoftirqd/320:25:293
25795993428,4cyclictest41-21ksoftirqd/320:15:263
25795993428,3cyclictest41-21ksoftirqd/321:58:183
25795993428,3cyclictest41-21ksoftirqd/320:31:153
25795993428,3cyclictest41-21ksoftirqd/320:31:153
25795993427,5cyclictest41-21ksoftirqd/321:44:443
25795993427,4cyclictest41-21ksoftirqd/321:11:123
2579499343,3cyclictest131rcu_sched00:05:582
25794993427,4cyclictest33-21ksoftirqd/220:29:442
25792993428,4cyclictest9-21ksoftirqd/019:23:470
25792993428,3cyclictest9-21ksoftirqd/022:15:200
25792993428,3cyclictest9-21ksoftirqd/021:15:080
25792993428,3cyclictest9-21ksoftirqd/019:59:570
25792993428,3cyclictest9-21ksoftirqd/019:48:130
25792993427,4cyclictest9-21ksoftirqd/023:22:560
25792993427,4cyclictest9-21ksoftirqd/021:31:450
25792993427,4cyclictest9-21ksoftirqd/021:01:170
825591330,1ptp4l401ktimersoftd/322:43:333
825591330,1ptp4l401ktimersoftd/300:25:363
25795993328,3cyclictest41-21ksoftirqd/323:42:183
25795993327,4cyclictest41-21ksoftirqd/320:40:393
25795993327,4cyclictest41-21ksoftirqd/300:01:503
25795993326,4cyclictest41-21ksoftirqd/322:00:013
25795993326,4cyclictest41-21ksoftirqd/322:00:013
25794993327,3cyclictest33-21ksoftirqd/223:00:382
25794993326,4cyclictest33-21ksoftirqd/223:27:082
25794993326,4cyclictest33-21ksoftirqd/223:27:082
25794993326,4cyclictest33-21ksoftirqd/220:33:512
25794993326,4cyclictest33-21ksoftirqd/220:33:512
25792993327,4cyclictest9-21ksoftirqd/000:28:400
25792993327,3cyclictest9-21ksoftirqd/021:26:020
25792993326,4cyclictest9-21ksoftirqd/022:00:020
25792993326,4cyclictest9-21ksoftirqd/022:00:020
25792993326,4cyclictest9-21ksoftirqd/021:39:510
825591320,1ptp4l401ktimersoftd/321:01:433
825591320,1ptp4l401ktimersoftd/300:11:373
25794993226,3cyclictest33-21ksoftirqd/222:30:402
25794993226,3cyclictest33-21ksoftirqd/219:22:372
25794993225,4cyclictest33-21ksoftirqd/221:15:042
25794993225,4cyclictest33-21ksoftirqd/219:26:022
25794993225,3cyclictest33-21ksoftirqd/223:53:322
25792993226,4cyclictest9-21ksoftirqd/023:46:570
25792993226,3cyclictest9-21ksoftirqd/021:24:080
25792993226,3cyclictest9-21ksoftirqd/020:51:400
25792993226,3cyclictest9-21ksoftirqd/019:51:460
25792993226,3cyclictest9-21ksoftirqd/000:06:150
25792993225,4cyclictest9-21ksoftirqd/023:11:480
25792993225,4cyclictest9-21ksoftirqd/023:01:160
25792993225,4cyclictest9-21ksoftirqd/022:07:580
25792993225,4cyclictest9-21ksoftirqd/000:33:450
825591310,1ptp4l401ktimersoftd/322:34:073
25795993125,3cyclictest41-21ksoftirqd/322:59:493
25795993124,4cyclictest41-21ksoftirqd/322:16:313
25795993124,4cyclictest41-21ksoftirqd/320:02:193
25794993125,3cyclictest33-21ksoftirqd/222:45:382
25792993125,3cyclictest9-21ksoftirqd/020:38:580
25792993124,4cyclictest9-21ksoftirqd/021:45:180
25792993123,5cyclictest9-21ksoftirqd/020:42:110
25795993024,4cyclictest41-21ksoftirqd/323:45:493
25794993023,4cyclictest33-21ksoftirqd/219:34:312
25792993024,4cyclictest9-21ksoftirqd/022:50:310
25792993024,4cyclictest9-21ksoftirqd/019:18:560
25792993024,4cyclictest9-21ksoftirqd/000:01:270
25792993024,3cyclictest9-21ksoftirqd/023:34:330
25792993024,3cyclictest9-21ksoftirqd/022:29:040
25792993024,3cyclictest9-21ksoftirqd/021:56:060
25792993023,4cyclictest9-21ksoftirqd/000:24:470
25795992923,4cyclictest41-21ksoftirqd/319:30:213
25795992922,4cyclictest41-21ksoftirqd/320:37:253
25792992923,4cyclictest9-21ksoftirqd/021:44:370
25792992923,4cyclictest9-21ksoftirqd/020:32:310
25792992923,4cyclictest9-21ksoftirqd/020:32:310
25792992922,4cyclictest9-21ksoftirqd/023:57:200
25792992922,4cyclictest9-21ksoftirqd/023:09:040
25792992922,4cyclictest9-21ksoftirqd/021:53:450
25792992822,3cyclictest9-21ksoftirqd/019:11:570
25794992721,3cyclictest33-21ksoftirqd/223:55:232
25792992721,4cyclictest9-21ksoftirqd/023:54:190
25792992721,4cyclictest9-21ksoftirqd/020:24:200
25792992721,3cyclictest9-21ksoftirqd/020:57:320
25792992720,4cyclictest9-21ksoftirqd/019:41:120
25792992621,3cyclictest9-21ksoftirqd/022:57:150
25792992519,4cyclictest9-21ksoftirqd/022:37:280
25792992417,4cyclictest7404-21/usr/sbin/munin20:45:360
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional