You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-02-24 - 04:34
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 792 highest latencies:
System rackdslot4.osadl.org (updated Fri Feb 23, 2024 12:46:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1299911210,50ptp4l401ktimersoftd/307:05:533
11151212097,10sleep20-21swapper/207:06:362
113112787,19sleep10-21swapper/107:08:401
112492774,17sleep00-21swapper/007:07:510
1171199701,65cyclictest30544-21cron11:15:000
1171199672,27cyclictest29707-21sshd10:04:400
168802650,2sleep316882-21df07:20:223
129991650,1ptp4l401ktimersoftd/310:20:333
129991640,1ptp4l401ktimersoftd/310:33:293
129991640,1ptp4l401ktimersoftd/308:10:363
129991620,1ptp4l401ktimersoftd/311:02:033
20962600,5sleep22098-21grep10:15:002
129991580,1ptp4l401ktimersoftd/309:03:483
284082570,2sleep20-21swapper/207:45:222
134142560,3sleep1231rcuc/108:20:301
124891540,1getstats0-21swapper/308:15:323
11712995245,4cyclictest24171-21cat12:10:001
6802510,1sleep00-21swapper/010:10:290
11713994831,14cyclictest33-21ksoftirqd/212:25:002
11713994830,15cyclictest33-21ksoftirqd/209:04:192
11714994639,4cyclictest41-21ksoftirqd/312:00:003
11713994641,3cyclictest33-21ksoftirqd/208:00:012
11712994639,4cyclictest5069-21wc08:05:011
11712994639,4cyclictest25-21ksoftirqd/110:15:461
129991450,2ptp4l401ktimersoftd/307:10:003
129991450,1ptp4l401ktimersoftd/310:15:263
11712994539,4cyclictest25-21ksoftirqd/109:10:011
11712994437,4cyclictest25-21ksoftirqd/111:20:001
129991430,1ptp4l401ktimersoftd/310:38:273
11714994325,9cyclictest41-21ksoftirqd/309:45:173
11713994337,4cyclictest33-21ksoftirqd/211:30:352
11713994336,4cyclictest33-21ksoftirqd/211:18:572
11713994336,4cyclictest33-21ksoftirqd/208:55:202
11712994337,3cyclictest25-21ksoftirqd/111:39:421
56498420,4rtkit-daemon9-21ksoftirqd/010:37:480
226612421,3sleep341-21ksoftirqd/312:05:263
129991420,1ptp4l401ktimersoftd/309:34:563
129991420,1ptp4l401ktimersoftd/307:38:543
11713994235,4cyclictest33-21ksoftirqd/211:57:152
11713994235,4cyclictest33-21ksoftirqd/209:32:192
11713994234,4cyclictest33-21ksoftirqd/212:02:462
11712994235,4cyclictest25-21ksoftirqd/107:34:101
1171199422,36cyclictest22436-21cut10:55:330
11714994136,3cyclictest41-21ksoftirqd/309:44:363
11714994135,4cyclictest41-21ksoftirqd/308:31:453
11714994135,4cyclictest41-21ksoftirqd/307:15:303
11714994132,6cyclictest41-21ksoftirqd/307:45:003
11713994114,24cyclictest20209-21sed07:25:352
11713994114,24cyclictest20209-21sed07:25:352
1171399410,4cyclictest121rcu_preempt10:45:012
11712994134,4cyclictest25-21ksoftirqd/111:04:471
11712994134,4cyclictest25-21ksoftirqd/110:41:151
11712994134,4cyclictest25-21ksoftirqd/110:30:491
11712994134,4cyclictest25-21ksoftirqd/109:40:171
11712994133,5cyclictest25-21ksoftirqd/109:59:451
11711994135,4cyclictest9-21ksoftirqd/011:49:540
11711994135,4cyclictest9-21ksoftirqd/011:49:540
11711994134,4cyclictest9-21ksoftirqd/007:15:330
11711994134,3cyclictest9-21ksoftirqd/009:25:000
11711994133,5cyclictest9-21ksoftirqd/009:26:580
1171199411,36cyclictest15474-21tune2fs08:25:250
129991400,1ptp4l401ktimersoftd/310:10:353
11714994035,3cyclictest41-21ksoftirqd/312:20:383
11714994033,4cyclictest41-21ksoftirqd/309:50:373
11714994033,4cyclictest41-21ksoftirqd/308:38:463
11714994033,4cyclictest41-21ksoftirqd/308:27:243
11714994032,5cyclictest41-21ksoftirqd/307:57:473
11713994035,3cyclictest33-21ksoftirqd/212:30:032
11713994035,3cyclictest33-21ksoftirqd/209:25:372
11713994034,3cyclictest33-21ksoftirqd/210:21:452
11713994034,3cyclictest33-21ksoftirqd/210:16:022
11713994034,3cyclictest33-21ksoftirqd/207:15:012
11713994033,4cyclictest33-21ksoftirqd/211:35:412
11713994033,4cyclictest33-21ksoftirqd/210:55:182
11713994033,4cyclictest33-21ksoftirqd/208:31:232
11713994033,4cyclictest33-21ksoftirqd/208:05:002
11712994035,3cyclictest25-21ksoftirqd/109:35:461
11712994034,3cyclictest25-21ksoftirqd/107:42:391
11712994033,4cyclictest25-21ksoftirqd/111:54:511
11712994033,4cyclictest25-21ksoftirqd/109:53:121
11712994033,4cyclictest25-21ksoftirqd/109:16:591
11712994033,4cyclictest25-21ksoftirqd/108:08:451
11712994032,5cyclictest25-21ksoftirqd/107:53:561
11711994034,4cyclictest9-21ksoftirqd/010:48:460
11711994034,4cyclictest9-21ksoftirqd/009:14:310
11711994033,4cyclictest9-21ksoftirqd/010:19:440
11711994033,4cyclictest9-21ksoftirqd/007:50:220
1171199402,30cyclictest0-21swapper/011:05:190
11711994016,21cyclictest17857-21latency_hist09:40:000
11711994013,23cyclictest25284-21date11:00:370
11714993934,3cyclictest41-21ksoftirqd/311:19:593
11714993933,4cyclictest41-21ksoftirqd/310:06:073
11714993933,3cyclictest41-21ksoftirqd/311:20:143
11714993933,3cyclictest41-21ksoftirqd/309:20:013
11714993932,4cyclictest41-21ksoftirqd/311:49:123
11714993932,4cyclictest41-21ksoftirqd/311:49:123
11714993932,4cyclictest41-21ksoftirqd/310:48:383
11714993932,4cyclictest41-21ksoftirqd/308:55:273
11713993933,3cyclictest33-21ksoftirqd/211:07:462
11713993932,4cyclictest33-21ksoftirqd/212:13:562
11713993932,4cyclictest33-21ksoftirqd/209:20:002
11712993934,3cyclictest25-21ksoftirqd/108:30:201
11712993933,3cyclictest25-21ksoftirqd/112:23:541
11712993932,4cyclictest25-21ksoftirqd/111:13:241
11712993932,4cyclictest25-21ksoftirqd/108:26:071
11712993931,5cyclictest25-21ksoftirqd/112:19:211
11711993932,4cyclictest9-21ksoftirqd/009:02:200
11711993932,4cyclictest9-21ksoftirqd/008:56:420
11711993931,5cyclictest9-21ksoftirqd/012:19:470
1171199392,31cyclictest24322-21apt-get08:45:220
11711993915,21cyclictest9557-21/usr/sbin/munin10:30:260
11711993912,23cyclictest18616-21tr08:30:360
56498380,2rtkit-daemon0-21swapper/111:25:161
11714993833,3cyclictest41-21ksoftirqd/307:50:363
11714993832,4cyclictest41-21ksoftirqd/310:00:353
11714993832,3cyclictest41-21ksoftirqd/311:39:543
11714993832,3cyclictest41-21ksoftirqd/308:03:313
11714993831,4cyclictest41-21ksoftirqd/309:22:303
11714993831,4cyclictest41-21ksoftirqd/308:23:213
11714993830,5cyclictest41-21ksoftirqd/308:05:023
11714993821,11cyclictest41-21ksoftirqd/310:25:173
11714993821,11cyclictest41-21ksoftirqd/310:25:173
11713993832,4cyclictest33-21ksoftirqd/212:15:432
11713993832,3cyclictest33-21ksoftirqd/211:27:062
11713993832,3cyclictest33-21ksoftirqd/210:30:002
11713993832,3cyclictest33-21ksoftirqd/210:30:002
11713993831,4cyclictest33-21ksoftirqd/212:38:382
11713993831,4cyclictest33-21ksoftirqd/211:04:262
11713993831,4cyclictest33-21ksoftirqd/210:34:192
11713993831,4cyclictest33-21ksoftirqd/208:54:492
11713993831,4cyclictest33-21ksoftirqd/208:54:492
11713993831,4cyclictest33-21ksoftirqd/208:40:062
11713993830,4cyclictest33-21ksoftirqd/211:25:002
11713993811,24cyclictest4562-21sed09:10:302
11712993832,3cyclictest25-21ksoftirqd/111:43:241
11712993832,3cyclictest25-21ksoftirqd/111:24:131
11712993831,4cyclictest25-21ksoftirqd/112:28:031
11712993831,4cyclictest25-21ksoftirqd/111:30:431
11712993831,4cyclictest25-21ksoftirqd/110:27:241
11712993831,4cyclictest25-21ksoftirqd/110:27:241
11712993831,4cyclictest25-21ksoftirqd/110:10:531
11712993831,4cyclictest25-21ksoftirqd/109:28:231
11712993831,4cyclictest25-21ksoftirqd/107:29:591
11712993831,4cyclictest25-21ksoftirqd/107:29:591
11712993830,5cyclictest25-21ksoftirqd/108:56:351
11711993832,3cyclictest9-21ksoftirqd/008:40:470
11711993831,4cyclictest9-21ksoftirqd/012:38:330
11711993831,4cyclictest9-21ksoftirqd/011:54:540
11711993831,4cyclictest9-21ksoftirqd/010:50:190
11711993831,4cyclictest9-21ksoftirqd/010:44:290
11711993831,4cyclictest9-21ksoftirqd/008:36:070
11711993831,4cyclictest9-21ksoftirqd/008:19:250
11711993831,4cyclictest9-21ksoftirqd/007:31:590
11711993814,21cyclictest5652-21/usr/sbin/munin11:30:320
11711993812,23cyclictest20067-21expr12:00:210
11714993731,4cyclictest41-21ksoftirqd/311:11:473
11714993731,4cyclictest25629-21kworker/3:011:05:383
11714993731,3cyclictest41-21ksoftirqd/312:34:083
11714993730,4cyclictest41-21ksoftirqd/312:03:333
11714993730,4cyclictest41-21ksoftirqd/311:41:323
11714993730,4cyclictest41-21ksoftirqd/311:29:493
11714993730,4cyclictest41-21ksoftirqd/310:53:513
11714993730,4cyclictest41-21ksoftirqd/310:43:243
11714993730,4cyclictest41-21ksoftirqd/309:36:463
11714993730,4cyclictest41-21ksoftirqd/308:51:113
11714993730,4cyclictest41-21ksoftirqd/308:51:113
11714993730,4cyclictest41-21ksoftirqd/308:43:053
11714993730,4cyclictest41-21ksoftirqd/307:48:573
11714993730,4cyclictest41-21ksoftirqd/307:35:003
11714993729,5cyclictest41-21ksoftirqd/312:18:253
11713993732,3cyclictest33-21ksoftirqd/210:04:462
11713993731,4cyclictest33-21ksoftirqd/208:47:172
11713993731,3cyclictest33-21ksoftirqd/210:45:132
11713993731,3cyclictest33-21ksoftirqd/210:08:532
11713993731,3cyclictest33-21ksoftirqd/209:20:592
11713993730,4cyclictest33-21ksoftirqd/211:44:012
11713993730,4cyclictest33-21ksoftirqd/208:38:512
11713993730,4cyclictest33-21ksoftirqd/208:05:552
11713993730,4cyclictest33-21ksoftirqd/207:33:102
11713993721,13cyclictest33-21ksoftirqd/208:19:112
11713993712,22cyclictest13412-21irqrtprio08:20:292
11712993732,3cyclictest25-21ksoftirqd/111:50:001
11712993732,3cyclictest25-21ksoftirqd/111:50:001
11712993732,3cyclictest25-21ksoftirqd/110:37:061
11712993730,4cyclictest25-21ksoftirqd/110:05:201
11712993730,4cyclictest25-21ksoftirqd/109:47:141
11712993730,4cyclictest25-21ksoftirqd/108:15:111
11712993730,4cyclictest25-21ksoftirqd/107:35:531
11712993729,5cyclictest25-21ksoftirqd/109:32:441
11711993732,3cyclictest9-21ksoftirqd/010:09:460
11711993731,4cyclictest9-21ksoftirqd/012:25:020
11711993730,4cyclictest9-21ksoftirqd/012:07:590
1171199372,29cyclictest25374-21apt-get09:55:170
1171199371,29cyclictest5365-21apt-get08:05:200
11711993710,24cyclictest7570-21grep09:15:400
11711993710,23cyclictest4986-21sort10:20:230
11714993629,4cyclictest41-21ksoftirqd/312:27:303
11714993629,4cyclictest41-21ksoftirqd/311:32:533
11714993629,4cyclictest41-21ksoftirqd/309:09:533
11714993628,5cyclictest41-21ksoftirqd/309:58:243
1171399367,4cyclictest359-21wc07:55:012
11713993630,4cyclictest33-21ksoftirqd/210:51:262
11713993630,3cyclictest33-21ksoftirqd/209:09:072
11713993629,4cyclictest33-21ksoftirqd/212:29:582
11713993629,4cyclictest33-21ksoftirqd/209:43:172
11713993629,4cyclictest33-21ksoftirqd/207:18:222
11712993631,3cyclictest25-21ksoftirqd/112:11:421
11712993630,4cyclictest25-21ksoftirqd/112:38:461
11712993630,4cyclictest25-21ksoftirqd/108:40:171
11712993629,4cyclictest25-21ksoftirqd/108:47:391
1171199369,24cyclictest13968-21grep09:30:270
1171199369,23cyclictest18823-21bc07:25:180
1171199369,23cyclictest18823-21bc07:25:180
1171199367,25cyclictest13066-21grep08:20:260
11711993629,4cyclictest9-21ksoftirqd/012:20:240
11711993629,4cyclictest9-21ksoftirqd/011:56:510
11711993629,4cyclictest9-21ksoftirqd/011:24:030
11711993629,4cyclictest9-21ksoftirqd/011:16:320
11711993629,4cyclictest9-21ksoftirqd/009:46:390
1171199361,29cyclictest28165-21apt-get07:45:200
11711993611,22cyclictest27132-21grep08:50:210
11711993611,22cyclictest27132-21grep08:50:210
11711993610,22cyclictest23410-21/usr/sbin/munin07:35:200
129991350,1ptp4l401ktimersoftd/312:10:393
11714993529,4cyclictest41-21ksoftirqd/307:28:373
11714993529,4cyclictest41-21ksoftirqd/307:28:373
11714993529,3cyclictest41-21ksoftirqd/309:10:403
11714993528,4cyclictest41-21ksoftirqd/312:37:483
1171399359,5cyclictest12689-21runrttasks10:35:282
11713993529,3cyclictest33-21ksoftirqd/209:57:552
11713993529,3cyclictest33-21ksoftirqd/209:36:082
11713993528,4cyclictest33-21ksoftirqd/211:49:482
11713993528,4cyclictest33-21ksoftirqd/211:49:482
11713993528,4cyclictest33-21ksoftirqd/209:47:492
11712993529,3cyclictest25-21ksoftirqd/109:22:271
11712993529,3cyclictest25-21ksoftirqd/109:02:251
11712993529,3cyclictest25-21ksoftirqd/107:23:421
11712993528,4cyclictest25-21ksoftirqd/112:02:021
11712993528,4cyclictest25-21ksoftirqd/111:06:021
11712993528,4cyclictest25-21ksoftirqd/110:52:201
11712993528,4cyclictest25-21ksoftirqd/110:03:091
11712993528,4cyclictest25-21ksoftirqd/107:47:021
11711993528,4cyclictest9-21ksoftirqd/011:36:000
11711993528,4cyclictest9-21ksoftirqd/007:55:190
11711993528,4cyclictest9-21ksoftirqd/007:10:390
1171199352,27cyclictest3031-21apt-get08:00:190
11711993512,20cyclictest1242-21snmpd08:12:120
129991340,1ptp4l401ktimersoftd/310:55:253
11714993429,3cyclictest41-21ksoftirqd/311:51:433
11714993428,4cyclictest41-21ksoftirqd/309:27:083
11714993428,3cyclictest41-21ksoftirqd/308:46:153
11713993429,3cyclictest33-21ksoftirqd/211:50:242
11713993428,3cyclictest33-21ksoftirqd/207:21:352
11713993427,4cyclictest33-21ksoftirqd/208:26:572
11712993428,3cyclictest25-21ksoftirqd/112:34:181
11712993427,4cyclictest25-21ksoftirqd/110:57:301
11712993427,4cyclictest25-21ksoftirqd/109:12:281
11711993426,5cyclictest9-21ksoftirqd/009:40:140
1171199342,26cyclictest10456-21apt-get11:40:160
11713993328,3cyclictest33-21ksoftirqd/207:36:492
11713993327,4cyclictest33-21ksoftirqd/209:54:442
11713993326,4cyclictest33-21ksoftirqd/208:12:082
11713993325,5cyclictest33-21ksoftirqd/207:40:052
11712993327,3cyclictest25-21ksoftirqd/111:57:221
11712993327,3cyclictest25-21ksoftirqd/110:22:051
11712993327,3cyclictest25-21ksoftirqd/107:16:141
11711993326,4cyclictest9-21ksoftirqd/009:53:110
1171199332,26cyclictest1271-21apt-get09:05:180
1171199331,29cyclictest4305-21/usr/sbin/munin11:25:270
1171199331,28cyclictest0-21swapper/012:30:200
1171199330,29cyclictest25683-21/usr/sbin/munin12:10:340
1171199330,29cyclictest17047-21/usr/sbin/munin07:20:260
1171399327,4cyclictest28968-21fschecks_count11:10:252
11713993211,4cyclictest22063-21/usr/sbin/munin12:05:362
1171199321,27cyclictest7748-21fschecks_time10:25:230
1171199321,27cyclictest7748-21fschecks_time10:25:230
1171199321,27cyclictest25758-21munin-node07:40:170
11712993125,3cyclictest25-21ksoftirqd/110:49:451
11712993125,3cyclictest25-21ksoftirqd/108:13:061
11712993125,3cyclictest25-21ksoftirqd/107:11:151
11712993023,4cyclictest25-21ksoftirqd/108:53:591
11712993023,4cyclictest25-21ksoftirqd/108:53:581
11712993023,4cyclictest25-21ksoftirqd/108:35:161
11712992720,4cyclictest25-21ksoftirqd/107:59:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional