You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-07-19 - 07:20
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackbslot6.osadl.org (updated Fri Jul 19, 2024 00:43:32)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1426621760,4sleep22547599cyclictest01:58:132
179191930,4ptp4l401ktimersoftd/322:08:233
270612740,2sleep00-21swapper/003:27:450
251382644,10sleep00-21swapper/022:10:190
25468996050,5cyclictest25-21ksoftirqd/100:43:301
2547999566,13cyclictest16225-21latency_hist00:08:183
124332540,2sleep312431-21sh02:32:393
25462995221,7cyclictest9-21ksoftirqd/000:30:160
2547999511,18cyclictest18590-21diskmemload00:16:363
25462995122,7cyclictest9-21ksoftirqd/003:28:390
25462995121,8cyclictest9-21ksoftirqd/002:16:080
220142510,2sleep20-21swapper/202:05:522
152162510,1sleep018590-21diskmemload03:13:110
147492510,4sleep233-21ksoftirqd/203:11:492
25462995022,5cyclictest9-21ksoftirqd/002:43:420
25462995021,10cyclictest9-21ksoftirqd/001:08:380
25462995020,7cyclictest9-21ksoftirqd/023:08:260
25462995020,7cyclictest9-21ksoftirqd/000:14:120
179191500,1ptp4l401ktimersoftd/301:43:073
2546299496,9cyclictest9-21ksoftirqd/001:23:330
2546299492,2cyclictest121rcu_preempt03:38:530
25462994922,4cyclictest9-21ksoftirqd/002:30:210
25462994922,4cyclictest9-21ksoftirqd/002:02:460
25462994921,5cyclictest9-21ksoftirqd/022:15:410
25462994921,5cyclictest9-21ksoftirqd/002:36:520
25462994921,4cyclictest9-21ksoftirqd/001:56:400
25462994918,6cyclictest9-21ksoftirqd/001:05:080
25468994836,8cyclictest25-21ksoftirqd/101:48:301
2546299486,9cyclictest9-21ksoftirqd/002:23:350
2546299485,8cyclictest9-21ksoftirqd/001:28:380
25462994821,4cyclictest9-21ksoftirqd/003:08:030
25462994820,7cyclictest9-21ksoftirqd/002:03:420
25462994819,7cyclictest9-21ksoftirqd/023:18:400
209622480,2sleep00-21swapper/002:41:400
2547999479,5cyclictest41-21ksoftirqd/301:13:303
2546299476,8cyclictest9-21ksoftirqd/023:38:300
2546299476,8cyclictest3754-21grep22:33:300
2546299475,8cyclictest9-21ksoftirqd/022:58:300
2546299474,9cyclictest9-21ksoftirqd/000:18:320
2546299474,8cyclictest9-21ksoftirqd/003:03:220
25462994722,4cyclictest9-21ksoftirqd/001:45:010
25462994722,10cyclictest9-21ksoftirqd/001:49:430
25462994721,7cyclictest9-21ksoftirqd/022:50:130
25462994720,4cyclictest9-21ksoftirqd/000:24:570
25462994720,4cyclictest9-21ksoftirqd/000:24:570
2546299467,8cyclictest9-21ksoftirqd/023:03:310
2546299467,8cyclictest9-21ksoftirqd/000:33:340
2546299466,6cyclictest9-21ksoftirqd/000:43:190
2546299466,5cyclictest9-21ksoftirqd/000:48:380
2546299466,11cyclictest9-21ksoftirqd/003:13:380
2546299465,8cyclictest9-21ksoftirqd/001:14:180
2546299464,9cyclictest22777-21modprobe00:53:360
25462994621,5cyclictest9-21ksoftirqd/003:21:160
25462994619,4cyclictest9-21ksoftirqd/000:44:040
25462994618,4cyclictest9-21ksoftirqd/002:58:070
25462994616,7cyclictest9-21ksoftirqd/022:18:200
25475994533,5cyclictest33-21ksoftirqd/201:18:312
2546299456,4cyclictest9-21ksoftirqd/001:33:280
2546299456,10cyclictest9-21ksoftirqd/022:23:270
2546299455,8cyclictest9-21ksoftirqd/001:22:570
2546299455,8cyclictest9-21ksoftirqd/000:58:460
2546299455,11cyclictest9-21ksoftirqd/022:58:170
2546299455,11cyclictest7809-21cut23:48:340
2546299455,10cyclictest9-21ksoftirqd/003:33:330
2546299453,11cyclictest9-21ksoftirqd/002:48:370
2546299452,9cyclictest9-21ksoftirqd/022:43:310
2546299452,9cyclictest9-21ksoftirqd/022:43:310
25462994517,7cyclictest9-21ksoftirqd/022:38:330
25468994430,11cyclictest25-21ksoftirqd/102:48:491
2546299445,6cyclictest26359-21ssh02:10:470
2546299445,6cyclictest26359-21ssh02:10:470
2546299445,4cyclictest9-21ksoftirqd/023:28:440
2546299443,9cyclictest9-21ksoftirqd/000:08:380
2546299443,6cyclictest9-21ksoftirqd/002:18:370
2546299442,8cyclictest9-21ksoftirqd/001:43:200
2546299436,7cyclictest9-21ksoftirqd/022:33:160
2546299433,9cyclictest9-21ksoftirqd/023:43:270
25468994231,5cyclictest25-21ksoftirqd/102:53:321
25468994229,7cyclictest25-21ksoftirqd/103:28:341
2546299423,11cyclictest9-21ksoftirqd/023:13:270
2546299422,10cyclictest9-21ksoftirqd/000:03:320
179191420,0ptp4l401ktimersoftd/301:11:183
2547999419,5cyclictest41-21ksoftirqd/301:24:063
25468994131,5cyclictest25-21ksoftirqd/102:38:301
2546299412,8cyclictest9-21ksoftirqd/023:28:180
2547999407,5cyclictest41-21ksoftirqd/303:01:053
2547999402,6cyclictest18590-21diskmemload02:08:373
2547999402,6cyclictest18590-21diskmemload02:08:373
2547999401,11cyclictest22069-21sh03:20:423
2546299402,8cyclictest9-21ksoftirqd/023:33:290
2546299401,8cyclictest0-21swapper/023:53:420
2546299400,7cyclictest0-21swapper/023:58:330
179191400,1ptp4l401ktimersoftd/302:08:103
2547999398,5cyclictest41-21ksoftirqd/301:04:043
2547999397,5cyclictest41-21ksoftirqd/303:40:423
25468993934,3cyclictest25-21ksoftirqd/103:11:191
25468993927,10cyclictest25-21ksoftirqd/123:28:441
25468993912,3cyclictest25-21ksoftirqd/102:23:381
2547999388,7cyclictest41-21ksoftirqd/300:51:363
2547999388,6cyclictest41-21ksoftirqd/302:17:143
2547999387,5cyclictest41-21ksoftirqd/301:45:243
2547999387,5cyclictest41-21ksoftirqd/300:31:503
2547999387,5cyclictest41-21ksoftirqd/300:22:113
25468993832,3cyclictest25-21ksoftirqd/103:43:231
179191380,1ptp4l401ktimersoftd/303:16:103
179191380,1ptp4l401ktimersoftd/302:02:463
179191380,1ptp4l401ktimersoftd/301:52:053
179191380,1ptp4l401ktimersoftd/301:33:243
179191380,1ptp4l401ktimersoftd/301:33:123
179191380,1ptp4l401ktimersoftd/301:00:473
2547999377,5cyclictest41-21ksoftirqd/302:21:033
25468993731,3cyclictest25-21ksoftirqd/100:28:191
25468993731,3cyclictest25-21ksoftirqd/100:28:191
25468993726,6cyclictest25-21ksoftirqd/101:23:291
25468993711,3cyclictest25-21ksoftirqd/103:23:361
25468993710,4cyclictest25-21ksoftirqd/103:13:381
179191370,1ptp4l401ktimersoftd/303:05:163
179191370,1ptp4l401ktimersoftd/301:56:213
179191370,1ptp4l401ktimersoftd/301:19:003
179191370,1ptp4l401ktimersoftd/300:57:223
179191370,1ptp4l401ktimersoftd/300:45:213
179191370,0ptp4l401ktimersoftd/323:07:133
179191370,0ptp4l401ktimersoftd/302:52:223
179191370,0ptp4l401ktimersoftd/300:25:123
179191370,0ptp4l401ktimersoftd/300:25:123
25479993615,7cyclictest41-21ksoftirqd/322:58:183
2546899369,4cyclictest25-21ksoftirqd/101:33:491
2546899369,4cyclictest25-21ksoftirqd/101:18:201
2546899363,3cyclictest121rcu_preempt00:18:181
25468993611,3cyclictest25-21ksoftirqd/102:03:481
179191360,1ptp4l401ktimersoftd/322:49:343
179191360,1ptp4l401ktimersoftd/302:57:223
179191360,1ptp4l401ktimersoftd/302:34:113
179191360,0ptp4l401ktimersoftd/303:36:223
179191360,0ptp4l401ktimersoftd/303:30:523
179191360,0ptp4l401ktimersoftd/303:27:033
179191360,0ptp4l401ktimersoftd/300:35:153
25479993515,9cyclictest41-21ksoftirqd/302:42:533
25475993530,3cyclictest33-21ksoftirqd/201:38:202
2546899358,4cyclictest25-21ksoftirqd/100:18:321
2546899358,3cyclictest25-21ksoftirqd/100:48:371
2546899356,4cyclictest25-21ksoftirqd/123:43:291
25468993529,3cyclictest25-21ksoftirqd/102:58:501
25468993529,3cyclictest25-21ksoftirqd/102:08:471
25468993529,3cyclictest25-21ksoftirqd/102:08:471
179191350,1ptp4l401ktimersoftd/303:13:003
179191350,1ptp4l401ktimersoftd/302:47:563
2546899349,4cyclictest25-21ksoftirqd/101:28:351
2546899345,3cyclictest25-21ksoftirqd/101:53:321
25468993429,3cyclictest25-21ksoftirqd/103:23:221
25468993429,3cyclictest25-21ksoftirqd/102:23:211
25468993429,3cyclictest25-21ksoftirqd/101:23:201
25468993428,3cyclictest25-21ksoftirqd/103:03:371
25468993428,3cyclictest25-21ksoftirqd/102:13:411
25468993427,4cyclictest25-21ksoftirqd/123:08:341
2546899335,3cyclictest25-21ksoftirqd/101:48:201
25468993328,3cyclictest25-21ksoftirqd/102:48:221
25468993328,3cyclictest25-21ksoftirqd/101:08:381
25468993327,3cyclictest25-21ksoftirqd/123:38:331
25468993327,3cyclictest25-21ksoftirqd/123:03:171
25468993327,3cyclictest25-21ksoftirqd/102:38:221
25468993322,5cyclictest25-21ksoftirqd/100:33:291
2546899326,4cyclictest25-21ksoftirqd/102:28:311
2546899325,6cyclictest25-21ksoftirqd/123:38:181
2546899325,3cyclictest25-21ksoftirqd/101:03:311
25468993227,3cyclictest25-21ksoftirqd/123:58:181
25468993227,3cyclictest25-21ksoftirqd/123:03:171
25468993227,3cyclictest25-21ksoftirqd/122:53:281
25468993227,3cyclictest25-21ksoftirqd/122:33:161
25468993227,3cyclictest25-21ksoftirqd/100:58:201
25468993227,3cyclictest25-21ksoftirqd/100:38:361
25468993219,8cyclictest25-21ksoftirqd/101:58:311
25468993217,6cyclictest25-21ksoftirqd/123:23:361
25468993214,8cyclictest25-21ksoftirqd/122:53:161
2546899320,3cyclictest121rcu_preempt22:23:151
2546899320,2cyclictest121rcu_preempt22:23:451
25479993125,3cyclictest41-21ksoftirqd/323:38:183
2547599311,3cyclictest121rcu_preempt02:13:412
25468993127,2cyclictest0-21swapper/103:33:351
25468993126,3cyclictest25-21ksoftirqd/123:58:351
25468993126,3cyclictest25-21ksoftirqd/122:48:161
25468993126,3cyclictest25-21ksoftirqd/122:48:161
25468993126,3cyclictest25-21ksoftirqd/101:38:241
25468993125,3cyclictest25-21ksoftirqd/123:18:461
25468993125,3cyclictest25-21ksoftirqd/122:13:161
25468993125,3cyclictest25-21ksoftirqd/100:03:281
2547999301,7cyclictest401ktimersoftd/300:40:063
25479993015,7cyclictest11779-21apt-get23:58:323
25475993025,3cyclictest33-21ksoftirqd/223:03:172
25475993024,3cyclictest33-21ksoftirqd/202:03:202
25468993025,3cyclictest25-21ksoftirqd/122:38:341
25468993025,3cyclictest25-21ksoftirqd/122:33:301
25468993025,3cyclictest25-21ksoftirqd/122:13:361
25468993025,3cyclictest25-21ksoftirqd/100:28:351
25479992916,7cyclictest401ktimersoftd/322:18:263
25475992924,3cyclictest33-21ksoftirqd/202:28:302
25475992923,3cyclictest33-21ksoftirqd/200:38:302
25475992920,5cyclictest32448-21irqrtprio03:33:402
25475992916,11cyclictest33-21ksoftirqd/202:08:362
25475992916,11cyclictest33-21ksoftirqd/202:08:362
25468992924,3cyclictest25-21ksoftirqd/123:48:341
25468992924,3cyclictest25-21ksoftirqd/100:58:331
25468992923,3cyclictest25-21ksoftirqd/100:08:301
25468992922,4cyclictest25-21ksoftirqd/123:16:291
2547999288,7cyclictest41-21ksoftirqd/302:26:323
2547999287,6cyclictest41-21ksoftirqd/323:30:273
25475992823,3cyclictest33-21ksoftirqd/223:13:322
25475992823,3cyclictest33-21ksoftirqd/200:53:482
25475992822,3cyclictest18904-21kworker/2:100:28:342
237052286,10sleep20-21swapper/222:08:322
2547599273,2cyclictest121rcu_preempt00:17:102
2547599273,17cyclictest7383-21ssh03:03:322
2547599273,16cyclictest2996-21ssh01:08:322
25475992722,3cyclictest33-21ksoftirqd/203:28:372
25475992722,3cyclictest33-21ksoftirqd/203:23:392
25475992722,3cyclictest33-21ksoftirqd/203:13:412
25475992721,3cyclictest33-21ksoftirqd/223:32:262
25475992721,3cyclictest33-21ksoftirqd/222:17:142
25475992713,11cyclictest29489-21sh01:01:042
25475992713,10cyclictest33-21ksoftirqd/222:33:002
69362260,4sleep32547999cyclictest23:48:183
2547999269,10cyclictest9411-21apt-get23:53:283
2547999268,4cyclictest41-21ksoftirqd/323:24:423
25479992619,4cyclictest41-21ksoftirqd/323:10:413
25479992619,4cyclictest41-21ksoftirqd/300:13:163
25475992621,3cyclictest33-21ksoftirqd/222:53:172
25475992621,3cyclictest33-21ksoftirqd/222:23:152
25475992621,3cyclictest33-21ksoftirqd/203:19:372
25475992621,3cyclictest33-21ksoftirqd/200:23:182
25475992620,3cyclictest33-21ksoftirqd/222:33:522
25475992620,3cyclictest33-21ksoftirqd/201:43:332
25475992620,3cyclictest11371-21latency_hist01:18:202
25475992619,4cyclictest33-21ksoftirqd/200:13:052
25475992619,4cyclictest19531-21grep02:38:492
2547999259,8cyclictest41-21ksoftirqd/322:41:523
2547999259,5cyclictest41-21ksoftirqd/323:49:383
25479992520,3cyclictest41-21ksoftirqd/323:14:063
25479992520,3cyclictest41-21ksoftirqd/322:58:163
25479992518,4cyclictest41-21ksoftirqd/322:37:533
25475992520,3cyclictest33-21ksoftirqd/223:43:352
25475992520,3cyclictest33-21ksoftirqd/222:43:352
25475992520,3cyclictest33-21ksoftirqd/222:43:352
25475992519,3cyclictest33-21ksoftirqd/223:59:242
25475992519,3cyclictest33-21ksoftirqd/222:27:592
25475992519,3cyclictest33-21ksoftirqd/200:28:192
25475992519,3cyclictest33-21ksoftirqd/200:28:192
25475992518,4cyclictest33-21ksoftirqd/223:37:462
25475992512,3cyclictest2372-21sh02:20:052
25479992417,4cyclictest41-21ksoftirqd/322:43:593
25479992417,4cyclictest41-21ksoftirqd/322:43:593
25475992419,3cyclictest33-21ksoftirqd/200:03:282
25475992418,4cyclictest33-21ksoftirqd/200:33:342
25475992418,3cyclictest33-21ksoftirqd/223:38:332
25475992416,5cyclictest13517-21cut22:53:312
25475992413,9cyclictest33-21ksoftirqd/201:23:332
179191240,1ptp4l401ktimersoftd/323:18:333
179191240,1ptp4l401ktimersoftd/322:23:263
25475992318,3cyclictest33-21ksoftirqd/202:38:222
25475992318,3cyclictest33-21ksoftirqd/201:48:352
25475992317,3cyclictest33-21ksoftirqd/202:43:402
179191230,1ptp4l401ktimersoftd/323:38:463
179191230,1ptp4l401ktimersoftd/322:28:303
179191230,1ptp4l401ktimersoftd/322:13:393
2547599229,8cyclictest47050irq/100-ens3-Tx03:38:322
25475992217,3cyclictest33-21ksoftirqd/223:48:312
25475992217,3cyclictest33-21ksoftirqd/201:38:242
25475992216,3cyclictest33-21ksoftirqd/202:23:332
25475992215,4cyclictest33-21ksoftirqd/223:03:492
2547599214,14cyclictest0-21swapper/200:49:032
25475992116,3cyclictest33-21ksoftirqd/202:51:492
25475992115,3cyclictest33-21ksoftirqd/223:08:332
25475992115,3cyclictest33-21ksoftirqd/203:00:472
25475992115,3cyclictest33-21ksoftirqd/201:03:332
25475992115,3cyclictest13311-21/usr/sbin/munin00:43:452
25475992114,4cyclictest6672-21sed22:38:342
25475992114,4cyclictest33-21ksoftirqd/223:54:242
25475992113,5cyclictest32401-21sensors_temp02:53:442
25475992014,3cyclictest22545-21sh01:29:152
25475991813,3cyclictest33-21ksoftirqd/223:23:362
25475991711,3cyclictest26872-21head23:18:462
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional