You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-05-09 - 05:58
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot2.osadl.org (updated Fri May 09, 2025 00:45:50)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
275242222165,46sleep10-21swapper/119:09:231
272002205171,23sleep30-21swapper/319:05:273
254532204170,23sleep20-21swapper/219:05:112
273342203170,22sleep00-21swapper/019:06:540
275732145120,14sleep20-21swapper/219:10:012
119421230,2sleep02786499cyclictest22:45:000
137291610,1ptp4l401ktimersoftd/320:05:003
265752570,5sleep02786499cyclictest22:30:000
35582530,2sleep20-21swapper/221:40:192
2786599481,9cyclictest29071-21cpu22:35:151
2786599461,13cyclictest5662-21ssh20:35:231
2786599450,2cyclictest0-21swapper/120:25:191
137291420,0ptp4l401ktimersoftd/323:45:283
137291420,0ptp4l401ktimersoftd/319:29:483
2786599416,8cyclictest8419-21latency_hist23:00:001
27864994136,3cyclictest16583-21dump-pmu-power22:10:000
27864994136,3cyclictest16583-21dump-pmu-power22:10:000
137291410,0ptp4l401ktimersoftd/300:00:173
27865994033,4cyclictest25-21ksoftirqd/122:30:211
2786599400,14cyclictest14005-21df_inode20:55:181
2786599391,7cyclictest15102-21iostat_ios22:05:201
2786599391,7cyclictest15102-21iostat_ios22:05:201
27864993934,3cyclictest9-21ksoftirqd/019:15:010
27864993934,3cyclictest9-21ksoftirqd/000:30:010
2786599380,8cyclictest3021-21diskstats21:40:151
2786599380,8cyclictest27271-21hddtemp_smartct20:15:161
2786599380,14cyclictest7641-21df21:50:171
27864993833,3cyclictest9-21ksoftirqd/021:40:000
27864993833,3cyclictest9-21ksoftirqd/021:40:000
137291380,0ptp4l401ktimersoftd/320:30:003
27867993731,4cyclictest41-21ksoftirqd/320:24:283
27867993731,4cyclictest41-21ksoftirqd/300:28:543
27866993716,20cyclictest4901-21kworker/2:121:15:302
2786599370,7cyclictest31283-21memory19:15:211
27864993733,3cyclictest9-21ksoftirqd/021:00:000
27864993732,3cyclictest9-21ksoftirqd/023:20:010
27864993732,3cyclictest9-21ksoftirqd/000:10:000
27864993731,4cyclictest9-21ksoftirqd/021:10:060
27864993731,3cyclictest9-21ksoftirqd/021:50:170
137291370,0ptp4l401ktimersoftd/322:05:273
137291370,0ptp4l401ktimersoftd/322:05:273
27867993630,4cyclictest41-21ksoftirqd/319:13:583
27866993630,4cyclictest33-21ksoftirqd/222:56:212
27866993630,4cyclictest33-21ksoftirqd/220:57:512
27866993622,12cyclictest33-21ksoftirqd/222:25:012
27864993630,4cyclictest9-21ksoftirqd/023:14:050
27864993630,4cyclictest9-21ksoftirqd/023:06:270
27864993630,4cyclictest9-21ksoftirqd/023:04:220
27864993630,4cyclictest9-21ksoftirqd/021:06:520
27864993630,4cyclictest9-21ksoftirqd/021:06:520
27864993630,4cyclictest9-21ksoftirqd/020:35:350
27867993529,4cyclictest41-21ksoftirqd/322:52:383
27867993529,4cyclictest41-21ksoftirqd/321:53:283
27867993529,4cyclictest41-21ksoftirqd/321:12:483
27867993529,4cyclictest41-21ksoftirqd/320:36:223
27867993529,4cyclictest41-21ksoftirqd/300:36:483
27867993523,10cyclictest41-21ksoftirqd/320:50:103
27866993530,3cyclictest32376-21sh19:20:002
27866993529,4cyclictest33-21ksoftirqd/221:54:482
27866993529,4cyclictest33-21ksoftirqd/221:49:262
27866993529,4cyclictest33-21ksoftirqd/221:33:132
27866993529,4cyclictest33-21ksoftirqd/200:00:002
27865993529,4cyclictest25-21ksoftirqd/121:24:061
27864993531,3cyclictest9-21ksoftirqd/020:20:000
27864993530,3cyclictest9-21ksoftirqd/020:35:010
27864993529,4cyclictest9-21ksoftirqd/019:42:150
27864993528,4cyclictest8334-21cron23:00:000
27867993429,3cyclictest41-21ksoftirqd/321:48:323
27867993429,3cyclictest41-21ksoftirqd/320:50:013
27867993429,3cyclictest41-21ksoftirqd/300:13:373
27867993428,4cyclictest41-21ksoftirqd/323:08:503
27867993428,4cyclictest41-21ksoftirqd/322:26:303
27867993428,4cyclictest41-21ksoftirqd/320:43:243
27867993428,4cyclictest41-21ksoftirqd/300:32:073
27867993428,4cyclictest41-21ksoftirqd/300:18:393
27867993428,4cyclictest41-21ksoftirqd/300:18:393
27867993427,5cyclictest41-21ksoftirqd/323:57:333
27867993427,5cyclictest41-21ksoftirqd/321:28:493
27866993428,4cyclictest33-21ksoftirqd/223:25:172
27866993428,4cyclictest33-21ksoftirqd/222:38:532
27866993428,4cyclictest33-21ksoftirqd/222:17:462
27866993428,4cyclictest33-21ksoftirqd/220:11:012
2786699341,3cyclictest5070-21latency_hist19:30:002
27865993429,3cyclictest25-21ksoftirqd/123:05:511
27865993428,4cyclictest25-21ksoftirqd/123:40:261
27865993428,4cyclictest25-21ksoftirqd/123:38:411
27864993428,4cyclictest9-21ksoftirqd/023:56:250
27864993428,4cyclictest9-21ksoftirqd/022:54:310
27864993428,4cyclictest9-21ksoftirqd/022:31:320
27864993428,4cyclictest9-21ksoftirqd/019:56:510
27864993428,4cyclictest9-21ksoftirqd/019:45:290
27864993428,4cyclictest9-21ksoftirqd/019:24:260
27864993426,5cyclictest9-21ksoftirqd/022:25:010
27867993328,3cyclictest41-21ksoftirqd/319:52:053
27867993327,4cyclictest41-21ksoftirqd/323:01:043
27867993327,4cyclictest41-21ksoftirqd/320:17:363
27867993327,4cyclictest41-21ksoftirqd/320:08:513
27867993327,4cyclictest41-21ksoftirqd/319:31:003
2786699335,7cyclictest0-21swapper/220:30:202
27866993327,4cyclictest33-21ksoftirqd/223:31:042
27866993327,4cyclictest33-21ksoftirqd/220:47:162
27866993327,4cyclictest33-21ksoftirqd/220:06:482
27866993327,4cyclictest33-21ksoftirqd/220:03:252
27866993326,4cyclictest33-21ksoftirqd/200:24:592
27866993326,4cyclictest33-21ksoftirqd/200:12:162
27866993316,16cyclictest8372-21kworker/2:119:45:312
27865993327,4cyclictest25-21ksoftirqd/123:47:481
27865993327,4cyclictest25-21ksoftirqd/120:46:391
27865993326,4cyclictest9585-21cron00:10:001
27864993328,3cyclictest9-21ksoftirqd/020:42:130
27864993328,3cyclictest9-21ksoftirqd/019:20:000
27864993328,3cyclictest9-21ksoftirqd/000:33:520
27864993327,4cyclictest9-21ksoftirqd/023:41:170
27864993327,4cyclictest9-21ksoftirqd/023:29:570
27864993327,4cyclictest9-21ksoftirqd/021:58:150
27864993327,4cyclictest9-21ksoftirqd/021:16:030
27864993327,4cyclictest9-21ksoftirqd/020:12:520
137291330,0ptp4l401ktimersoftd/321:42:333
27867993227,3cyclictest41-21ksoftirqd/321:55:093
27867993226,4cyclictest41-21ksoftirqd/323:27:323
27867993226,4cyclictest41-21ksoftirqd/321:08:193
27867993226,4cyclictest41-21ksoftirqd/321:08:193
27867993226,4cyclictest41-21ksoftirqd/321:02:133
27867993226,4cyclictest41-21ksoftirqd/320:14:283
27867993226,4cyclictest41-21ksoftirqd/319:17:273
27866993227,3cyclictest33-21ksoftirqd/220:27:492
27866993226,4cyclictest33-21ksoftirqd/223:39:422
27866993226,4cyclictest33-21ksoftirqd/221:22:502
27866993226,4cyclictest33-21ksoftirqd/220:53:422
27866993226,4cyclictest33-21ksoftirqd/219:44:422
27866993226,4cyclictest33-21ksoftirqd/219:33:342
27865993227,3cyclictest25-21ksoftirqd/123:54:381
27865993226,4cyclictest25-21ksoftirqd/123:15:581
27865993226,4cyclictest25-21ksoftirqd/123:03:591
27865993226,4cyclictest25-21ksoftirqd/122:20:301
27865993226,4cyclictest25-21ksoftirqd/122:19:261
27865993226,4cyclictest25-21ksoftirqd/121:01:311
27865993226,4cyclictest25-21ksoftirqd/119:33:381
27865993226,4cyclictest25-21ksoftirqd/119:27:051
27865993226,4cyclictest25-21ksoftirqd/100:35:091
27864993227,3cyclictest9-21ksoftirqd/000:15:000
27864993227,3cyclictest9-21ksoftirqd/000:00:150
27864993226,4cyclictest9-21ksoftirqd/023:53:200
27864993226,4cyclictest9-21ksoftirqd/020:27:120
27864993226,4cyclictest9-21ksoftirqd/000:16:270
27864993226,4cyclictest9-21ksoftirqd/000:16:260
137291320,1ptp4l401ktimersoftd/320:56:473
137291320,0ptp4l401ktimersoftd/319:48:393
27867993126,3cyclictest41-21ksoftirqd/322:58:073
27867993126,3cyclictest41-21ksoftirqd/321:18:513
27867993125,4cyclictest41-21ksoftirqd/322:16:033
27867993125,4cyclictest41-21ksoftirqd/319:22:093
27866993126,3cyclictest33-21ksoftirqd/223:49:012
27866993126,3cyclictest33-21ksoftirqd/200:17:532
27866993126,3cyclictest33-21ksoftirqd/200:17:522
27866993125,4cyclictest33-21ksoftirqd/223:42:472
27866993125,4cyclictest33-21ksoftirqd/222:34:352
27866993125,4cyclictest33-21ksoftirqd/222:03:262
27866993124,5cyclictest33-21ksoftirqd/222:51:202
27866993111,3cyclictest9374-21dpkg00:09:332
27866993111,3cyclictest5917-21seq20:35:272
27866993111,3cyclictest17561-21expr19:55:132
27866993110,3cyclictest22318-21timerwakeupswit21:10:282
2786699310,29cyclictest0-21swapper/219:55:012
27865993125,4cyclictest25-21ksoftirqd/120:13:101
27865993125,4cyclictest25-21ksoftirqd/120:08:051
2786599311,11cyclictest23999-21irqstats21:15:191
2786599310,13cyclictest21638-21irqstats21:10:201
27864993127,3cyclictest9-21ksoftirqd/000:25:000
27864993126,3cyclictest9-21ksoftirqd/022:15:200
27864993125,4cyclictest9-21ksoftirqd/022:47:490
27864993125,4cyclictest9-21ksoftirqd/022:02:010
27864993125,4cyclictest9-21ksoftirqd/021:20:080
27864993125,4cyclictest9-21ksoftirqd/020:50:090
27864993125,4cyclictest9-21ksoftirqd/020:00:000
27864993125,4cyclictest9-21ksoftirqd/019:53:310
137291310,0ptp4l401ktimersoftd/322:40:593
137291310,0ptp4l401ktimersoftd/319:55:513
27867993025,3cyclictest41-21ksoftirqd/323:20:243
27867993025,3cyclictest41-21ksoftirqd/323:12:193
27867993025,3cyclictest41-21ksoftirqd/322:14:403
27867993025,3cyclictest41-21ksoftirqd/319:37:303
27867993024,4cyclictest41-21ksoftirqd/322:03:233
27867993024,4cyclictest41-21ksoftirqd/300:06:073
27867993020,9cyclictest41-21ksoftirqd/322:20:243
2786699309,4cyclictest12680-21sed23:05:312
2786699307,3cyclictest32765-21df_abs23:50:142
27866993025,3cyclictest33-21ksoftirqd/221:05:432
27866993025,3cyclictest33-21ksoftirqd/221:05:432
27866993024,4cyclictest33-21ksoftirqd/223:02:432
27866993024,4cyclictest33-21ksoftirqd/222:12:092
27866993024,4cyclictest33-21ksoftirqd/221:36:222
27866993024,4cyclictest33-21ksoftirqd/221:36:222
27866993024,4cyclictest33-21ksoftirqd/221:26:562
27866993024,4cyclictest33-21ksoftirqd/221:02:452
27866993024,4cyclictest33-21ksoftirqd/220:16:472
27866993012,16cyclictest13313-21/usr/sbin/munin23:10:142
27866993010,3cyclictest1625-21cat22:45:152
27865993025,3cyclictest25-21ksoftirqd/122:00:361
27865993024,4cyclictest25-21ksoftirqd/123:30:061
27865993024,4cyclictest25-21ksoftirqd/122:10:111
27865993024,4cyclictest25-21ksoftirqd/121:26:551
27865993024,4cyclictest25-21ksoftirqd/120:42:341
27865993024,4cyclictest25-21ksoftirqd/100:26:591
27865993024,4cyclictest25-21ksoftirqd/100:20:331
27864993026,3cyclictest9-21ksoftirqd/022:35:200
27864993025,3cyclictest9-21ksoftirqd/020:21:290
27864993024,4cyclictest9-21ksoftirqd/021:42:140
27867992924,3cyclictest41-21ksoftirqd/323:16:143
27867992924,3cyclictest41-21ksoftirqd/319:40:503
27867992923,4cyclictest41-21ksoftirqd/323:34:223
27867992923,4cyclictest41-21ksoftirqd/322:38:053
27867992923,3cyclictest41-21ksoftirqd/321:35:003
27867992922,5cyclictest41-21ksoftirqd/320:31:203
2786699299,3cyclictest17438-21cpuspeed00:25:142
27866992923,4cyclictest33-21ksoftirqd/222:25:332
27866992923,4cyclictest33-21ksoftirqd/219:38:002
27866992923,4cyclictest33-21ksoftirqd/200:39:162
27865992924,3cyclictest25-21ksoftirqd/122:46:021
27865992923,4cyclictest25-21ksoftirqd/121:55:591
27865992923,4cyclictest25-21ksoftirqd/119:36:101
27864992924,3cyclictest9-21ksoftirqd/019:25:560
27864992923,4cyclictest9-21ksoftirqd/023:30:130
27864992923,4cyclictest9-21ksoftirqd/020:49:270
27864992923,4cyclictest9-21ksoftirqd/019:33:360
27864992922,5cyclictest9-21ksoftirqd/023:24:360
137291290,0ptp4l401ktimersoftd/323:50:193
137291290,0ptp4l401ktimersoftd/323:37:303
27867992823,3cyclictest41-21ksoftirqd/322:47:213
27867992822,4cyclictest41-21ksoftirqd/323:43:243
27867992822,4cyclictest41-21ksoftirqd/300:24:363
2786699289,2cyclictest8698-21uname20:45:002
27866992823,3cyclictest33-21ksoftirqd/200:32:282
27866992822,4cyclictest33-21ksoftirqd/222:09:002
27866992822,4cyclictest33-21ksoftirqd/222:09:002
27866992822,4cyclictest33-21ksoftirqd/221:57:092
27866992822,4cyclictest33-21ksoftirqd/219:23:282
27866992822,4cyclictest33-21ksoftirqd/200:00:122
27865992823,3cyclictest25-21ksoftirqd/123:12:531
27865992823,3cyclictest25-21ksoftirqd/122:52:231
27865992823,3cyclictest25-21ksoftirqd/122:40:441
27865992823,3cyclictest25-21ksoftirqd/120:02:181
27865992823,3cyclictest25-21ksoftirqd/119:57:451
27865992823,3cyclictest25-21ksoftirqd/119:14:361
27865992822,4cyclictest25-21ksoftirqd/119:49:181
27865992822,4cyclictest25-21ksoftirqd/100:18:291
27865992822,4cyclictest25-21ksoftirqd/100:18:291
27865992821,5cyclictest25-21ksoftirqd/121:34:331
27864992823,3cyclictest9-21ksoftirqd/022:13:080
27864992823,3cyclictest9-21ksoftirqd/021:48:400
27864992823,3cyclictest9-21ksoftirqd/021:30:200
27864992822,4cyclictest9-21ksoftirqd/019:39:260
27864992822,4cyclictest9-21ksoftirqd/000:39:220
27864992822,3cyclictest9-21ksoftirqd/023:40:000
2786699276,4cyclictest16968-21missed_timers23:15:202
27866992722,3cyclictest33-21ksoftirqd/222:42:222
27866992722,3cyclictest33-21ksoftirqd/220:20:532
27865992722,3cyclictest25-21ksoftirqd/121:05:201
27865992722,3cyclictest25-21ksoftirqd/121:05:201
27865992721,4cyclictest25-21ksoftirqd/122:25:121
2786599271,16cyclictest32373-21apt-get19:20:021
27864992722,3cyclictest9-21ksoftirqd/021:30:000
27864992722,3cyclictest9-21ksoftirqd/020:07:510
27867992621,3cyclictest41-21ksoftirqd/322:33:283
2786599266,5cyclictest4779-21latency_hist00:00:011
27865992620,4cyclictest25-21ksoftirqd/123:24:131
27865992620,4cyclictest25-21ksoftirqd/120:31:551
27865992620,4cyclictest25-21ksoftirqd/120:22:041
27865992620,4cyclictest25-21ksoftirqd/100:13:431
27864992621,3cyclictest9-21ksoftirqd/021:05:000
137291260,0ptp4l401ktimersoftd/321:20:143
27865992520,3cyclictest25-21ksoftirqd/119:54:241
27865992519,4cyclictest25-21ksoftirqd/119:42:561
27865992519,4cyclictest25-21ksoftirqd/100:30:441
27864992521,3cyclictest9-21ksoftirqd/023:45:200
27867992419,3cyclictest41-21ksoftirqd/321:35:513
27867992419,3cyclictest41-21ksoftirqd/321:35:513
27866992318,3cyclictest33-21ksoftirqd/223:24:282
27865992318,3cyclictest25-21ksoftirqd/120:51:091
27865992317,4cyclictest25-21ksoftirqd/100:03:481
27865992217,3cyclictest25-21ksoftirqd/121:49:171
2786599220,20cyclictest0-21swapper/121:35:201
2786599220,20cyclictest0-21swapper/121:35:191
2786599188,7cyclictest20837-21cpuspeed_turbos23:25:171
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional