You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-07-09 - 08:08
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot3.osadl.org (updated Wed Jul 09, 2025 00:45:46)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
137191227161,22phc2sys0-21swapper/319:09:513
129902201168,22sleep10-21swapper/119:05:061
150142200167,23sleep00-21swapper/019:08:350
149742200166,23sleep20-21swapper/219:08:052
3169921770,4sleep01541499cyclictest19:40:280
136991910,1ptp4l29329-21file00:06:523
313492590,2sleep20-21swapper/221:55:242
1541799554,7cyclictest5586-21awk23:20:003
1541599545,15cyclictest29876-21apt-get21:55:121
1541599535,11cyclictest29401-21apache200:06:521
15417995226,11cyclictest41-21ksoftirqd/323:40:283
1541799522,16cyclictest15144-21latency_hist21:25:003
12752520,2sleep20-21swapper/219:45:272
1541799516,6cyclictest41-21ksoftirqd/321:00:013
1541799515,7cyclictest41-21ksoftirqd/321:08:593
59298500,12rtkit-daemon28882-21apache223:16:262
15417995027,8cyclictest41-21ksoftirqd/320:25:243
1541599504,9cyclictest6180-21df_abs21:05:161
59298490,11rtkit-daemon0-21swapper/221:18:552
1541799482,6cyclictest401ktimersoftd/321:10:153
1541799472,6cyclictest401ktimersoftd/320:10:173
59298460,10rtkit-daemon0-21swapper/221:00:252
1541799460,7cyclictest401ktimersoftd/322:40:293
1541599466,13cyclictest24246-21users21:40:271
59298450,10rtkit-daemon0-21swapper/221:12:552
1541599455,8cyclictest15535-21apt-get23:40:151
59298440,10rtkit-daemon0-21swapper/223:03:152
1541799443,5cyclictest41-21ksoftirqd/323:52:023
1541799442,6cyclictest41-21ksoftirqd/300:31:173
1541599446,8cyclictest30298-21df00:10:161
1541599445,9cyclictest13558-21ssh20:10:271
1541799433,6cyclictest0-21swapper/320:46:073
1541699439,4cyclictest33-21ksoftirqd/200:30:252
15416994337,3cyclictest9448-21sh20:04:592
15416994337,3cyclictest33-21ksoftirqd/200:15:002
15416994337,3cyclictest33-21ksoftirqd/200:00:002
1541599435,8cyclictest22137-21iostat22:45:211
136991430,0ptp4l401ktimersoftd/319:56:373
136991430,0ptp4l401ktimersoftd/319:30:133
59298420,10rtkit-daemon0-21swapper/200:39:552
1541799425,8cyclictest41-21ksoftirqd/319:21:353
1541799425,7cyclictest41-21ksoftirqd/323:56:353
1541799423,3cyclictest41-21ksoftirqd/322:00:503
15416994230,10cyclictest33-21ksoftirqd/223:40:002
15416994227,12cyclictest33-21ksoftirqd/220:50:002
15416994213,4cyclictest33-21ksoftirqd/221:08:582
1541599426,8cyclictest14532-21diskstats22:30:151
1541599425,7cyclictest7817-21hddtemp_smartct20:00:161
136991420,0ptp4l401ktimersoftd/320:41:333
59298410,8rtkit-daemon0-21swapper/222:54:452
59298410,10rtkit-daemon0-21swapper/223:34:252
1541799414,4cyclictest401ktimersoftd/323:25:263
1541799414,4cyclictest401ktimersoftd/323:25:263
15417994128,4cyclictest41-21ksoftirqd/320:35:133
1541799412,7cyclictest41-21ksoftirqd/320:50:343
15417994120,4cyclictest41-21ksoftirqd/320:19:123
15417994117,3cyclictest41-21ksoftirqd/323:04:173
1541799411,6cyclictest25114-21latency_hist19:30:013
1541799411,5cyclictest41-21ksoftirqd/322:25:183
1541799410,5cyclictest401ktimersoftd/322:35:173
15416994136,3cyclictest33-21ksoftirqd/200:20:002
15416994135,3cyclictest33-21ksoftirqd/220:55:002
15416994127,12cyclictest33-21ksoftirqd/223:30:002
15416994127,12cyclictest33-21ksoftirqd/223:30:002
15416994112,4cyclictest33-21ksoftirqd/221:50:002
1541599415,7cyclictest384-21users20:50:311
15417994034,3cyclictest23614-21sh22:50:013
1541799402,7cyclictest26546-21timerandwakeup00:00:263
1541799401,6cyclictest41-21ksoftirqd/322:55:253
1541699407,6cyclictest33-21ksoftirqd/219:55:192
1541699407,5cyclictest33-21ksoftirqd/222:10:002
15416994035,3cyclictest33-21ksoftirqd/223:45:012
15416994035,3cyclictest33-21ksoftirqd/221:40:012
15416994029,9cyclictest33-21ksoftirqd/221:25:152
1541799395,7cyclictest41-21ksoftirqd/300:38:513
1541799392,6cyclictest41-21ksoftirqd/322:05:273
1541799391,5cyclictest41-21ksoftirqd/319:35:243
1541799391,5cyclictest41-21ksoftirqd/319:35:233
1541699396,8cyclictest33-21ksoftirqd/222:35:242
15416993934,3cyclictest33-21ksoftirqd/222:50:002
15416993934,3cyclictest33-21ksoftirqd/221:55:002
15416993934,3cyclictest33-21ksoftirqd/221:00:002
15416993934,3cyclictest33-21ksoftirqd/220:35:152
15416993933,3cyclictest33-21ksoftirqd/223:00:002
15416993933,3cyclictest33-21ksoftirqd/219:35:002
15416993933,3cyclictest33-21ksoftirqd/219:29:592
59298380,8rtkit-daemon0-21swapper/222:14:052
1541799389,8cyclictest41-21ksoftirqd/321:40:123
15417993834,2cyclictest41-21ksoftirqd/321:50:033
15416993828,3cyclictest33-21ksoftirqd/219:40:012
15416993828,3cyclictest33-21ksoftirqd/219:40:012
1541799374,7cyclictest41-21ksoftirqd/322:30:233
1541799373,6cyclictest41-21ksoftirqd/321:35:243
15417993731,3cyclictest41-21ksoftirqd/321:25:143
15417993731,3cyclictest41-21ksoftirqd/319:20:013
1541799372,5cyclictest41-21ksoftirqd/322:50:263
1541799372,5cyclictest41-21ksoftirqd/321:59:113
15417993720,8cyclictest41-21ksoftirqd/319:13:543
15417993718,4cyclictest41-21ksoftirqd/323:05:493
1541699379,4cyclictest33-21ksoftirqd/219:15:012
1541699376,4cyclictest33-21ksoftirqd/220:30:292
1541699375,7cyclictest33-21ksoftirqd/223:50:172
15416993733,2cyclictest33-21ksoftirqd/221:45:002
15416993732,3cyclictest33-21ksoftirqd/222:30:142
15416993732,3cyclictest33-21ksoftirqd/222:20:162
15416993732,2cyclictest33-21ksoftirqd/223:15:012
15416993731,3cyclictest33-21ksoftirqd/219:45:012
15416993731,3cyclictest33-21ksoftirqd/219:20:222
15416993731,3cyclictest33-21ksoftirqd/200:00:142
15416993725,3cyclictest33-21ksoftirqd/222:25:232
1541699370,35cyclictest18373-21kworker/2:120:25:242
15415993731,3cyclictest15125-21cron21:25:001
1541799364,6cyclictest41-21ksoftirqd/321:45:153
1541799364,6cyclictest41-21ksoftirqd/300:25:043
15417993631,3cyclictest41-21ksoftirqd/300:15:263
15417993621,4cyclictest41-21ksoftirqd/321:30:183
15416993632,3cyclictest33-21ksoftirqd/200:05:202
15416993632,2cyclictest33-21ksoftirqd/223:20:172
15416993631,3cyclictest33-21ksoftirqd/223:46:022
15416993631,3cyclictest33-21ksoftirqd/223:10:002
15416993631,3cyclictest33-21ksoftirqd/222:40:152
15416993631,3cyclictest33-21ksoftirqd/221:20:172
15416993631,3cyclictest33-21ksoftirqd/219:20:002
15416993630,3cyclictest33-21ksoftirqd/219:50:142
15415993631,3cyclictest25-21ksoftirqd/121:55:011
15415993631,3cyclictest25-21ksoftirqd/119:35:001
15417993530,3cyclictest41-21ksoftirqd/323:20:193
15417993529,4cyclictest41-21ksoftirqd/319:47:243
1541799352,6cyclictest41-21ksoftirqd/319:40:213
15417993523,3cyclictest41-21ksoftirqd/322:20:163
15417993522,4cyclictest41-21ksoftirqd/321:00:253
15417993521,4cyclictest41-21ksoftirqd/300:10:253
1541799352,10cyclictest41-21ksoftirqd/320:30:153
15417993519,4cyclictest41-21ksoftirqd/323:46:333
15416993530,3cyclictest33-21ksoftirqd/221:35:012
15416993530,3cyclictest33-21ksoftirqd/200:25:162
15416993530,3cyclictest33-21ksoftirqd/200:20:202
15416993530,2cyclictest33-21ksoftirqd/222:15:192
15416993529,4cyclictest33-21ksoftirqd/220:17:562
15416993529,3cyclictest33-21ksoftirqd/220:20:162
15414993529,4cyclictest9-21ksoftirqd/019:48:340
15417993429,3cyclictest41-21ksoftirqd/323:10:213
15417993427,4cyclictest41-21ksoftirqd/321:16:583
15416993430,2cyclictest33-21ksoftirqd/220:10:142
15416993429,3cyclictest33-21ksoftirqd/220:05:132
15416993428,3cyclictest33-21ksoftirqd/220:40:172
15415993428,4cyclictest25-21ksoftirqd/122:26:001
15414993428,4cyclictest9-21ksoftirqd/023:13:450
15414993428,4cyclictest9-21ksoftirqd/022:44:290
15417993329,3cyclictest41-21ksoftirqd/320:00:193
15417993328,3cyclictest41-21ksoftirqd/323:35:163
15417993328,3cyclictest41-21ksoftirqd/322:15:273
15417993328,3cyclictest41-21ksoftirqd/319:50:233
15417993327,4cyclictest41-21ksoftirqd/300:24:533
15417993313,3cyclictest41-21ksoftirqd/320:07:383
15416993330,2cyclictest33-21ksoftirqd/222:00:142
15415993327,4cyclictest25-21ksoftirqd/123:24:171
15415993327,4cyclictest25-21ksoftirqd/123:06:481
15415993327,4cyclictest25-21ksoftirqd/122:43:091
15415993327,4cyclictest25-21ksoftirqd/122:22:561
15415993327,4cyclictest25-21ksoftirqd/120:58:281
15415993327,4cyclictest25-21ksoftirqd/119:38:281
15415993327,4cyclictest25-21ksoftirqd/119:38:271
15415993326,5cyclictest25-21ksoftirqd/100:19:261
15415993326,4cyclictest25-21ksoftirqd/120:00:001
15414993327,4cyclictest9-21ksoftirqd/021:16:150
15417993227,3cyclictest41-21ksoftirqd/320:20:143
15415993226,4cyclictest25-21ksoftirqd/123:45:041
15415993226,4cyclictest25-21ksoftirqd/123:01:351
15415993226,4cyclictest25-21ksoftirqd/121:04:581
15415993226,4cyclictest25-21ksoftirqd/120:29:061
15415993226,4cyclictest25-21ksoftirqd/100:29:411
15414993228,3cyclictest9-21ksoftirqd/023:51:250
15414993227,3cyclictest9-21ksoftirqd/020:00:330
15414993227,3cyclictest9-21ksoftirqd/019:19:490
15414993226,4cyclictest9-21ksoftirqd/023:23:440
15414993226,4cyclictest9-21ksoftirqd/022:28:080
15414993226,4cyclictest9-21ksoftirqd/020:51:520
15414993226,4cyclictest9-21ksoftirqd/020:27:300
15414993226,4cyclictest9-21ksoftirqd/020:15:410
15414993226,4cyclictest9-21ksoftirqd/019:27:030
15414993226,3cyclictest9-21ksoftirqd/022:53:310
15417993125,4cyclictest41-21ksoftirqd/322:14:193
15415993126,3cyclictest25-21ksoftirqd/123:55:121
15415993125,4cyclictest25-21ksoftirqd/122:01:251
15415993125,4cyclictest25-21ksoftirqd/121:26:151
15415993125,4cyclictest25-21ksoftirqd/119:41:401
15415993125,4cyclictest25-21ksoftirqd/119:29:501
15415993125,4cyclictest25-21ksoftirqd/119:22:441
15415993124,5cyclictest25-21ksoftirqd/121:49:541
15415993124,5cyclictest25-21ksoftirqd/120:32:111
15414993126,3cyclictest9-21ksoftirqd/022:07:270
15414993126,3cyclictest9-21ksoftirqd/021:51:150
15414993126,3cyclictest9-21ksoftirqd/021:41:580
15414993125,4cyclictest9-21ksoftirqd/021:03:270
15414993125,4cyclictest9-21ksoftirqd/020:31:310
15414993125,4cyclictest9-21ksoftirqd/019:31:280
15414993125,4cyclictest9-21ksoftirqd/000:13:270
15414993125,4cyclictest9-21ksoftirqd/000:06:490
1541599305,15cyclictest25435-21grep22:50:271
15415993024,4cyclictest25-21ksoftirqd/123:38:341
15415993024,4cyclictest25-21ksoftirqd/120:42:181
15415993024,4cyclictest25-21ksoftirqd/119:48:461
15415993024,4cyclictest25-21ksoftirqd/119:16:181
15415993024,4cyclictest25-21ksoftirqd/100:37:351
15415993024,4cyclictest25-21ksoftirqd/100:32:501
15415993023,5cyclictest25-21ksoftirqd/122:05:461
15414993025,3cyclictest9-21ksoftirqd/023:40:130
15414993025,3cyclictest9-21ksoftirqd/023:32:350
15414993025,3cyclictest9-21ksoftirqd/023:28:160
15414993025,3cyclictest9-21ksoftirqd/023:28:160
15414993025,3cyclictest9-21ksoftirqd/021:32:170
15414993025,3cyclictest9-21ksoftirqd/021:27:190
15414993025,3cyclictest9-21ksoftirqd/021:24:260
15414993025,3cyclictest9-21ksoftirqd/020:38:490
15414993025,3cyclictest9-21ksoftirqd/020:09:310
15414993025,3cyclictest9-21ksoftirqd/019:20:470
15414993025,3cyclictest9-21ksoftirqd/000:40:010
15414993024,4cyclictest9-21ksoftirqd/023:36:400
15414993024,4cyclictest9-21ksoftirqd/022:57:410
15414993024,4cyclictest9-21ksoftirqd/021:55:590
15414993024,4cyclictest9-21ksoftirqd/020:57:250
15417992914,5cyclictest41-21ksoftirqd/323:30:183
15415992923,4cyclictest25-21ksoftirqd/123:54:131
15415992923,4cyclictest25-21ksoftirqd/123:29:551
15415992923,4cyclictest25-21ksoftirqd/123:29:551
15415992923,4cyclictest25-21ksoftirqd/122:55:381
15415992923,4cyclictest25-21ksoftirqd/120:36:201
15415992923,4cyclictest25-21ksoftirqd/120:22:121
15415992923,4cyclictest25-21ksoftirqd/119:51:271
15414992924,3cyclictest9-21ksoftirqd/019:35:380
15414992924,3cyclictest9-21ksoftirqd/019:35:370
15414992924,3cyclictest9-21ksoftirqd/000:22:540
15414992923,4cyclictest9-21ksoftirqd/023:06:430
15414992923,4cyclictest9-21ksoftirqd/020:44:230
15414992923,4cyclictest9-21ksoftirqd/000:29:320
15414992923,4cyclictest9-21ksoftirqd/000:03:240
15414992922,5cyclictest9-21ksoftirqd/000:34:450
15414992922,4cyclictest9-21ksoftirqd/022:12:150
15415992823,3cyclictest25-21ksoftirqd/123:13:291
15415992823,3cyclictest25-21ksoftirqd/122:15:251
15415992823,3cyclictest25-21ksoftirqd/121:15:171
15414992823,3cyclictest9-21ksoftirqd/023:04:390
15414992823,3cyclictest9-21ksoftirqd/022:23:420
15414992823,3cyclictest9-21ksoftirqd/021:46:040
15414992822,4cyclictest9-21ksoftirqd/023:46:320
15414992822,4cyclictest9-21ksoftirqd/019:53:280
15414992822,4cyclictest9-21ksoftirqd/019:12:120
15414992822,4cyclictest9-21ksoftirqd/000:16:080
15415992721,4cyclictest25-21ksoftirqd/120:08:091
15414992723,3cyclictest9-21ksoftirqd/020:46:250
15414992722,3cyclictest9-21ksoftirqd/021:09:590
15414992722,3cyclictest9-21ksoftirqd/020:22:400
15414992721,4cyclictest9-21ksoftirqd/022:35:580
15415992620,4cyclictest25-21ksoftirqd/122:13:051
15415992620,4cyclictest25-21ksoftirqd/100:03:251
15415992519,4cyclictest25-21ksoftirqd/121:10:391
15415992519,4cyclictest25-21ksoftirqd/100:22:351
15414992520,3cyclictest9-21ksoftirqd/023:20:010
15414992520,3cyclictest9-21ksoftirqd/022:48:560
15414992520,3cyclictest9-21ksoftirqd/022:32:200
15414992519,4cyclictest9-21ksoftirqd/022:18:020
15414992519,4cyclictest9-21ksoftirqd/019:58:010
15415992418,4cyclictest25-21ksoftirqd/123:19:561
15415992418,4cyclictest25-21ksoftirqd/121:30:481
15415992418,4cyclictest25-21ksoftirqd/120:49:281
15415992418,4cyclictest25-21ksoftirqd/120:17:281
15414992419,3cyclictest9-21ksoftirqd/023:55:200
15415992318,3cyclictest25-21ksoftirqd/121:35:211
15415992317,4cyclictest25-21ksoftirqd/119:12:331
15414992318,3cyclictest9-21ksoftirqd/021:12:130
15415992216,4cyclictest25-21ksoftirqd/122:38:521
15414992217,3cyclictest9-21ksoftirqd/021:36:510
1541599219,9cyclictest6802-1kworker/1:1H23:30:051
15414992116,3cyclictest9-21ksoftirqd/022:04:540
15414992015,3cyclictest12974-21irqstats20:10:190
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional