You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-13 - 06:25
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot3.osadl.org (updated Wed Nov 12, 2025 12:45:45)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
137191201168,22phc2sys0-21swapper/307:09:553
60742199165,23sleep20-21swapper/207:07:372
61782196164,21sleep10-21swapper/107:08:551
61772188154,23sleep00-21swapper/007:08:550
2656821630,6sleep1656699cyclictest10:05:191
136991760,0ptp4l391rcuc/307:20:263
6566997012,56cyclictest13518-21kworker/1:010:31:071
6567996624,10cyclictest33-21ksoftirqd/211:30:162
6565996531,6cyclictest9-21ksoftirqd/008:30:000
6565996531,5cyclictest9-21ksoftirqd/011:29:590
6565996529,4cyclictest9-21ksoftirqd/011:00:000
6565996428,5cyclictest9-21ksoftirqd/009:05:010
6565996422,5cyclictest9-21ksoftirqd/012:10:200
656699630,26cyclictest19868-21missed_timers09:50:221
656699630,22cyclictest1563-21tune2fs12:35:161
656699630,20cyclictest22483-21cpuspeed_turbos11:05:161
6565996330,6cyclictest9-21ksoftirqd/009:00:000
6565996325,6cyclictest9-21ksoftirqd/009:40:000
6567996230,7cyclictest33-21ksoftirqd/209:10:152
656699628,22cyclictest28236-21mailstats09:00:251
656699620,26cyclictest6411-21/usr/sbin/munin09:25:241
656699620,22cyclictest31217-21cut08:00:201
6565996228,6cyclictest9-21ksoftirqd/009:20:000
6568996126,6cyclictest41-21ksoftirqd/311:15:183
6567996130,7cyclictest33-21ksoftirqd/212:20:262
6567996129,7cyclictest33-21ksoftirqd/209:25:142
6567996129,7cyclictest33-21ksoftirqd/209:05:282
6567996129,6cyclictest33-21ksoftirqd/208:50:002
6567996128,7cyclictest33-21ksoftirqd/208:37:382
6567996127,5cyclictest33-21ksoftirqd/210:50:222
6567996121,10cyclictest33-21ksoftirqd/207:25:292
656699611,23cyclictest26452-21sed07:50:201
656699611,23cyclictest26452-21sed07:50:201
656699611,20cyclictest5507-21latency11:35:201
656699611,19cyclictest10020-21/usr/sbin/munin08:25:181
6566996111,18cyclictest19464-21sed08:45:011
6565996129,7cyclictest9-21ksoftirqd/007:55:010
6565996129,7cyclictest9-21ksoftirqd/007:55:010
6565996126,4cyclictest9-21ksoftirqd/010:00:200
258622610,3sleep20-21swapper/211:10:232
151802610,5sleep1656699cyclictest11:55:221
6567996028,7cyclictest33-21ksoftirqd/207:15:142
656699603,24cyclictest25638-21systemctl08:55:261
656699601,19cyclictest2257-21gnome-shell10:20:271
235482600,2sleep10-21swapper/110:00:131
6568995930,4cyclictest41-21ksoftirqd/311:53:483
6568995925,7cyclictest41-21ksoftirqd/311:35:183
6568995924,3cyclictest41-21ksoftirqd/311:05:143
6567995927,7cyclictest33-21ksoftirqd/212:15:192
6567995927,7cyclictest33-21ksoftirqd/209:30:242
6567995926,8cyclictest33-21ksoftirqd/212:05:152
656699590,23cyclictest8146-21basename08:20:171
656699590,21cyclictest23021-21systemctl12:10:251
656699590,20cyclictest14470-21iostat09:40:181
6565995927,6cyclictest9-21ksoftirqd/012:10:020
6565995927,4cyclictest9-21ksoftirqd/010:40:010
6565995923,7cyclictest9-21ksoftirqd/010:10:280
6568995829,4cyclictest41-21ksoftirqd/307:35:223
6567995828,7cyclictest33-21ksoftirqd/212:30:252
6567995828,4cyclictest33-21ksoftirqd/212:35:142
6567995827,7cyclictest33-21ksoftirqd/210:05:142
656699580,28cyclictest16325-21sed10:50:231
656699580,21cyclictest30631-21mailstats09:05:251
656699580,20cyclictest3419-21df_abs10:25:151
6565995827,8cyclictest9-21ksoftirqd/011:55:010
6565995827,6cyclictest9-21ksoftirqd/010:30:010
6565995826,4cyclictest9-21ksoftirqd/008:30:150
6565995826,3cyclictest9-21ksoftirqd/011:24:590
6565995823,5cyclictest9-21ksoftirqd/010:25:000
6565995822,6cyclictest9-21ksoftirqd/007:20:000
6565995818,7cyclictest9-21ksoftirqd/007:40:140
6568995726,6cyclictest41-21ksoftirqd/311:45:263
6568995725,4cyclictest41-21ksoftirqd/308:55:013
6568995717,8cyclictest41-21ksoftirqd/312:09:523
6567995728,4cyclictest33-21ksoftirqd/207:52:492
6567995728,4cyclictest33-21ksoftirqd/207:52:492
6567995726,7cyclictest33-21ksoftirqd/208:30:012
656699571,24cyclictest5706-21hddtemp_smartct08:15:141
656699571,19cyclictest31140-21python11:20:251
6565995726,6cyclictest9-21ksoftirqd/011:55:310
6565995725,5cyclictest9-21ksoftirqd/012:15:190
6565995725,4cyclictest9-21ksoftirqd/008:45:250
6565995723,4cyclictest9-21ksoftirqd/007:25:260
6565995722,7cyclictest9-21ksoftirqd/010:15:250
6568995629,8cyclictest41-21ksoftirqd/309:40:173
6568995628,4cyclictest41-21ksoftirqd/311:15:003
6568995626,4cyclictest41-21ksoftirqd/310:55:183
6568995621,6cyclictest41-21ksoftirqd/311:40:173
6568995619,4cyclictest41-21ksoftirqd/312:22:313
6567995627,4cyclictest33-21ksoftirqd/208:55:212
656699560,21cyclictest13952-21cat08:30:261
656699560,20cyclictest16690-21/usr/sbin/munin12:00:181
656699560,19cyclictest9377-21df_abs07:15:161
656699560,19cyclictest30181-21taskset12:25:241
6565995626,5cyclictest9-21ksoftirqd/009:10:240
6565995626,4cyclictest9-21ksoftirqd/007:35:240
6565995626,4cyclictest9-21ksoftirqd/007:30:170
6565995625,5cyclictest9-21ksoftirqd/011:00:190
6565995624,4cyclictest9-21ksoftirqd/010:50:140
6565995624,4cyclictest9-21ksoftirqd/010:40:150
6565995623,4cyclictest9-21ksoftirqd/012:05:020
6565995621,7cyclictest9-21ksoftirqd/011:45:000
6565995620,7cyclictest9-21ksoftirqd/009:55:180
6565995619,6cyclictest9-21ksoftirqd/007:10:180
264712560,2sleep10-21swapper/111:10:291
6568995528,8cyclictest41-21ksoftirqd/309:30:163
6568995523,9cyclictest41-21ksoftirqd/308:35:203
6568995523,7cyclictest41-21ksoftirqd/308:10:233
6567995529,4cyclictest33-21ksoftirqd/209:24:592
6567995527,3cyclictest33-21ksoftirqd/211:45:302
6567995527,3cyclictest33-21ksoftirqd/209:00:012
6567995522,7cyclictest33-21ksoftirqd/211:05:192
6567995521,4cyclictest33-21ksoftirqd/210:00:152
656699551,25cyclictest1329-21unixbench_multi11:25:261
656699551,20cyclictest326-21/usr/sbin/munin08:05:291
6565995526,7cyclictest9-21ksoftirqd/012:30:160
6565995524,6cyclictest9-21ksoftirqd/011:30:250
6565995523,6cyclictest9-21ksoftirqd/011:15:170
6565995523,6cyclictest9-21ksoftirqd/010:45:270
6565995523,4cyclictest9-21ksoftirqd/008:00:010
6565995522,4cyclictest9-21ksoftirqd/011:35:160
6565995521,8cyclictest9-21ksoftirqd/008:10:160
6565995521,6cyclictest9-21ksoftirqd/010:05:130
6565995521,6cyclictest9-21ksoftirqd/009:30:140
6565995521,6cyclictest9-21ksoftirqd/008:40:120
6565995521,4cyclictest9-21ksoftirqd/008:20:200
6565995519,7cyclictest9-21ksoftirqd/009:40:280
6565995518,4cyclictest9-21ksoftirqd/010:31:510
6565995517,5cyclictest9-21ksoftirqd/008:00:460
6567995441,3cyclictest33-21ksoftirqd/207:40:002
6567995426,8cyclictest33-21ksoftirqd/208:30:192
6567995426,7cyclictest33-21ksoftirqd/207:40:252
6567995426,3cyclictest33-21ksoftirqd/208:40:182
6567995424,5cyclictest33-21ksoftirqd/211:50:152
656699540,24cyclictest12513-21ls07:20:221
656699540,19cyclictest26633-21taskset12:20:141
6565995429,8cyclictest9-21ksoftirqd/009:05:180
6565995426,4cyclictest9-21ksoftirqd/008:15:240
6565995424,4cyclictest9-21ksoftirqd/011:45:210
6565995424,4cyclictest9-21ksoftirqd/009:45:180
6565995423,7cyclictest9-21ksoftirqd/008:35:130
6565995423,4cyclictest9-21ksoftirqd/007:20:260
6565995422,7cyclictest9-21ksoftirqd/008:05:290
6565995422,4cyclictest9-21ksoftirqd/012:30:000
6565995417,7cyclictest9-21ksoftirqd/012:20:160
656899535,9cyclictest41-21ksoftirqd/312:30:193
656799535,19cyclictest33-21ksoftirqd/208:25:002
6567995325,4cyclictest33-21ksoftirqd/209:50:172
6567995324,4cyclictest33-21ksoftirqd/209:35:202
6567995320,7cyclictest33-21ksoftirqd/211:20:272
6567995320,5cyclictest33-21ksoftirqd/210:10:152
6565995325,7cyclictest9-21ksoftirqd/011:05:250
6565995320,7cyclictest9-21ksoftirqd/007:45:200
228942530,5sleep122896-21latency08:50:211
6568995235,3cyclictest41-21ksoftirqd/311:05:003
6568995224,8cyclictest41-21ksoftirqd/308:45:133
6568995219,4cyclictest41-21ksoftirqd/311:35:003
6568995219,2cyclictest41-21ksoftirqd/307:30:163
6567995227,3cyclictest33-21ksoftirqd/210:49:522
6567995225,8cyclictest33-21ksoftirqd/209:55:152
6567995221,6cyclictest33-21ksoftirqd/210:30:242
6567995220,5cyclictest33-21ksoftirqd/208:05:162
656699520,19cyclictest18523-21/usr/sbin/munin07:35:141
6565995221,7cyclictest9-21ksoftirqd/009:50:280
6565995219,5cyclictest9-21ksoftirqd/009:24:590
6565995218,4cyclictest9-21ksoftirqd/011:10:270
656899513,2cyclictest121rcu_preempt09:10:003
6568995124,9cyclictest41-21ksoftirqd/308:40:173
6568995121,3cyclictest41-21ksoftirqd/311:55:213
6568995113,9cyclictest41-21ksoftirqd/307:40:253
6567995141,2cyclictest33-21ksoftirqd/211:05:002
6567995140,3cyclictest33-21ksoftirqd/211:00:002
6567995124,4cyclictest33-21ksoftirqd/210:40:172
6567995121,9cyclictest33-21ksoftirqd/209:45:232
6567995121,3cyclictest33-21ksoftirqd/208:00:262
6567995120,4cyclictest33-21ksoftirqd/211:40:172
656699511,19cyclictest21212-21df07:40:141
656699511,18cyclictest10276-21irqstats11:45:221
656699510,18cyclictest28424-21df_inode07:55:181
6565995118,7cyclictest9-21ksoftirqd/009:25:140
6565995118,5cyclictest9-21ksoftirqd/008:50:220
6568995020,4cyclictest41-21ksoftirqd/309:22:203
6567995037,3cyclictest33-21ksoftirqd/212:30:002
6567995034,4cyclictest33-21ksoftirqd/211:40:002
6567995029,10cyclictest33-21ksoftirqd/211:20:002
6567995027,11cyclictest33-21ksoftirqd/211:55:182
6567995021,4cyclictest33-21ksoftirqd/210:25:172
6567995018,7cyclictest33-21ksoftirqd/207:20:162
656799500,5cyclictest18836-21sh12:05:012
6568994938,3cyclictest41-21ksoftirqd/312:20:003
6568994927,3cyclictest41-21ksoftirqd/310:15:003
6568994925,7cyclictest41-21ksoftirqd/310:20:223
6568994924,2cyclictest41-21ksoftirqd/307:49:193
6567994924,3cyclictest33-21ksoftirqd/210:40:002
656699491,25cyclictest4706-21ps09:20:211
6568994822,3cyclictest41-21ksoftirqd/308:30:133
6568994819,4cyclictest41-21ksoftirqd/307:25:223
6567994818,8cyclictest33-21ksoftirqd/207:30:112
656699480,18cyclictest28971-21ls11:15:281
6565994819,5cyclictest9-21ksoftirqd/012:35:210
656899477,3cyclictest41-21ksoftirqd/308:24:593
656899477,11cyclictest41-21ksoftirqd/311:20:173
6568994714,9cyclictest41-21ksoftirqd/309:55:003
656799477,3cyclictest33-21ksoftirqd/210:20:162
6567994734,4cyclictest33-21ksoftirqd/208:20:012
6567994731,4cyclictest33-21ksoftirqd/207:45:122
656799470,6cyclictest121rcu_preempt09:40:212
656899466,9cyclictest41-21ksoftirqd/312:00:133
656899463,5cyclictest41-21ksoftirqd/309:25:293
6568994629,3cyclictest41-21ksoftirqd/310:19:593
6568994622,3cyclictest41-21ksoftirqd/310:48:093
6567994628,5cyclictest33-21ksoftirqd/209:15:282
6567994627,3cyclictest33-21ksoftirqd/208:50:152
656799462,2cyclictest33-21ksoftirqd/208:00:002
6567994618,4cyclictest33-21ksoftirqd/208:10:172
6568994528,7cyclictest41-21ksoftirqd/309:00:143
6568994528,4cyclictest41-21ksoftirqd/311:25:133
6568994527,4cyclictest41-21ksoftirqd/309:55:163
6568994525,6cyclictest41-21ksoftirqd/307:10:273
6568994517,3cyclictest41-21ksoftirqd/307:55:293
656799459,4cyclictest33-21ksoftirqd/210:15:252
6567994531,4cyclictest33-21ksoftirqd/212:10:012
656799450,6cyclictest33-21ksoftirqd/207:10:192
656899446,7cyclictest41-21ksoftirqd/310:35:133
6568994427,4cyclictest41-21ksoftirqd/308:05:283
6568994426,8cyclictest41-21ksoftirqd/310:40:223
6568994425,3cyclictest41-21ksoftirqd/310:05:483
6568994410,4cyclictest41-21ksoftirqd/308:25:233
6567994427,6cyclictest33-21ksoftirqd/211:25:212
6568994329,3cyclictest41-21ksoftirqd/308:55:143
6568994328,4cyclictest41-21ksoftirqd/312:10:193
6568994318,3cyclictest41-21ksoftirqd/309:48:533
656699431,18cyclictest0-21swapper/110:20:001
6568994229,3cyclictest41-21ksoftirqd/307:55:013
6568994229,3cyclictest41-21ksoftirqd/307:55:003
656899422,6cyclictest41-21ksoftirqd/312:35:173
6568994224,8cyclictest41-21ksoftirqd/308:00:283
656899420,6cyclictest41-21ksoftirqd/307:15:163
656899420,5cyclictest41-21ksoftirqd/310:25:163
6566994210,17cyclictest2060-21fschecks_time09:15:171
656699420,18cyclictest0-21swapper/111:45:001
656899413,2cyclictest41-21ksoftirqd/309:35:003
656899412,2cyclictest121rcu_preempt09:10:143
6568994026,4cyclictest41-21ksoftirqd/310:50:143
656899402,2cyclictest121rcu_preempt08:15:143
656699401,18cyclictest0-21swapper/107:25:261
656899393,2cyclictest121rcu_preempt10:30:203
6568993924,3cyclictest41-21ksoftirqd/310:00:213
656899391,8cyclictest41-21ksoftirqd/309:15:153
656899391,5cyclictest41-21ksoftirqd/312:25:193
656699380,28cyclictest223-21systemd-journal08:38:111
656699380,23cyclictest7726-21netstat07:10:241
656699371,20cyclictest12263-21df_abs11:50:151
656699370,26cyclictest0-21swapper/108:45:171
656699370,21cyclictest14915-21cat10:50:011
656699370,20cyclictest25291-21taskset07:48:341
656699361,18cyclictest0-21swapper/109:10:161
656699360,20cyclictest3889-21unixbench_singl11:30:271
656699351,17cyclictest0-21swapper/109:35:171
656699350,24cyclictest0-21swapper/110:35:251
6566993428,4cyclictest25-21ksoftirqd/111:04:191
6566993427,4cyclictest25-21ksoftirqd/109:57:581
6566993420,12cyclictest25-21ksoftirqd/110:55:111
656699341,18cyclictest0-21swapper/108:15:011
656699340,16cyclictest0-21swapper/110:40:111
656699330,20cyclictest29667-21mailstats10:10:271
656699330,18cyclictest9086-21apache209:31:011
6566993226,3cyclictest25-21ksoftirqd/107:30:371
656699320,17cyclictest0-21swapper/112:05:201
6566992923,4cyclictest25-21ksoftirqd/112:34:301
6566992722,3cyclictest25-21ksoftirqd/109:46:091
656699272,22cyclictest24534-21hddtemp_smartct12:15:161
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional