You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-17 - 23:40

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Wed Jun 17, 2026 12:43:30)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
410928399532,45cyclictest4177580-21ssh10:00:332
4109283995228,21cyclictest0-21swapper/212:40:002
4109283995228,21cyclictest0-21swapper/212:40:002
4109283995224,4cyclictest0-21swapper/212:30:242
4109283995224,4cyclictest0-21swapper/212:30:242
4109283995127,20cyclictest485-21in:imuxsock11:00:012
4109283994936,9cyclictest1003-21mta-sts-daemon12:00:302
4109283994936,9cyclictest1003-21mta-sts-daemon12:00:302
4109283994923,3cyclictest0-21swapper/211:45:372
4109283994921,5cyclictest0-21swapper/209:05:012
4109282994942,3cyclictest0-21swapper/108:35:561
4109281994941,5cyclictest41403-21cron11:35:010
4109283994826,19cyclictest63134-21systemd-run12:10:012
4109283994736,7cyclictest4125797-21systemd-run08:05:012
4109283994726,17cyclictest0-21swapper/211:33:442
410928399472,38cyclictest27027-21ssh11:10:322
4109283994723,4cyclictest64758-21unixbench_singl12:10:382
4109283994722,5cyclictest4165076-21ntp_kernel_pll_09:40:262
4109283994721,4cyclictest4107893-21kworker/u8:1-rpciod08:35:562
4109283994636,7cyclictest45598-21ntpq11:40:312
4109283994519,3cyclictest0-21swapper/211:15:292
4109283994436,3cyclictest0-21swapper/212:25:312
4109283994436,3cyclictest0-21swapper/212:25:312
4109281994438,4cyclictest7252-21munin-run10:40:010
4109283994322,4cyclictest13499-21systemd-run10:50:012
4109282994335,5cyclictest1-21systemd07:10:011
4109282994334,6cyclictest421-21dbus-daemon11:55:021
4109282994334,5cyclictest4165430-21xargs09:40:361
410928399424,29cyclictest20775-21ssh11:00:312
4109283994133,5cyclictest4127288-21systemd-run08:10:022
4109282994133,5cyclictest1-21systemd10:20:011
4109282994132,6cyclictest35206-21idleruntime-cro11:25:011
4109282994131,8cyclictest73111-21sh12:25:211
4109282994131,8cyclictest73111-21sh12:25:211
410928399404,12cyclictest5310-21ssh10:35:352
4109283994031,6cyclictest4174267-21needreboot09:55:242
4109283994031,6cyclictest4174267-21needreboot09:55:242
4109283994030,6cyclictest8232-21sshd10:40:232
4109281994033,5cyclictest3313177-21cups-browsed08:45:020
4109281994030,4cyclictest1001-21mta-sts-daemon08:05:310
4109283993932,4cyclictest4269-21latency_hist10:35:022
4109283993931,5cyclictest4157814-21latency_hist09:30:022
4109282993932,4cyclictest1002-21mta-sts-daemon10:40:311
4109282993931,5cyclictest4189440-21cut10:20:201
4109281993931,5cyclictest70677-21switchtime12:20:380
4109281993931,5cyclictest70677-21switchtime12:20:380
4109281993929,7cyclictest421-21dbus-daemon10:30:010
4109283993831,4cyclictest69326-21sendmail12:20:002
4109283993831,4cyclictest69326-21sendmail12:20:002
4109283993826,9cyclictest4132579-21needreboot08:25:262
410928399382,30cyclictest4161983-21ssh09:35:302
4109282993830,5cyclictest4156277-21unixbench_singl09:25:381
4109282993829,6cyclictest3313177-21cups-browsed10:13:421
4109282993828,6cyclictest421-21dbus-daemon11:45:011
4109281993831,5cyclictest0-21swapper/012:20:010
4109281993831,5cyclictest0-21swapper/012:20:010
4109281993831,4cyclictest0-21swapper/011:25:010
4109281993830,5cyclictest3313177-21cups-browsed11:40:310
4109281993829,7cyclictest0-21swapper/011:00:010
4109281993823,12cyclictest4124307-21latency_hist08:00:020
4109283993731,4cyclictest0-21swapper/209:50:282
4109283993729,5cyclictest4137768-21latency_hist08:45:012
4109282993732,2cyclictest0-21swapper/110:30:011
4109282993730,4cyclictest4174962-21grep09:55:381
4109282993730,4cyclictest4174962-21grep09:55:381
4109282993730,4cyclictest19668-21ssh11:00:011
4109282993729,5cyclictest4112803-21fschecks_count07:20:201
4109282993728,6cyclictest421-21dbus-daemon08:20:021
4109282993727,7cyclictest4142285-21sh09:00:011
4109281993730,4cyclictest4121170-21tail07:45:380
4109281993730,4cyclictest12650irq/32-eth009:25:290
4109281993729,6cyclictest4160902-21/usr/sbin/munin09:35:020
410928399363,27cyclictest4152707-21ssh09:20:372
4109283993629,4cyclictest1002-21mta-sts-daemon10:05:312
4109283993628,5cyclictest4110781-21systemd-run07:15:012
4109283993625,8cyclictest4168528-21switchtime09:45:402
4109282993629,3cyclictest0-21swapper/112:15:251
4109282993629,3cyclictest0-21swapper/112:15:251
4109282993629,3cyclictest0-21swapper/111:30:251
4109282993629,3cyclictest0-21swapper/110:40:011
410928299362,25cyclictest3313177-21cups-browsed11:05:261
4109283993527,5cyclictest4148386-21cron09:15:012
4109283993526,6cyclictest421-21dbus-daemon07:30:012
4109282993530,2cyclictest0-21swapper/111:40:011
4109282993527,5cyclictest4138280-21fschecks_count08:45:231
4109282993527,5cyclictest4131779-21cut08:25:011
4109282993526,6cyclictest69644-21/usr/sbin/munin12:20:341
4109282993526,6cyclictest69644-21/usr/sbin/munin12:20:341
4109282993526,6cyclictest4116782-21systemd-run07:35:011
4109282993526,6cyclictest4116782-21systemd-run07:35:011
4109282993523,8cyclictest0-21swapper/111:00:321
410928299352,25cyclictest4161887-21sh09:35:271
410928299351,26cyclictest48636-21ssh11:45:271
4109281993528,5cyclictest421-21dbus-daemon12:31:240
4109281993528,5cyclictest421-21dbus-daemon12:31:240
4109281993514,18cyclictest51838-21ssh11:50:340
4109283993427,4cyclictest4188804-21munin-run10:20:012
4109283993426,5cyclictest4190445-21unixbench_singl10:20:392
4109283993422,9cyclictest4193533-21unixbench_singl10:25:392
4109282993426,5cyclictest64732-21unixbench_singl12:10:381
4109282993426,5cyclictest4159-21cut10:35:011
4109282993425,5cyclictest60940-21ssh12:05:241
4109281993428,4cyclictest4149307-21grep09:15:220
4109281993428,4cyclictest27533-21sed11:10:400
4109281993428,4cyclictest20786-21ntp_offset11:00:310
410928199342,23cyclictest8387-21ssh10:40:290
4109281993420,3cyclictest171rcu_preempt08:35:470
410928199341,26cyclictest64161-21ssh12:10:270
4109283993325,5cyclictest4118790-21fschecks_count07:40:192
4109282993324,6cyclictest0-21swapper/110:55:011
4109281993324,6cyclictest29867-21missed_timers11:15:230
4109283993228,2cyclictest0-21swapper/209:00:012
4109283993224,5cyclictest54244-21aten_r2power_po11:55:172
4109283993224,5cyclictest4145272-21ssh09:10:012
4109283993223,6cyclictest439-21systemd-logind08:50:022
4109283993222,7cyclictest4158961-21open_inodes09:30:352
4109282993225,4cyclictest0-21swapper/109:15:261
4109282993224,5cyclictest0-21swapper/108:10:331
4109282993224,4cyclictest0-21swapper/110:00:251
410928199324,24cyclictest73409-21ssh12:25:250
410928199324,24cyclictest73409-21ssh12:25:250
410928199324,24cyclictest61087-21ssh12:05:290
4109281993224,4cyclictest12650irq/32-eth010:30:310
4109281993223,7cyclictest4146757-21sh09:10:390
4109281993222,7cyclictest4189582-21kernelversion10:20:220
4109281993220,8cyclictest12650irq/32-eth010:50:320
4109281993219,10cyclictest0-21swapper/009:35:180
4109283993125,3cyclictest0-21swapper/211:35:292
4109283993124,4cyclictest0-21swapper/207:20:012
4109283993121,7cyclictest36129-21needreboot11:25:242
410928299313,16cyclictest26878-21ssh11:10:261
4109282993126,3cyclictest0-21swapper/112:40:001
4109282993126,3cyclictest0-21swapper/112:40:001
4109282993124,5cyclictest4153002-21timerandwakeup09:20:431
4109282993124,4cyclictest1003-21mta-sts-daemon09:30:201
4109282993123,5cyclictest4137172-21ntp_kernel_pll_08:41:011
4109282993120,8cyclictest4132611-21ntp_kernel_err08:25:271
4109281993125,4cyclictest4184197-21head10:10:380
4109281993125,4cyclictest4181134-21sed10:05:490
4109281993125,4cyclictest4113798-21systemd-run07:25:010
4109281993124,4cyclictest4176422-21cron10:00:010
4109281993124,4cyclictest4176422-21cron10:00:010
4109281993118,10cyclictest0-21swapper/009:20:440
4109281993116,13cyclictest151ktimers/007:35:300
4109281993116,13cyclictest151ktimers/007:35:300
4109281993113,13cyclictest4186807-21sh10:15:310
4109283993023,4cyclictest4140772-21systemd-run08:55:012
4109283993023,4cyclictest0-21swapper/208:25:012
4109283993022,3cyclictest0-21swapper/212:20:272
4109283993022,3cyclictest0-21swapper/212:20:272
4109282993024,3cyclictest0-21swapper/107:35:211
4109282993024,3cyclictest0-21swapper/107:35:211
4109282993023,3cyclictest0-21swapper/111:25:261
4109282993021,6cyclictest3313177-21cups-browsed08:50:221
4109282993021,4cyclictest0-21swapper/112:00:301
4109282993021,4cyclictest0-21swapper/112:00:301
4109282993020,7cyclictest54200-21basename11:55:171
4109282993020,6cyclictest0-21swapper/108:10:021
4109281993024,4cyclictest4110781-21systemd-run07:15:010
4109281993023,5cyclictest3313177-21cups-browsed12:38:350
4109281993023,5cyclictest3313177-21cups-browsed12:38:350
4109281993023,4cyclictest4170595-21aten_r2power_en09:50:170
410928199302,20cyclictest57972-21ssh12:00:300
410928199302,20cyclictest57972-21ssh12:00:300
4109281993021,7cyclictest0-21swapper/011:35:160
4109281993019,8cyclictest12650irq/32-eth009:40:260
4109281993019,2cyclictest0-21swapper/011:45:180
410928199301,5cyclictest171rcu_preempt08:25:280
4109283992923,3cyclictest0-21swapper/209:20:012
4109283992923,3cyclictest0-21swapper/207:50:162
410928399291,20cyclictest33204-21sh11:20:302
4109282992924,2cyclictest0-21swapper/110:10:011
4109281992919,6cyclictest12750irq/33-eth010:45:270
4109281992918,9cyclictest4177848-21ssh10:00:380
4109281992918,9cyclictest151ktimers/009:45:310
410928199291,4cyclictest171rcu_preempt07:40:270
410928399282,19cyclictest14505-21ssh10:50:282
4109283992820,5cyclictest1-21systemd07:10:022
4109283992819,6cyclictest3313177-21cups-browsed11:50:052
4109283992819,6cyclictest3313177-21cups-browsed07:23:172
410928299285,19cyclictest750-21ntpd07:50:271
410928299282,21cyclictest30003-21ssh11:15:281
4109282992820,3cyclictest0-21swapper/109:50:261
4109282992820,3cyclictest0-21swapper/109:10:331
4109282992819,6cyclictest421-21dbus-daemon07:45:341
4109282992819,6cyclictest4145256-21cron09:10:011
4109282992814,11cyclictest3313177-21cups-browsed07:42:431
4109282992814,10cyclictest4170231-21idleruntime-cro09:50:011
410928299281,22cyclictest11389-21ssh10:45:271
410928199287,17cyclictest151ktimers/008:00:320
4109281992823,3cyclictest0-21swapper/007:20:010
4109281992821,5cyclictest0-21swapper/011:55:240
4109281992818,7cyclictest151ktimers/011:05:280
4109281992817,2cyclictest0-21swapper/009:10:010
4109283992721,3cyclictest0-21swapper/207:35:292
4109283992721,3cyclictest0-21swapper/207:35:292
4109283992718,6cyclictest24427-21sed11:05:392
410928399271,21cyclictest4183778-21rm10:10:332
4109283992712,10cyclictest1002-21mta-sts-daemon08:15:302
4109282992717,7cyclictest4115121-21unixbench-2d07:25:381
4109281992716,9cyclictest151ktimers/008:10:270
4109283992619,3cyclictest0-21swapper/207:30:332
4109283992619,3cyclictest0-21swapper/207:30:332
4109283992617,6cyclictest4120069-21aten2.4-expect07:45:172
410928299264,14cyclictest76499-21ssh12:30:241
410928299264,14cyclictest76499-21ssh12:30:241
4109282992621,4cyclictest4109280-21cyclictest09:00:241
4109282992619,4cyclictest4134748-21cron08:35:011
4109282992619,4cyclictest4124232-21kworker/u8:5-xprtiod07:58:431
4109281992622,2cyclictest0-21swapper/008:20:010
4109281992620,3cyclictest0-21swapper/011:29:230
4109281992618,6cyclictest4141625-21ntp_kernel_pll_08:55:260
4109281992618,5cyclictest3313177-21cups-browsed07:50:380
4109283992518,4cyclictest0-21swapper/208:00:012
4109282992519,3cyclictest0-21swapper/108:00:381
4109282992519,3cyclictest0-21swapper/107:15:011
4109281992520,3cyclictest4133625-21aten_r2power_po08:30:180
4109281992520,2cyclictest0-21swapper/008:45:290
4109281992519,3cyclictest0-21swapper/009:00:220
4109281992418,4cyclictest3313177-21cups-browsed07:25:510
4109281992418,3cyclictest0-21swapper/007:30:330
4109281992418,3cyclictest0-21swapper/007:30:330
4109283992317,3cyclictest0-21swapper/208:35:012
410928399231,18cyclictest4127871-21awk08:10:222
410928199235,13cyclictest12650irq/32-eth008:20:320
410928199234,12cyclictest151ktimers/008:50:280
410928499222,10cyclictest0-21swapper/312:10:283
410928499203,11cyclictest0-21swapper/312:35:273
410928499203,11cyclictest0-21swapper/312:35:273
4109282992013,3cyclictest0-21swapper/107:15:271
4109281992016,2cyclictest0-21swapper/007:10:020
410928499192,9cyclictest0-21swapper/309:35:273
410928499192,8cyclictest0-21swapper/308:50:333
410928499191,9cyclictest0-21swapper/311:05:263
410928499191,10cyclictest0-21swapper/308:35:573
410928499184,6cyclictest0-21swapper/310:50:343
410928499183,8cyclictest0-21swapper/312:30:283
410928499183,8cyclictest0-21swapper/312:30:283
410928499183,8cyclictest0-21swapper/310:00:263
410928499183,8cyclictest0-21swapper/309:20:383
410928499182,9cyclictest0-21swapper/310:35:333
410928499182,8cyclictest0-21swapper/309:40:253
410928499182,8cyclictest0-21swapper/309:10:253
410928499182,10cyclictest0-21swapper/311:55:283
410928499181,9cyclictest0-21swapper/311:25:263
410928499181,8cyclictest0-21swapper/307:15:303
410928499173,8cyclictest0-21swapper/310:40:283
410928499173,8cyclictest0-21swapper/310:25:273
410928499172,9cyclictest0-21swapper/312:15:273
410928499172,9cyclictest0-21swapper/312:15:273
410928499172,9cyclictest0-21swapper/311:40:303
410928499172,8cyclictest0-21swapper/312:20:283
410928499172,8cyclictest0-21swapper/312:20:283
410928499172,8cyclictest0-21swapper/310:05:313
410928499172,10cyclictest0-21swapper/310:45:273
410928499171,9cyclictest0-21swapper/312:05:293
410928499171,8cyclictest0-21swapper/309:15:273
410928499163,8cyclictest0-21swapper/311:10:223
410928499163,8cyclictest0-21swapper/310:15:333
410928499163,5cyclictest0-21swapper/308:10:293
410928499162,9cyclictest0-21swapper/312:25:263
410928499162,9cyclictest0-21swapper/312:25:263
410928499162,9cyclictest0-21swapper/311:00:323
410928499162,9cyclictest0-21swapper/310:20:183
410928499162,7cyclictest0-21swapper/309:25:203
410928499161,9cyclictest0-21swapper/311:15:183
410928499161,8cyclictest0-21swapper/310:30:263
410928499161,7cyclictest0-21swapper/308:20:323
410928499154,7cyclictest0-21swapper/311:30:263
410928499153,7cyclictest0-21swapper/311:35:263
410928499153,6cyclictest0-21swapper/310:10:273
410928499153,5cyclictest0-21swapper/308:15:273
410928499152,8cyclictest0-21swapper/311:45:293
410928499152,8cyclictest0-21swapper/309:30:293
410928499152,7cyclictest0-21swapper/310:55:233
410928499152,7cyclictest0-21swapper/309:10:013
410928499152,7cyclictest0-21swapper/308:00:323
410928499152,6cyclictest0-21swapper/308:05:293
410928499151,9cyclictest0-21swapper/309:45:363
410928499151,8cyclictest0-21swapper/311:50:283
410928499151,8cyclictest0-21swapper/309:50:283
410928499151,6cyclictest0-21swapper/309:00:333
410928499143,8cyclictest0-21swapper/311:20:193
410928499142,7cyclictest0-21swapper/307:30:203
410928499142,7cyclictest0-21swapper/307:30:203
410928499141,9cyclictest0-21swapper/309:55:273
410928499141,9cyclictest0-21swapper/309:55:273
410928499141,8cyclictest0-21swapper/312:00:293
410928499141,8cyclictest0-21swapper/312:00:293
410928499141,6cyclictest0-21swapper/307:45:253
410928499132,7cyclictest0-21swapper/307:50:273
410928499132,7cyclictest0-21swapper/307:10:273
410928499132,6cyclictest0-21swapper/308:45:353
410928499132,5cyclictest0-21swapper/307:20:213
410928499131,6cyclictest0-21swapper/308:41:003
410928499131,6cyclictest0-21swapper/308:30:313
410928499131,6cyclictest0-21swapper/307:40:333
410928499122,6cyclictest0-21swapper/308:55:243
410928499122,5cyclictest0-21swapper/307:55:253
410928499121,6cyclictest0-21swapper/307:35:213
410928499121,6cyclictest0-21swapper/307:35:213
410928499111,7cyclictest0-21swapper/307:25:213
410928499110,7cyclictest0-21swapper/308:25:233
41092849991,6cyclictest0-21swapper/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional