You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-19 - 21:49

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Fri Jun 19, 2026 12:43:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3673427997561,11cyclictest3726988-40mandb09:36:430
3673427996657,5cyclictest0-21swapper/012:30:380
3673429996551,9cyclictest1001-21mta-sts-daemon11:55:292
3673429995945,10cyclictest3727014-21ssh09:36:452
3673428995541,8cyclictest3709415-21diskmemload09:45:271
3673429995140,8cyclictest3763710-21sed10:35:402
3673429995042,5cyclictest3799209-21ssh11:35:012
3673429995042,4cyclictest3692910-21idleruntime-cro08:15:002
3673429995042,4cyclictest3692910-21idleruntime-cro08:15:002
3673429994834,8cyclictest3709415-21diskmemload10:20:312
3673429994834,8cyclictest3709415-21diskmemload10:20:312
3673427994835,10cyclictest151ktimers/009:55:310
3673427994739,4cyclictest3721907-21sh09:30:010
3673428994637,6cyclictest3710619-21proc_pri09:10:351
3673427994634,9cyclictest3781914-21mailstats11:05:340
3673428994537,5cyclictest3720143-21sshd09:25:391
3673428994536,7cyclictest3765215-21idleruntime-cro10:40:001
367342799440,6cyclictest0-21swapper/010:50:300
3673429994334,5cyclictest3814197-21kworker/u8:4+events_unbound12:15:012
3673428994334,4cyclictest0-21swapper/109:36:431
3673427994330,9cyclictest151ktimers/010:20:290
3673427994330,9cyclictest151ktimers/010:20:290
3673427994325,10cyclictest0-21swapper/011:45:180
3673429994234,5cyclictest3725011-21systemd-run09:35:012
367342999422,33cyclictest3772395-21ssh10:50:272
3673428994233,5cyclictest2878171-21cups-browsed10:23:521
3673428994233,5cyclictest2878171-21cups-browsed10:23:521
3673429994132,6cyclictest3729537-21wc09:40:392
3673428994131,8cyclictest0-21swapper/110:30:171
3673428994131,8cyclictest0-21swapper/110:30:171
3673428994131,7cyclictest3691420-21grep08:10:011
3673428994131,7cyclictest3691420-21grep08:10:011
3673427994135,3cyclictest1003-21mta-sts-daemon11:40:300
3673429994028,9cyclictest3686623-21awk07:50:382
367342899403,30cyclictest3778604-21ssh11:00:281
3673428994031,6cyclictest421-21dbus-daemon09:55:021
3673428994030,6cyclictest420-21avahi-daemon12:35:011
3673427994025,3cyclictest171rcu_preempt07:55:270
3673429993934,3cyclictest0-21swapper/209:55:012
3673429993929,8cyclictest3708729-21needreboot09:05:272
3673428993931,5cyclictest3820849-21idleruntime-cro12:10:001
3673428993931,5cyclictest3803967-21head11:40:461
3673428993931,5cyclictest3700285-21tail08:35:401
3673428993927,8cyclictest3756829-21missed_timers10:25:241
3673428993927,8cyclictest3756829-21missed_timers10:25:241
3673427993932,3cyclictest0-21swapper/008:40:300
3673427993926,10cyclictest3716882-21proc_pri09:20:380
3673429993830,5cyclictest3743586-21cron10:05:012
3673428993829,5cyclictest421-21dbus-daemon11:30:011
367342899382,28cyclictest428-21mta-sts-daemon12:15:291
367342899382,28cyclictest3815794-21ssh12:00:341
367342799388,13cyclictest151ktimers/011:15:280
3673427993831,4cyclictest3777571-21sendmail11:00:010
3673427993823,11cyclictest0-21swapper/011:40:010
367342799381,28cyclictest3809464-21sh11:50:270
367342799381,28cyclictest3809464-21sh11:50:270
3673429993731,3cyclictest0-21swapper/210:20:012
3673429993731,3cyclictest0-21swapper/210:20:012
3673429993729,5cyclictest3703931-21fschecks_count08:50:242
3673429993724,8cyclictest0-21swapper/211:35:332
367342999371,29cyclictest3837264-21ssh12:35:302
3673428993729,4cyclictest0-21swapper/110:00:271
3673428993728,6cyclictest1-21systemd11:25:011
3673428993711,7cyclictest3696756-21awk08:25:251
3673427993730,5cyclictest3734327-21systemd-run09:50:020
3673427993730,5cyclictest1-21systemd11:25:020
3673427993729,4cyclictest0-21swapper/010:45:260
3673427993728,7cyclictest0-21swapper/012:20:010
3673427993726,8cyclictest3822350-21timerwakeupswit12:10:440
3673427993725,2cyclictest0-21swapper/012:00:000
3673429993628,5cyclictest3757545-21unixbench_multi10:25:392
3673429993628,5cyclictest3757545-21unixbench_multi10:25:392
3673429993627,5cyclictest0-21swapper/210:30:402
3673429993627,5cyclictest0-21swapper/210:30:402
3673429993625,8cyclictest1000-21mta-sts-daemon08:00:012
3673429993624,9cyclictest3707259-21ntp_kernel_err09:00:292
367342999361,28cyclictest2878171-21cups-browsed07:10:352
3673428993628,5cyclictest3774483-21latency_hist10:55:011
3673428993628,5cyclictest3676585-21latency_hist07:20:021
3673428993610,8cyclictest3831918-21ssh12:26:111
3673427993630,4cyclictest3799024-21sshd11:34:280
3673427993629,5cyclictest1-21systemd09:55:020
3673427993628,5cyclictest3703438-21systemd-run08:50:010
3673427993623,3cyclictest171rcu_preempt12:00:180
367342999355,7cyclictest171rcu_preempt11:50:312
367342999355,7cyclictest171rcu_preempt11:50:312
3673429993526,6cyclictest1-21systemd07:35:012
3673429993526,5cyclictest3833761-21sh12:30:212
3673429993526,5cyclictest3783924-21latency_hist11:10:022
3673429993525,7cyclictest3694448-21sh08:20:012
3673429993523,9cyclictest3831333-21mailstats12:25:342
3673429993522,9cyclictest3791456-21timerwakeupswit11:20:422
367342999351,9cyclictest171rcu_preempt10:45:292
367342999351,25cyclictest3719980-21ssh09:25:352
367342899359,9cyclictest3709415-21diskmemload09:30:331
3673428993529,3cyclictest0-21swapper/111:15:281
3673428993528,4cyclictest3715663-21ssh09:20:011
3673428993528,3cyclictest0-21swapper/107:30:331
3673428993527,5cyclictest3731243-21sh09:45:031
3673428993525,7cyclictest3682382-21kworker/u8:1-xprtiod07:40:001
3673428993525,4cyclictest3806377-21ntpq11:45:261
3673428993522,10cyclictest3765995-21kernelversion10:40:231
3673428993519,10cyclictest3692385-21ntpq08:10:331
3673428993519,10cyclictest3692385-21ntpq08:10:331
3673428993510,8cyclictest3682762-21aten2.4-expect07:40:181
3673428993510,8cyclictest3682762-21aten2.4-expect07:40:181
3673428993510,6cyclictest3684824-21ntpq07:45:291
3673427993529,4cyclictest1-21systemd09:15:010
3673427993521,3cyclictest171rcu_preempt07:50:300
367342799350,30cyclictest3784872-21ssh11:10:310
367342999341,28cyclictest3744723-21sh10:05:362
367342899348,11cyclictest3797838-21rm11:30:471
367342899348,10cyclictest3769978-21sh10:45:421
3673428993427,4cyclictest3704829-21unixbench_singl08:50:431
3673428993414,3cyclictest3709415-21diskmemload10:59:201
3673428993411,7cyclictest3709415-21diskmemload11:57:521
3673428993411,7cyclictest3709415-21diskmemload10:07:141
3673428993410,7cyclictest3709415-21diskmemload11:13:011
3673427993427,5cyclictest420-21avahi-daemon10:40:320
3673427993427,5cyclictest3682405-21cron07:40:000
3673427993426,6cyclictest3679943-21fschecks_time07:30:250
3673427993425,6cyclictest3750512-21kernelversion10:15:230
3673427993425,6cyclictest3750512-21kernelversion10:15:230
3673427993421,11cyclictest3743931-21aten_r2power_cu10:05:170
3673427993419,3cyclictest171rcu_preempt08:25:280
3673427993410,3cyclictest0-21swapper/007:10:330
367342999334,18cyclictest428-21mta-sts-daemon11:45:262
367342999333,25cyclictest3778664-21ssh11:00:302
3673429993325,5cyclictest3825542-21unixbench_singl12:15:422
3673429993325,5cyclictest3676943-21fschecks_count07:20:212
367342899339,9cyclictest3679096-21switchtime07:25:361
367342899339,6cyclictest3709415-21diskmemload12:12:411
367342899339,16cyclictest428-21mta-sts-daemon12:35:301
367342899338,9cyclictest3801413-21sh11:37:181
367342899337,9cyclictest3709415-21diskmemload12:24:041
3673428993325,5cyclictest2878171-21cups-browsed09:25:001
3673428993321,8cyclictest3693868-21ntpq08:15:321
3673428993320,7cyclictest3674256-21ntpq07:10:271
3673428993317,12cyclictest3707298-21ntpq09:00:311
3673428993311,9cyclictest3686323-21ntpq07:50:291
3673427993327,4cyclictest3677947-21systemd-run07:25:010
3673427993327,3cyclictest0-21swapper/012:20:360
3673427993326,4cyclictest3706439-21systemd-run09:00:010
3673427993321,9cyclictest0-21swapper/008:20:000
3673427993321,8cyclictest12650irq/32-eth010:00:330
367342799331,28cyclictest665-21snmpd10:10:290
3673429993225,3cyclictest0-21swapper/211:20:012
3673429993224,5cyclictest3749747-21munin-plugin-st10:15:012
3673429993223,6cyclictest439-21systemd-logind07:50:012
3673429993220,8cyclictest3815564-21missed_timers12:00:272
367342899328,8cyclictest3705860-21ntpq08:55:351
3673428993226,3cyclictest0-21swapper/107:25:011
3673428993224,5cyclictest1003-21mta-sts-daemon11:50:501
3673428993224,5cyclictest1003-21mta-sts-daemon11:50:501
3673428993220,7cyclictest3702768-21ntpq08:45:261
3673428993219,8cyclictest3701385-21ntpq08:40:321
3673428993211,6cyclictest3709415-21diskmemload10:15:531
3673428993211,6cyclictest3709415-21diskmemload10:15:531
3673427993227,2cyclictest0-21swapper/009:20:010
3673427993224,5cyclictest3763687-21grep10:35:400
3673427993222,8cyclictest3724994-21idleruntime-cro09:35:010
3673427993219,2cyclictest171rcu_preempt08:30:360
3673429993122,6cyclictest420-21avahi-daemon09:20:362
3673429993122,5cyclictest1000-21mta-sts-daemon07:25:302
3673429993121,7cyclictest3775413-21needreboot10:55:252
3673428993123,4cyclictest0-21swapper/109:55:271
3673428993120,7cyclictest3781736-21ntpq11:05:291
3673428993120,7cyclictest3749742-21munin-plugin-st10:15:011
3673428993118,9cyclictest3689338-21ntpq08:00:301
3673427993119,5cyclictest171rcu_preempt12:25:290
3673427993117,3cyclictest171rcu_preempt07:15:310
3673429993022,5cyclictest3700461-21latency_hist08:40:022
3673429993022,5cyclictest3698908-21cron08:35:012
3673429993022,5cyclictest2878171-21cups-browsed07:35:192
3673429993020,4cyclictest0-21swapper/211:26:352
3673428993023,4cyclictest3695929-21munin-run08:25:001
3673428993019,7cyclictest3687753-21ntpq07:55:261
3673428993018,8cyclictest3708900-21ntpq09:05:341
367342799309,9cyclictest191rcuc/008:12:170
367342799309,9cyclictest191rcuc/008:12:170
367342799305,9cyclictest14-21ksoftirqd/009:05:340
3673427993024,4cyclictest3762118-21cron10:35:000
3673427993024,4cyclictest3762118-21cron10:35:000
3673427993024,4cyclictest3679443-21systemd-run07:30:010
3673427993020,3cyclictest171rcu_preempt08:00:270
3673427993018,3cyclictest171rcu_preempt08:05:310
3673427993018,3cyclictest171rcu_preempt08:05:310
3673427993016,3cyclictest171rcu_preempt09:00:320
3673427993015,3cyclictest171rcu_preempt12:05:240
367342999293,17cyclictest2878168-21cupsd08:40:282
3673429992923,3cyclictest0-21swapper/209:15:012
3673429992922,4cyclictest3774351-21kworker/u8:3+xprtiod11:45:012
3673429992922,4cyclictest0-21swapper/209:55:402
3673429992921,5cyclictest3786423-21ssh11:13:442
3673429992919,8cyclictest3676211-21timerwakeupswit07:15:392
367342799294,19cyclictest3729222-21ssh09:40:320
367342799293,14cyclictest151ktimers/010:25:170
367342799293,14cyclictest151ktimers/010:25:170
3673427992921,5cyclictest0-21swapper/008:40:010
3673427992914,3cyclictest171rcu_preempt08:20:300
3673427992912,3cyclictest171rcu_preempt11:25:180
367342999283,18cyclictest3732219-21ssh09:45:282
3673429992821,3cyclictest0-21swapper/212:25:012
3673428992817,7cyclictest3698269-21ntpq08:30:301
367342799283,9cyclictest14-21ksoftirqd/007:40:270
367342799283,9cyclictest14-21ksoftirqd/007:40:270
3673427992816,3cyclictest171rcu_preempt08:50:310
367342799280,25cyclictest0-21swapper/012:35:310
3673429992721,3cyclictest0-21swapper/209:00:012
3673429992721,3cyclictest0-21swapper/207:45:002
3673429992721,3cyclictest0-21swapper/207:45:002
3673429992720,4cyclictest3690867-21ntp_offset08:05:312
3673429992720,4cyclictest3690867-21ntp_offset08:05:312
3673429992720,3cyclictest0-21swapper/212:05:192
3673429992719,5cyclictest2878171-21cups-browsed08:01:172
3673427992713,2cyclictest171rcu_preempt07:45:270
3673427992710,3cyclictest171rcu_preempt11:00:300
367342999261,18cyclictest3713680-21ntpq09:15:342
367342799266,9cyclictest151ktimers/007:10:020
3673429992519,3cyclictest1001-21mta-sts-daemon08:28:582
367342999251,19cyclictest3766251-21ntpq10:40:292
3673429992418,4cyclictest3703529-21sort08:50:022
3673429992416,5cyclictest3694765-21aten2.4-expect08:20:202
3673428992414,7cyclictest3673441-21munin-run07:10:021
367343099192,8cyclictest0-21swapper/309:36:413
367343099192,7cyclictest0-21swapper/312:25:253
367343099183,7cyclictest0-21swapper/310:35:273
367343099182,8cyclictest0-21swapper/310:40:313
367342999189,6cyclictest3673488-21grep07:10:022
367343099172,8cyclictest0-21swapper/311:00:333
367343099172,8cyclictest0-21swapper/310:30:273
367343099172,8cyclictest0-21swapper/310:30:273
367343099165,6cyclictest0-21swapper/311:15:343
367343099163,6cyclictest0-21swapper/309:30:263
367343099162,9cyclictest0-21swapper/310:45:273
367343099162,8cyclictest0-21swapper/312:30:383
367343099162,7cyclictest0-21swapper/309:15:283
367343099161,6cyclictest0-21swapper/307:50:263
367343099154,5cyclictest0-21swapper/311:55:323
367343099153,7cyclictest0-21swapper/311:40:263
367343099153,7cyclictest0-21swapper/310:00:293
367343099152,8cyclictest0-21swapper/310:55:263
367343099152,8cyclictest0-21swapper/309:25:283
367343099152,7cyclictest0-21swapper/312:35:313
367343099152,7cyclictest0-21swapper/310:25:263
367343099152,7cyclictest0-21swapper/310:25:263
367343099152,7cyclictest0-21swapper/307:30:333
367343099152,6cyclictest0-21swapper/310:05:323
367343099151,8cyclictest0-21swapper/312:10:333
367343099151,8cyclictest0-21swapper/309:55:273
367343099151,8cyclictest0-21swapper/309:20:383
367343099151,7cyclictest0-21swapper/312:00:243
367343099151,7cyclictest0-21swapper/309:45:193
367343099151,7cyclictest0-21swapper/307:25:243
367343099151,6cyclictest0-21swapper/307:35:323
367343099144,5cyclictest0-21swapper/311:45:283
367343099142,8cyclictest0-21swapper/311:09:533
367343099142,7cyclictest0-21swapper/311:10:263
367343099142,7cyclictest0-21swapper/310:50:293
367343099142,7cyclictest0-21swapper/309:40:173
367343099141,9cyclictest0-21swapper/310:10:223
367343099141,8cyclictest0-21swapper/310:15:203
367343099141,8cyclictest0-21swapper/310:15:203
367343099141,7cyclictest0-21swapper/311:20:373
367343099141,7cyclictest0-21swapper/308:40:303
367343099141,7cyclictest0-21swapper/307:55:303
367343099141,6cyclictest0-21swapper/308:35:333
367343099133,7cyclictest0-21swapper/312:15:293
367343099132,7cyclictest0-21swapper/311:50:313
367343099132,7cyclictest0-21swapper/311:50:313
367343099132,7cyclictest0-21swapper/309:05:013
367343099131,7cyclictest0-21swapper/309:10:183
367343099131,6cyclictest0-21swapper/312:20:213
367343099131,6cyclictest0-21swapper/312:05:233
367343099131,6cyclictest0-21swapper/309:05:293
367343099131,6cyclictest0-21swapper/308:25:263
367343099131,6cyclictest0-21swapper/308:00:283
367343099131,6cyclictest0-21swapper/307:15:283
367343099131,5cyclictest0-21swapper/308:30:313
367343099122,7cyclictest0-21swapper/307:45:013
367343099122,7cyclictest0-21swapper/307:45:013
367343099122,6cyclictest0-21swapper/310:20:183
367343099122,6cyclictest0-21swapper/310:20:183
367343099121,7cyclictest0-21swapper/311:30:233
367343099121,7cyclictest0-21swapper/309:50:303
367343099121,7cyclictest0-21swapper/308:20:013
367343099121,6cyclictest0-21swapper/311:25:263
367343099121,6cyclictest0-21swapper/308:50:303
367343099121,6cyclictest0-21swapper/307:45:293
367343099121,4cyclictest0-21swapper/307:10:353
367343099113,6cyclictest0-21swapper/311:35:173
367343099112,6cyclictest0-21swapper/308:10:273
367343099112,6cyclictest0-21swapper/308:10:273
367343099112,5cyclictest0-21swapper/308:55:313
367343099102,6cyclictest0-21swapper/308:45:213
367343099101,5cyclictest0-21swapper/308:20:223
367343099101,5cyclictest0-21swapper/307:20:283
36734309991,5cyclictest0-21swapper/308:05:183
36734309991,5cyclictest0-21swapper/308:05:183
36734309983,4cyclictest0-21swapper/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional