You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-11 - 13:46

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Tue Aug 11, 2026 12:43:02)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2218812997153,14cyclictest2332692-21timerandwakeup11:16:070
2218813996555,6cyclictest2359896-21wc12:01:031
2218814995647,3cyclictest0-21swapper/210:50:592
2218814995141,6cyclictest2310781-21missed_timers10:40:512
221881499512,27cyclictest2365880-21ssh12:10:592
2218813995141,6cyclictest2250311-21systemd-run08:55:011
2218814995040,4cyclictest0-21swapper/209:10:592
2218813995035,10cyclictest0-21swapper/110:16:001
2218812995025,22cyclictest0-21swapper/010:11:000
2218812994823,5cyclictest0-21swapper/012:25:020
221881299482,26cyclictest2286691-21sh10:01:010
2218814994718,25cyclictest2303653-21sh10:29:592
2218814994718,25cyclictest2303653-21sh10:29:592
2218812994732,11cyclictest2304944-21sh10:30:590
2218812994727,15cyclictest1434245-21cups-browsed10:40:540
2218814994638,5cyclictest2242814-21systemd-run08:30:012
2218814994637,6cyclictest1-21systemd11:30:022
2218814994621,20cyclictest0-21swapper/207:21:002
2218813994637,6cyclictest2261402-21/usr/sbin/munin09:20:501
2218813994636,6cyclictest2303824-21latency_hist10:30:021
2218813994636,6cyclictest2303824-21latency_hist10:30:021
2218812994633,7cyclictest1000-21mta-sts-daemon09:21:090
221881299463,21cyclictest2381168-21ssh12:35:590
221881499454,13cyclictest2359891-21ps12:01:032
2218812994526,2cyclictest0-21swapper/007:40:010
2218812994521,5cyclictest0-21swapper/010:45:460
2218814994435,6cyclictest2297553-21ssh10:20:012
2218814994422,18cyclictest0-21swapper/209:30:592
2218814994422,18cyclictest0-21swapper/209:30:592
221881499441,7cyclictest2225653-21ntpq07:30:542
221881499441,14cyclictest2307962-21ssh10:35:592
2218813994436,5cyclictest2292775-21sh10:11:031
2218813994431,10cyclictest2347918-21timerandwakeup11:41:051
2218812994423,2cyclictest0-21swapper/011:50:550
221881299442,12cyclictest2308046-21grep10:36:020
2218814994337,3cyclictest0-21swapper/210:01:002
221881499432,6cyclictest2248209-21ntpq08:45:552
221881499432,6cyclictest2219699-21ntpq07:10:552
2218814994323,16cyclictest0-21swapper/209:45:552
221881499431,10cyclictest2245147-21ntpq08:35:532
221881499431,10cyclictest1001-21mta-sts-daemon10:30:542
221881299432,14cyclictest2341095-21if_eth011:30:480
221881499425,15cyclictest2292828-21ps10:11:052
2218814994235,4cyclictest2250514-21kworker/u8:10-xprtiod11:40:012
2218814994234,3cyclictest0-21swapper/211:00:582
2218814994234,3cyclictest0-21swapper/211:00:582
221881499422,5cyclictest2224237-21ntpq07:25:572
221881499422,15cyclictest2362855-21ntpq12:06:032
221881499422,15cyclictest2362855-21ntpq12:06:032
2218814994217,21cyclictest0-21swapper/211:15:562
2218813994232,7cyclictest2285442-21lockfile-create10:00:011
2218812994233,5cyclictest420-21avahi-daemon09:48:590
221881499414,8cyclictest2280509-21ntpq09:50:572
2218814994130,4cyclictest0-21swapper/211:55:572
221881499412,7cyclictest2231739-21ntpq07:51:002
221881499412,7cyclictest2228668-21ntpq07:40:512
221881499412,6cyclictest2240774-21ntpq08:21:002
221881499412,16cyclictest2341400-21ntpq11:30:542
221881499411,8cyclictest2253690-21/usr/sbin/munin09:05:452
2218813994131,6cyclictest0-21swapper/111:35:571
2218812994134,4cyclictest2340276-21systemd-run11:30:010
2218814994031,6cyclictest2247292-21cron08:45:012
221881499402,6cyclictest2262209-21ntpq09:20:592
221881499402,4cyclictest2234773-21ntpq08:01:012
2218814994024,12cyclictest0-21swapper/208:05:552
2218814994023,14cyclictest0-21swapper/210:55:482
2218814994020,16cyclictest0-21swapper/212:35:012
221881499401,12cyclictest2347552-21ntpq11:40:562
2218814994010,27cyclictest0-21swapper/211:24:002
221881499400,11cyclictest2353285-21ssh11:50:482
2218813994034,3cyclictest0-21swapper/107:40:011
2218813994031,6cyclictest2254803-21grep09:10:011
2218813994030,7cyclictest420-21avahi-daemon09:25:521
2218812994030,6cyclictest1434245-21cups-browsed10:08:370
221881499397,2cyclictest0-21swapper/208:11:012
2218814993923,12cyclictest0-21swapper/212:25:542
221881499391,9cyclictest2265133-21ntpq09:25:522
2218814993916,20cyclictest2329093-21missed_timers11:10:512
221881499391,14cyclictest2284184-21vmstat09:56:102
221881499391,11cyclictest2271416-21ntpq09:36:022
221881499391,11cyclictest2252721-21ntpq09:00:572
221881499390,11cyclictest2368005-21sshd12:15:152
221881399393,28cyclictest2356690-21ssh11:55:591
2218813993927,4cyclictest0-21swapper/110:40:541
221881299392,30cyclictest2301820-21ssh10:25:570
221881299392,30cyclictest2301820-21ssh10:25:570
221881499387,2cyclictest0-21swapper/209:15:542
2218814993830,5cyclictest421-21dbus-daemon07:20:012
2218814993830,4cyclictest0-21swapper/212:35:532
221881499381,9cyclictest2243770-21ntpq08:31:002
221881499381,8cyclictest2251243-21ntpq08:56:002
221881499381,11cyclictest2350669-21ssh11:46:002
2218813993830,5cyclictest2239845-21latency_hist08:20:021
2218813993829,6cyclictest1434245-21cups-browsed10:37:241
221881399381,31cyclictest2329241-21ssh11:10:561
2218812993832,4cyclictest2296252-21tail10:16:080
2218812993826,7cyclictest151ktimers/009:15:540
221881499372,8cyclictest2371937-21ntpq12:20:552
221881499372,5cyclictest2230192-21ntpq07:45:562
221881499371,10cyclictest2314086-21ntp_states10:45:592
2218814993710,3cyclictest0-21swapper/209:40:552
2218813993731,3cyclictest2340491-21kworker/u8:7-xprtiod12:40:011
2218813993730,5cyclictest2273037-21ssh09:39:311
2218813993730,3cyclictest0-21swapper/108:11:031
2218813993725,7cyclictest420-21avahi-daemon10:34:181
2218812993730,4cyclictest2268861-21grep09:31:070
2218812993730,4cyclictest2268861-21grep09:31:070
221881499361,8cyclictest2233134-21ntpq07:55:552
221881499361,5cyclictest2298716-21ssh10:20:532
221881499361,5cyclictest2298716-21ssh10:20:532
221881499361,11cyclictest2288739-21ssh10:05:122
221881499361,10cyclictest2325337-21ssh11:05:162
221881499360,10cyclictest2250272-21sshd08:54:282
2218813993627,6cyclictest2225326-21fschecks_time07:30:481
2218813993626,7cyclictest1434245-21cups-browsed11:50:391
221881399362,24cyclictest2341452-21ssh11:30:561
221881299363,7cyclictest2377971-21sh12:30:550
2218812993629,4cyclictest2233877-21latency_hist08:00:020
2218812993628,6cyclictest2321416-21sh10:58:190
2218812993628,5cyclictest1434245-21cups-browsed11:42:350
2218812993628,5cyclictest1-21systemd08:10:020
2218812993628,4cyclictest2356680-21ssh11:55:590
2218812993624,9cyclictest2367696-21cron12:15:000
221881499359,23cyclictest2238785-21sh08:15:472
221881499351,8cyclictest2218825-21munin-run07:10:022
2218814993512,20cyclictest0-21swapper/207:40:012
2218813993528,4cyclictest0-21swapper/107:20:011
2218813993528,3cyclictest0-21swapper/110:56:021
2218813993527,4cyclictest0-21swapper/110:45:511
2218813993525,6cyclictest265-21systemd-journal09:05:011
2218813993514,2cyclictest171rcu_preempt08:26:021
2218812993528,4cyclictest2285422-21idleruntime-cro10:00:010
2218812993528,3cyclictest0-21swapper/008:20:550
2218812993527,5cyclictest1-21systemd09:10:020
2218812993525,7cyclictest2280793-21sshd09:51:060
2218813993426,5cyclictest2287175-21unixbench_multi10:01:121
2218813993420,8cyclictest0-21swapper/111:26:031
2218812993428,3cyclictest0-21swapper/007:25:020
2218812993426,6cyclictest2270388-21sshd09:35:070
2218812993424,6cyclictest265-21systemd-journal12:25:150
221881299342,22cyclictest2359750-21ssh12:00:580
2218813993326,4cyclictest2368467-21fschecks_count12:15:481
2218813993326,4cyclictest2317616-21unixbench_multi10:51:071
2218813993326,4cyclictest2245841-21latency_hist08:40:021
2218812993326,4cyclictest2234336-21fschecks_time08:00:480
2218812993325,6cyclictest2252614-21needreboot09:00:520
2218812993322,8cyclictest0-21swapper/011:50:010
2218812993316,11cyclictest12650irq/32-eth012:06:070
2218812993316,11cyclictest12650irq/32-eth012:06:070
2218813993227,2cyclictest0-21swapper/111:05:001
2218813993227,2cyclictest0-21swapper/111:05:001
2218813993226,3cyclictest0-21swapper/108:00:011
2218813993225,4cyclictest265-21systemd-journal10:25:001
2218813993225,4cyclictest265-21systemd-journal10:25:001
2218813993225,4cyclictest2380060-21latency_hist12:35:021
2218813993225,4cyclictest2251754-21sshd08:57:061
2218813993224,5cyclictest2372534-21grep12:21:071
2218813993223,5cyclictest1002-21mta-sts-daemon11:16:321
2218812993226,3cyclictest0-21swapper/008:20:010
2218812993213,12cyclictest1002-21mta-sts-daemon08:55:590
2218812993212,12cyclictest2274476-21ssh09:40:570
2218813993125,3cyclictest0-21swapper/109:15:441
2218813993124,3cyclictest0-21swapper/109:50:561
2218813993123,5cyclictest1001-21mta-sts-daemon10:06:011
2218813993122,4cyclictest0-21swapper/111:20:431
2218812993124,4cyclictest2370756-21munin-run12:20:010
2218812993124,4cyclictest2345049-21unixbench_singl11:36:070
2218812993123,5cyclictest2220627-21aten_r2power_fr07:15:440
2218812993122,5cyclictest0-21swapper/011:21:070
2218813993022,5cyclictest2220317-21systemd-run07:15:011
2218813993022,5cyclictest1434245-21cups-browsed09:14:191
2218813993021,5cyclictest2254799-21diskmemload12:06:021
2218813993021,5cyclictest2254799-21diskmemload12:06:021
2218812993023,4cyclictest12650irq/32-eth007:10:540
2218812993023,3cyclictest0-21swapper/008:45:540
2218812993022,6cyclictest151ktimers/007:40:520
221881299302,21cyclictest12650irq/32-eth010:50:540
2218812993019,9cyclictest0-21swapper/008:51:080
2218813992922,4cyclictest2223710-21aten_r2power_vo07:25:461
2218812992923,4cyclictest2218811-21cyclictest09:10:100
2218812992914,12cyclictest0-21swapper/008:36:040
221881399289,14cyclictest421-21dbus-daemon08:45:531
221881399285,18cyclictest2326193-21ssh11:05:561
2218813992822,3cyclictest0-21swapper/112:15:011
2218813992821,4cyclictest2268748-21grep09:31:061
2218813992821,4cyclictest2268748-21grep09:31:061
2218813992816,7cyclictest2374268-21/usr/sbin/munin12:25:501
221881299288,14cyclictest665-21snmpd11:03:480
221881299288,14cyclictest665-21snmpd11:03:480
221881299286,14cyclictest1533570-21munin-node08:26:000
2218812992820,5cyclictest2238288-21sh08:15:010
2218812992820,5cyclictest1434245-21cups-browsed10:20:210
2218812992820,5cyclictest1434245-21cups-browsed10:20:210
2218812992814,11cyclictest0-21swapper/011:06:070
2218813992722,2cyclictest0-21swapper/108:00:461
2218813992720,4cyclictest0-21swapper/107:46:011
2218813992720,3cyclictest0-21swapper/109:46:091
2218813992717,8cyclictest2222685-21ntp_kernel_pll_07:20:541
2218812992717,7cyclictest2230797-21munin-plugin-st07:50:020
221881299271,13cyclictest2328946-21irqstats11:10:500
2218813992620,3cyclictest0-21swapper/111:46:041
2218813992618,4cyclictest0-21swapper/109:42:221
221881399261,22cyclictest265-21systemd-journal08:25:011
2218813992518,4cyclictest2236735-21unixbench_singl08:06:051
2218812992515,7cyclictest567-21gdbus09:29:440
2218812992511,11cyclictest0-21swapper/008:40:480
2218813992412,9cyclictest2229194-21tail07:41:061
221881299242,14cyclictest665-21snmpd07:30:560
2218813992317,3cyclictest0-21swapper/108:35:011
2218813992316,3cyclictest0-21swapper/107:55:011
2218813992313,6cyclictest28-21ksoftirqd/108:40:571
2218812992318,2cyclictest0-21swapper/007:50:510
2218812992317,3cyclictest0-21swapper/007:25:590
221881299212,15cyclictest2243297-21diskstats08:30:470
221881299198,8cyclictest0-21swapper/007:10:010
221881599173,5cyclictest0-21swapper/309:25:523
221881599171,8cyclictest0-21swapper/312:20:543
221881599163,7cyclictest0-21swapper/311:35:583
221881599163,6cyclictest0-21swapper/310:30:573
221881599162,8cyclictest0-21swapper/309:40:553
221881599162,6cyclictest0-21swapper/310:05:523
221881599161,7cyclictest0-21swapper/311:05:573
221881599161,6cyclictest0-21swapper/308:40:533
221881399161,13cyclictest2218811-21cyclictest07:10:011
221881599152,8cyclictest0-21swapper/311:31:093
221881599152,7cyclictest0-21swapper/310:40:013
221881599152,5cyclictest0-21swapper/309:00:543
221881599151,7cyclictest0-21swapper/312:02:033
221881599151,6cyclictest0-21swapper/312:35:533
221881599151,6cyclictest0-21swapper/308:15:573
221881599142,7cyclictest0-21swapper/311:11:003
221881599142,7cyclictest0-21swapper/310:40:543
221881599142,7cyclictest0-21swapper/310:25:543
221881599142,7cyclictest0-21swapper/310:25:543
221881599142,6cyclictest0-21swapper/310:45:513
221881599142,6cyclictest0-21swapper/309:11:023
221881599141,8cyclictest0-21swapper/310:20:543
221881599141,8cyclictest0-21swapper/310:20:543
221881599141,8cyclictest0-21swapper/309:55:583
221881599141,7cyclictest0-21swapper/310:50:453
221881599141,7cyclictest0-21swapper/310:10:593
221881599141,7cyclictest0-21swapper/309:50:573
221881599141,6cyclictest0-21swapper/308:45:523
221881599141,6cyclictest0-21swapper/307:20:553
221881599133,6cyclictest0-21swapper/310:56:083
221881599132,7cyclictest0-21swapper/310:00:513
221881599132,7cyclictest0-21swapper/309:35:573
221881599132,6cyclictest0-21swapper/311:40:473
221881599132,6cyclictest0-21swapper/311:20:433
221881599131,7cyclictest0-21swapper/312:06:033
221881599131,7cyclictest0-21swapper/312:06:033
221881599131,7cyclictest0-21swapper/311:25:583
221881599131,6cyclictest0-21swapper/312:25:543
221881599131,6cyclictest0-21swapper/308:55:573
221881599131,6cyclictest0-21swapper/307:10:583
221881599123,5cyclictest0-21swapper/309:30:593
221881599123,5cyclictest0-21swapper/309:30:593
221881599123,4cyclictest0-21swapper/307:30:563
221881599122,6cyclictest0-21swapper/312:30:553
221881599122,6cyclictest0-21swapper/312:15:513
221881599122,5cyclictest0-21swapper/308:25:583
221881599121,7cyclictest0-21swapper/311:15:553
221881599121,7cyclictest0-21swapper/309:20:523
221881599121,6cyclictest0-21swapper/311:50:463
221881599121,6cyclictest0-21swapper/309:45:563
221881599121,6cyclictest0-21swapper/309:20:033
221881599121,5cyclictest0-21swapper/309:10:023
221881599121,5cyclictest0-21swapper/308:30:553
221881599114,4cyclictest0-21swapper/308:15:013
221881599113,5cyclictest431ktimers/307:10:013
221881599113,4cyclictest0-21swapper/307:45:563
221881599112,6cyclictest0-21swapper/311:55:553
221881599111,6cyclictest0-21swapper/312:10:493
221881599111,6cyclictest0-21swapper/310:15:463
221881599111,6cyclictest0-21swapper/307:51:013
221881599105,3cyclictest0-21swapper/308:01:043
221881599101,6cyclictest0-21swapper/311:00:083
221881599101,6cyclictest0-21swapper/311:00:083
221881599101,6cyclictest0-21swapper/307:35:513
221881599101,5cyclictest0-21swapper/308:40:033
22188159994,3cyclictest0-21swapper/307:57:173
22188159992,5cyclictest0-21swapper/307:20:013
22188159991,6cyclictest0-21swapper/311:45:503
22188159991,5cyclictest0-21swapper/308:55:023
22188159991,4cyclictest0-21swapper/307:30:023
22188159984,3cyclictest0-21swapper/308:23:543
22188159984,3cyclictest0-21swapper/308:05:333
22188159981,5cyclictest0-21swapper/307:45:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional