You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-12 - 05:05

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Fri Jun 12, 2026 00:43:33)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
215637299532,41cyclictest2228415-21sh22:05:302
215637299532,41cyclictest2228415-21sh22:05:302
215637199531,31cyclictest2285153-21ssh23:35:251
215637299526,18cyclictest2215641-21ssh21:45:252
215637199526,15cyclictest1001-21mta-sts-daemon21:25:231
2156371995123,12cyclictest2310520-21sshd00:15:281
2156370995136,10cyclictest12650irq/32-eth023:35:220
215637299504,33cyclictest2202927-21ssh21:25:242
215637299501,6cyclictest2199847-21ssh21:20:282
2156370995029,13cyclictest12650irq/32-eth023:55:270
2156372994941,5cyclictest2287308-21tr23:40:012
2156370994841,3cyclictest0-21swapper/022:15:300
2156370994835,10cyclictest2293637-21ssh23:50:020
2156372994537,5cyclictest2303115-21munin-plugin-st00:05:012
2156371994538,4cyclictest0-21swapper/123:15:271
2156371994533,7cyclictest2275649-21sh23:20:231
2156372994439,2cyclictest0-21swapper/222:40:262
2156372994436,5cyclictest2306291-21systemd-run00:10:012
215637299442,33cyclictest2193442-21ssh21:10:292
215637299441,11cyclictest2256855-21ssh22:50:322
2156372994332,7cyclictest420-21avahi-daemon23:50:302
2156372994331,4cyclictest171rcu_preempt19:20:222
2156370994335,5cyclictest2162362-21idleruntime-cro19:30:010
215637299424,7cyclictest171rcu_preempt22:45:252
215637299422,36cyclictest2184221-21sshd20:40:222
2156371994235,4cyclictest2252559-21cron22:45:001
2156371994212,4cyclictest171rcu_preempt23:55:311
215637099426,28cyclictest2225276-21ssh22:00:330
215637099426,28cyclictest2225276-21ssh22:00:330
2156370994225,8cyclictest12650irq/32-eth020:20:250
215637299418,22cyclictest428-21mta-sts-daemon23:20:302
2156372994134,5cyclictest1000-21mta-sts-daemon22:35:302
2156372994134,2cyclictest0-21swapper/222:30:272
2156372994131,6cyclictest1-21systemd19:50:022
2156372994130,8cyclictest2311047-21unixbench_singl00:15:362
2156372994126,10cyclictest0-21swapper/200:30:272
215637299412,34cyclictest2288427-21ssh23:40:302
2156371994134,3cyclictest0-21swapper/100:20:271
215637199411,34cyclictest2206229-21ssh21:30:281
2156370994127,4cyclictest2212170-21if_eth021:40:220
215637299402,8cyclictest171rcu_preempt23:10:302
215637199402,30cyclictest2294743-21ssh23:50:291
2156370994015,5cyclictest12750irq/33-eth022:35:260
2156372993932,3cyclictest0-21swapper/223:00:012
2156372993932,3cyclictest0-21swapper/222:00:012
2156372993932,3cyclictest0-21swapper/222:00:012
2156372993931,5cyclictest421-21dbus-daemon20:10:232
2156371993931,5cyclictest2244695-21unixbench_singl22:30:381
2156371993931,5cyclictest2236745-21grep22:20:001
2156371993931,5cyclictest1001-21mta-sts-daemon21:20:251
2156371993929,7cyclictest2220923-21cron21:55:011
215637099391,33cyclictest2237810-21ssh22:20:270
2156372993830,5cyclictest2165348-21sendmail19:40:002
2156372993830,5cyclictest2165348-21sendmail19:40:002
2156372993828,7cyclictest0-21swapper/223:55:362
2156372993827,7cyclictest420-21avahi-daemon23:01:312
2156371993830,5cyclictest421-21dbus-daemon23:00:011
2156371993830,5cyclictest2167052-21latency_hist19:45:021
2156371993829,5cyclictest0-21swapper/120:20:221
2156371993827,8cyclictest2318932-21sh00:30:011
215637199382,28cyclictest2278984-21ssh23:25:351
2156370993833,3cyclictest2271501-21ssh23:15:010
215637299373,27cyclictest2212523-21ssh21:40:322
2156372993728,4cyclictest0-21swapper/200:20:142
215637299372,6cyclictest171rcu_preempt22:00:262
215637299372,6cyclictest171rcu_preempt22:00:262
215637299371,29cyclictest2266225-21rm23:05:252
215637199373,29cyclictest2193531-21ssh21:10:331
2156371993729,5cyclictest2255781-21latency_hist22:50:021
2156371993729,5cyclictest2175869-21systemd-run20:15:021
2156371993729,5cyclictest0-21swapper/121:40:011
2156371993728,6cyclictest423725-21cups-browsed20:45:141
2156370993731,3cyclictest0-21swapper/022:10:220
2156370993731,3cyclictest0-21swapper/022:10:220
2156370993725,10cyclictest2303191-21grep00:05:020
215637299363,24cyclictest2291519-21ssh23:45:272
2156372993628,5cyclictest2171343-21munin-run20:00:012
215637199363,27cyclictest2307247-21ssh00:10:231
2156371993629,3cyclictest0-21swapper/123:10:301
2156371993626,6cyclictest2263667-21head23:00:381
2156370993630,3cyclictest0-21swapper/020:05:020
2156370993627,7cyclictest2246327-21latency_hist22:35:020
215637299355,18cyclictest2281971-21ssh23:30:252
2156372993526,5cyclictest2187864-21kworker/u8:10+xprtiod20:55:012
2156372993524,8cyclictest2325232-21idleruntime-cro00:40:012
2156372993517,12cyclictest1002-21mta-sts-daemon20:35:222
215637299351,26cyclictest2241057-21ssh22:25:342
215637199353,25cyclictest2237820-21ssh22:20:281
2156371993528,3cyclictest0-21swapper/122:30:011
2156371993527,5cyclictest2290472-21grep23:45:011
2156371993527,5cyclictest0-21swapper/120:20:011
215637199352,26cyclictest2266205-21ssh23:05:241
215637099359,17cyclictest428-21mta-sts-daemon23:50:240
2156370993527,5cyclictest1-21systemd19:40:010
2156370993527,5cyclictest1-21systemd19:40:010
2156370993526,7cyclictest2312601-21sendmail00:20:010
2156372993429,2cyclictest0-21swapper/222:25:012
2156372993427,3cyclictest0-21swapper/223:25:312
2156371993427,4cyclictest2196410-21latency21:15:251
2156371993427,3cyclictest0-21swapper/100:00:291
2156371993426,5cyclictest2284150-21systemd-run23:35:011
2156371993426,5cyclictest2230412-21ssh22:10:001
2156371993426,5cyclictest2230412-21ssh22:10:001
2156371993425,5cyclictest0-21swapper/120:30:231
215637199342,27cyclictest2231410-21ssh22:10:231
215637199342,27cyclictest2231410-21ssh22:10:231
215637199342,26cyclictest2215754-21ssh21:45:301
2156370993428,4cyclictest2315745-21cron00:25:010
2156370993426,3cyclictest2254169-21unixbench_singl22:45:370
2156370993425,7cyclictest2280229-21sshd23:27:510
2156370993417,3cyclictest171rcu_preempt19:40:230
2156372993326,4cyclictest1003-21mta-sts-daemon19:30:252
2156372993326,3cyclictest0-21swapper/221:20:012
2156372993322,8cyclictest0-21swapper/221:00:012
2156371993313,4cyclictest0-21swapper/100:30:131
215637099333,22cyclictest2218814-21ssh21:50:260
2156370993326,5cyclictest421-21dbus-daemon23:10:010
2156370993326,4cyclictest2307102-21ssh00:10:210
2156370993326,4cyclictest2262835-21latency23:00:210
2156372993222,7cyclictest421-21dbus-daemon19:10:322
2156372993216,11cyclictest1-21systemd21:30:232
2156372993213,14cyclictest351ktimers/219:40:232
215637299320,5cyclictest171rcu_preempt22:15:282
2156371993225,4cyclictest2160858-21cron19:25:011
2156371993225,4cyclictest1002-21mta-sts-daemon21:40:331
2156371993223,5cyclictest1003-21mta-sts-daemon19:15:011
2156370993227,2cyclictest0-21swapper/000:10:010
215637099322,25cyclictest2250537-21sh22:40:310
2156370993213,13cyclictest12650irq/32-eth022:25:290
2156372993124,4cyclictest2158664-21needreboot19:15:232
2156372993124,3cyclictest0-21swapper/220:50:022
2156372993123,5cyclictest2219357-21unixbench_singl21:50:362
215637299312,23cyclictest2307306-21ssh00:10:252
215637199314,19cyclictest665-21snmpd21:00:251
2156371993125,3cyclictest0-21swapper/122:00:011
2156371993125,3cyclictest0-21swapper/122:00:011
2156371993125,2cyclictest0-21swapper/122:50:151
2156370993127,2cyclictest0-21swapper/022:00:010
2156370993127,2cyclictest0-21swapper/022:00:010
2156370993127,2cyclictest0-21swapper/019:50:020
2156370993123,5cyclictest2195869-21/usr/sbin/munin21:15:300
215637099312,24cyclictest2199753-21ssh21:20:240
2156370993121,8cyclictest2272054-21cpuspeed23:15:160
2156370993117,7cyclictest2192408-21diskmemload00:30:250
2156370993113,9cyclictest12650irq/32-eth021:35:250
215637299302,4cyclictest171rcu_preempt23:15:302
2156372993023,4cyclictest1001-21mta-sts-daemon22:10:212
2156372993023,4cyclictest1001-21mta-sts-daemon22:10:212
2156372993022,5cyclictest2191973-21sendmail_mailqu21:05:282
2156372993020,6cyclictest2181736-21tail20:30:352
215637199306,19cyclictest2291553-21ssh23:45:271
215637199303,21cyclictest2304177-21ssh00:05:271
2156371993024,3cyclictest0-21swapper/120:45:011
2156371993023,3cyclictest0-21swapper/121:10:011
2156371993021,6cyclictest2184883-21kworker/u8:8+xprtiod21:00:011
2156370993024,4cyclictest2208432-21sh21:35:020
2156370993024,3cyclictest2185387-21fschecks_time20:45:170
2156370993024,3cyclictest0-21swapper/021:00:010
2156370993023,5cyclictest151ktimers/020:50:260
2156370993018,8cyclictest2176654-21needreboot20:15:210
2156372992922,3cyclictest0-21swapper/220:20:012
2156372992921,4cyclictest2190930-21kthreadd21:05:012
2156372992919,7cyclictest0-21swapper/200:25:192
2156371992921,5cyclictest423725-21cups-browsed19:39:331
2156371992921,5cyclictest423725-21cups-browsed19:39:331
2156371992921,5cyclictest2246517-21/usr/sbin/munin22:35:251
2156370992923,4cyclictest2290483-21systemd-run23:45:020
2156370992923,4cyclictest2182379-21fschecks_time20:35:170
2156370992923,3cyclictest0-21swapper/021:25:270
2156370992916,2cyclictest0-21swapper/019:25:010
2156372992822,3cyclictest2148575-21kworker/u8:2-xprtiod20:30:012
2156372992818,7cyclictest421-21dbus-daemon21:37:522
2156370992822,3cyclictest0-21swapper/022:55:020
2156370992821,4cyclictest2180379-21systemd-run20:30:020
2156370992820,6cyclictest2190092-21missed_timers21:00:200
2156370992816,9cyclictest0-21swapper/023:25:010
215637099281,22cyclictest2323127-21ssh00:35:270
215637099281,22cyclictest2169238-21sshd19:50:230
215637299271,21cyclictest2161743-21sshd19:25:222
215637199273,18cyclictest2225171-21ssh22:00:281
215637199273,18cyclictest2225171-21ssh22:00:281
215637199272,19cyclictest2323029-21ld00:35:231
2156371992721,3cyclictest0-21swapper/120:35:201
2156371992720,4cyclictest1002-21mta-sts-daemon19:25:241
2156371992719,5cyclictest2171377-21systemd-run20:00:011
215637099272,21cyclictest2316728-21ssh00:25:220
2156370992721,4cyclictest2217763-21idleruntime-cro21:50:010
2156370992720,5cyclictest2175767-21head20:10:460
2156370992720,5cyclictest12650irq/32-eth021:10:020
2156370992720,4cyclictest423725-21cups-browsed23:32:190
2156370992720,4cyclictest2183879-21fschecks_count20:40:160
2156370992717,5cyclictest12650irq/32-eth022:05:240
2156370992717,5cyclictest12650irq/32-eth022:05:240
215637299262,9cyclictest171rcu_preempt20:20:252
2156372992620,3cyclictest1000-21mta-sts-daemon19:53:512
2156372992614,9cyclictest2173702-21ntp_kernel_err20:05:232
2156371992621,2cyclictest0-21swapper/119:20:011
2156371992619,4cyclictest2187416-21awk20:50:301
2156371992619,4cyclictest2171889-21fschecks_time20:00:171
2156370992620,3cyclictest0-21swapper/020:00:020
2156370992617,7cyclictest2157198-21ntp_kernel_err19:10:250
2156370992617,7cyclictest1000-21mta-sts-daemon22:58:370
2156370992615,8cyclictest12650irq/32-eth021:10:340
215637099261,19cyclictest1001-21mta-sts-daemon20:30:240
2156372992518,4cyclictest2160886-21kworker/u8:3-xprtiod20:00:192
2156371992517,5cyclictest2174423-21latency_hist20:10:021
2156370992519,4cyclictest2163793-21head19:30:350
2156370992517,5cyclictest0-21swapper/019:20:020
2156371992317,3cyclictest0-21swapper/119:50:291
2156370992317,4cyclictest0-21swapper/020:05:360
215637399221,14cyclictest0-21swapper/321:20:283
2156372992216,3cyclictest0-21swapper/219:10:022
215637199222,16cyclictest2163373-21ps19:30:301
215637199222,14cyclictest2167814-21ntp_states19:45:291
2156371992216,3cyclictest0-21swapper/120:30:011
215637399193,4cyclictest0-21swapper/320:15:243
215637099191,15cyclictest2156390-21latency_hist19:10:020
215637399174,9cyclictest0-21swapper/323:15:273
215637399173,6cyclictest0-21swapper/323:05:233
215637399172,8cyclictest0-21swapper/323:55:293
215637399172,7cyclictest0-21swapper/323:30:233
215637399171,8cyclictest0-21swapper/319:45:273
215637399171,7cyclictest0-21swapper/320:10:213
215637399164,6cyclictest0-21swapper/322:10:283
215637399164,6cyclictest0-21swapper/322:10:283
215637399163,7cyclictest0-21swapper/321:55:303
215637399163,7cyclictest0-21swapper/321:55:303
215637399162,7cyclictest0-21swapper/323:45:263
215637399162,6cyclictest0-21swapper/319:30:243
215637399162,5cyclictest0-21swapper/320:00:253
215637399161,7cyclictest0-21swapper/321:10:283
215637399161,7cyclictest0-21swapper/321:00:223
215637199161,12cyclictest2156376-21true19:10:011
215637399155,3cyclictest0-21swapper/300:00:253
215637399153,8cyclictest0-21swapper/323:25:273
215637399153,7cyclictest0-21swapper/323:40:283
215637399153,6cyclictest0-21swapper/322:25:343
215637399153,6cyclictest0-21swapper/322:00:283
215637399153,6cyclictest0-21swapper/322:00:283
215637399153,6cyclictest0-21swapper/320:40:283
215637399153,6cyclictest0-21swapper/319:25:223
215637399152,8cyclictest0-21swapper/300:35:293
215637399152,8cyclictest0-21swapper/300:20:283
215637399152,8cyclictest0-21swapper/300:15:273
215637399152,7cyclictest0-21swapper/321:30:233
215637399152,6cyclictest0-21swapper/323:10:233
215637399152,6cyclictest0-21swapper/320:50:243
215637399152,6cyclictest0-21swapper/320:20:253
215637399151,8cyclictest0-21swapper/322:20:303
215637399151,8cyclictest0-21swapper/319:15:313
215637399151,7cyclictest0-21swapper/323:50:253
215637399151,7cyclictest0-21swapper/322:40:293
215637399151,7cyclictest0-21swapper/321:40:313
215637399142,8cyclictest0-21swapper/321:29:233
215637399142,7cyclictest0-21swapper/322:35:313
215637399142,7cyclictest0-21swapper/322:05:253
215637399142,7cyclictest0-21swapper/322:05:253
215637399142,7cyclictest0-21swapper/319:55:223
215637399142,7cyclictest0-21swapper/300:25:283
215637399142,7cyclictest0-21swapper/300:05:283
215637399142,6cyclictest0-21swapper/323:35:243
215637399142,6cyclictest0-21swapper/321:50:143
215637399142,6cyclictest0-21swapper/321:45:113
215637399142,6cyclictest0-21swapper/319:40:283
215637399141,8cyclictest0-21swapper/323:20:273
215637399141,8cyclictest0-21swapper/321:15:303
215637399141,7cyclictest0-21swapper/322:30:243
215637399141,6cyclictest0-21swapper/320:45:223
215637399141,6cyclictest0-21swapper/320:25:213
215637399133,7cyclictest0-21swapper/320:30:233
215637399132,6cyclictest0-21swapper/322:15:193
215637399132,6cyclictest0-21swapper/300:30:133
215637399131,7cyclictest0-21swapper/322:45:243
215637399131,6cyclictest0-21swapper/323:00:253
215637399131,5cyclictest0-21swapper/319:35:233
215637399131,5cyclictest0-21swapper/319:35:233
215637399130,7cyclictest0-21swapper/319:10:243
215637399123,6cyclictest0-21swapper/322:55:233
215637399122,6cyclictest0-21swapper/322:50:243
215637399122,6cyclictest0-21swapper/300:10:143
215637399121,7cyclictest0-21swapper/321:35:173
215637399121,7cyclictest0-21swapper/321:05:273
215637399121,7cyclictest0-21swapper/320:55:303
215637399121,6cyclictest0-21swapper/320:35:243
215637399121,6cyclictest0-21swapper/319:50:213
215637399121,6cyclictest0-21swapper/319:20:243
215637399102,5cyclictest0-21swapper/320:05:253
21563739981,4cyclictest0-21swapper/319:10:033
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional