You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-08-21 - 16:14

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Thu Aug 21, 2025 12:40:41)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2072456999085,2cyclictest0-21swapper/112:00:011
2072457996757,6cyclictest1276732-21cups-browsed09:38:222
2072456996750,12cyclictest2219358-40mandb12:00:221
2072455996346,13cyclictest2219358-40mandb12:00:530
2072457995645,6cyclictest421-21avahi-daemon09:48:232
2072455995645,6cyclictest2219407-21ssh11:59:540
2072455995443,8cyclictest2159387-21unixbench_singl10:28:330
2072457995245,3cyclictest2215694-21kworker/u8:9-rpciod12:01:022
2072455995244,5cyclictest2153607-21munin-run10:20:010
207245699504,38cyclictest2225594-21ssh12:08:151
2072457994940,5cyclictest2137865-21sh09:55:012
2072455994942,2cyclictest0-21swapper/011:20:020
2072457994840,5cyclictest2219465-21run-parts12:00:012
2072455994739,5cyclictest2201340-21systemd-run11:35:010
2072455994739,5cyclictest2201340-21systemd-run11:35:010
2072455994738,5cyclictest422-21dbus-daemon11:25:020
2072455994738,5cyclictest422-21dbus-daemon11:25:020
2072457994637,6cyclictest2147382-21true10:10:012
2072457994637,6cyclictest2147382-21true10:10:012
2072456994637,5cyclictest1-21systemd11:50:011
2072456994635,4cyclictest0-21swapper/109:48:231
2072455994638,5cyclictest1276732-21cups-browsed09:21:330
2072455994634,8cyclictest2156660-21sh10:25:010
2072455994537,5cyclictest2181894-21systemd-run11:05:010
2072455994536,6cyclictest2093464-21sh08:20:010
2072455994536,6cyclictest2093464-21sh08:20:010
2072456994435,6cyclictest2105427-21cut09:00:011
2072455994437,4cyclictest2128143-21munin-run09:40:010
2072455994434,6cyclictest2123226-21cpu09:33:120
2072457994331,8cyclictest1-21systemd09:30:012
207245699435,28cyclictest2240969-21ssh12:28:201
207245699433,34cyclictest2177581-21ssh10:58:311
207245699433,34cyclictest2177581-21ssh10:58:311
2072455994326,10cyclictest0-21swapper/011:13:270
2072457994229,10cyclictest2150018-21unixbench_singl10:13:332
2072456994234,5cyclictest2118847-21latency_hist09:25:021
2072455994233,6cyclictest2146751-21unixbench-2d10:08:360
2072455994233,6cyclictest2146751-21unixbench-2d10:08:360
2072457994132,6cyclictest956-21mta-sts-daemon10:03:082
2072457994131,5cyclictest1276732-21cups-browsed09:24:232
207245699414,30cyclictest1690079-21ntpd12:18:181
2072456994133,5cyclictest1276732-21cups-browsed10:40:021
2072455994134,4cyclictest2232819-21cpuspeed12:18:110
2072455994131,7cyclictest421-21avahi-daemon09:48:230
2072457994032,5cyclictest955-21mta-sts-daemon12:22:202
207245699402,26cyclictest2155567-21ssh10:23:221
2072455994030,6cyclictest1276732-21cups-browsed10:40:030
2072455994028,9cyclictest2109849-21sshd09:12:210
2072455994028,9cyclictest2109849-21sshd09:12:210
2072455994022,14cyclictest12450irq/32-eth010:43:280
2072457993931,5cyclictest422-21dbus-daemon08:40:022
2072457993931,5cyclictest2131335-21ssh09:45:012
2072456993930,7cyclictest2163201-21/usr/sbin/munin10:35:021
2072456993930,5cyclictest266-21systemd-journal10:20:011
2072456993929,6cyclictest0-21swapper/109:20:011
2072455993932,4cyclictest955-21mta-sts-daemon09:16:000
2072455993927,3cyclictest171rcu_preempt10:03:270
207245599392,34cyclictest0-21swapper/007:33:230
207245799384,30cyclictest2155473-21ssh10:23:182
2072457993831,5cyclictest2219548-21kworker/u8:14-rpciod12:13:082
2072457993831,4cyclictest2199730-21if_eth011:33:132
2072457993831,4cyclictest2199730-21if_eth011:33:132
2072457993830,5cyclictest2214496-21processes11:53:322
2072457993830,5cyclictest2174628-21needreboot10:53:182
2072457993829,5cyclictest2150568-21kworker/u8:5-rpciod10:20:012
2072457993826,8cyclictest2225718-21rm12:08:202
2072456993830,5cyclictest2093429-21grep08:20:011
2072456993830,5cyclictest2093429-21grep08:20:011
2072456993829,5cyclictest2171188-21fschecks_count10:48:301
207245699381,29cyclictest2101978-21sendmail-mta08:48:271
2072455993831,4cyclictest12550irq/33-eth012:28:260
2072455993830,5cyclictest2245418-21tail12:33:320
2072455993830,5cyclictest2245418-21tail12:33:320
2072455993830,5cyclictest2204883-21awk11:40:010
2072455993827,5cyclictest0-21swapper/009:58:270
2072455993818,3cyclictest171rcu_preempt09:43:220
2072457993730,4cyclictest0-21swapper/207:40:012
2072457993729,5cyclictest2187151-21ntpq11:13:222
2072457993729,5cyclictest2104962-21proc_pri08:58:352
2072457993728,5cyclictest2094969-21systemd-run08:25:012
2072457993727,6cyclictest2087464-21systemd-run08:00:012
2072456993730,4cyclictest2093982-21fschecks_time08:23:131
2072456993730,4cyclictest2081440-21systemctl07:40:011
2072456993724,9cyclictest2179991-21aten_r2power_cu11:03:111
2072455993730,4cyclictest2206879-21kernelversion11:43:150
2072455993728,6cyclictest1276732-21cups-browsed12:12:020
2072457993627,7cyclictest2075474-21sh07:20:032
2072457993627,6cyclictest959-21mta-sts-daemon09:12:172
2072457993627,6cyclictest959-21mta-sts-daemon09:12:172
2072457993627,6cyclictest422-21dbus-daemon11:40:012
2072457993625,7cyclictest2208623-21latency_hist11:45:022
2072456993629,4cyclictest0-21swapper/109:58:161
2072456993628,5cyclictest2099447-21idleruntime-cro08:40:011
2072456993627,5cyclictest2197003-21ntp_kernel_pll_11:28:231
2072456993627,5cyclictest2197003-21ntp_kernel_pll_11:28:231
2072456993626,6cyclictest422-21dbus-daemon09:38:231
2072455993629,4cyclictest2178008-21unixbench_multi10:58:370
2072455993629,4cyclictest2178008-21unixbench_multi10:58:370
2072455993629,4cyclictest2081326-21tail07:38:330
2072455993627,6cyclictest0-21swapper/009:53:290
2072455993620,3cyclictest171rcu_preempt10:53:230
2072455993615,2cyclictest171rcu_preempt09:05:400
2072457993529,3cyclictest0-21swapper/210:00:012
2072457993528,4cyclictest2193268-21fschecks_time11:23:132
2072457993528,4cyclictest2193268-21fschecks_time11:23:132
2072457993527,5cyclictest2088827-21unixbench_multi08:03:362
2072457993527,4cyclictest0-21swapper/211:03:262
2072457993525,6cyclictest2177045-21diskstats10:58:182
2072457993525,6cyclictest2177045-21diskstats10:58:182
207245699358,20cyclictest266-21systemd-journal09:08:211
207245699354,5cyclictest171rcu_preempt10:08:231
207245699354,5cyclictest171rcu_preempt10:08:231
2072456993521,5cyclictest171rcu_preempt09:13:191
2072456993521,5cyclictest171rcu_preempt09:13:191
2072455993527,5cyclictest2247961-21/usr/sbin/munin12:38:330
2072455993521,3cyclictest171rcu_preempt10:33:210
207245599351,11cyclictest14-21ksoftirqd/012:23:250
207245799344,27cyclictest2190471-21ssh11:18:252
2072457993427,3cyclictest0-21swapper/210:38:302
2072457993426,5cyclictest2078977-21fschecks_time07:33:172
2072457993425,6cyclictest2184376-21unixbench-2d11:08:342
2072457993423,8cyclictest2210383-21if_wlan011:48:152
207245799342,24cyclictest2114399-21ssh09:18:262
207245799341,26cyclictest266-21systemd-journal12:33:222
207245799341,26cyclictest266-21systemd-journal12:33:222
2072456993428,3cyclictest0-21swapper/112:40:011
2072456993426,5cyclictest2185019-21munin-run11:10:011
2072456993426,5cyclictest2097934-21munin-plugin-st08:35:011
2072456993426,5cyclictest0-21swapper/111:53:301
2072456993423,8cyclictest2124243-21timerwakeupswit09:33:331
2072456993423,5cyclictest955-21mta-sts-daemon08:08:401
2072456993416,10cyclictest0-21swapper/112:33:191
2072456993416,10cyclictest0-21swapper/112:33:191
207245599349,3cyclictest171rcu_preempt12:08:210
2072455993423,3cyclictest0-21swapper/011:55:020
2072455993422,3cyclictest171rcu_preempt07:28:260
2072457993325,5cyclictest2084973-21fschecks_time07:53:152
2072456993327,3cyclictest2115630-21kworker/u8:12-xprtiod09:45:011
2072456993327,3cyclictest0-21swapper/109:30:011
2072456993324,5cyclictest1-21systemd12:15:021
2072455993327,4cyclictest2210216-21cpuspeed11:48:110
2072455993327,4cyclictest2121947-21munin-plugin-st09:30:010
2072457993225,4cyclictest0-21swapper/212:20:022
2072456993224,5cyclictest2199995-21netstat11:33:171
2072456993224,5cyclictest2199995-21netstat11:33:171
2072456993224,3cyclictest0-21swapper/110:43:241
2072456993223,6cyclictest2174219-21cpu10:53:121
2072455993225,4cyclictest422-21dbus-daemon10:15:010
2072455993225,4cyclictest2090341-21unixbench_multi08:08:450
2072455993218,11cyclictest2103868-21unixbench_singl08:53:320
2072457993124,4cyclictest956-21mta-sts-daemon08:53:192
2072457993123,4cyclictest0-21swapper/212:28:182
2072457993121,8cyclictest2076771-21timerwakeupswit07:23:302
2072456993124,3cyclictest0-21swapper/111:40:011
2072456993123,5cyclictest0-21swapper/111:25:021
2072456993123,5cyclictest0-21swapper/111:25:021
2072456993122,6cyclictest2106965-21systemd-run09:05:021
207245699312,23cyclictest2085319-21sshd07:53:211
207245599319,3cyclictest171rcu_preempt08:38:220
2072455993123,5cyclictest1276732-21cups-browsed07:25:020
2072455993121,5cyclictest151ktimers/008:48:250
2072455993118,3cyclictest171rcu_preempt11:08:250
2072455993118,3cyclictest171rcu_preempt08:43:250
2072457993023,4cyclictest2159936-21munin-plugin-st10:30:012
2072457993022,5cyclictest2091880-21unixbench_singl08:13:312
2072457993022,5cyclictest2091880-21unixbench_singl08:13:312
2072457993022,5cyclictest2089219-21aten_r2power_cu08:08:102
2072457993022,5cyclictest1276732-21cups-browsed09:33:232
207245799302,22cyclictest2248723-21ssh12:38:212
2072457993021,6cyclictest421-21avahi-daemon10:32:172
2072457993020,5cyclictest0-21swapper/207:28:202
2072456993024,3cyclictest0-21swapper/112:25:011
2072456993024,3cyclictest0-21swapper/110:15:021
2072456993023,4cyclictest2108533-21kworker/u8:1-xprtiod10:03:251
207245599309,3cyclictest171rcu_preempt07:48:200
207245599309,3cyclictest171rcu_preempt07:48:200
207245599304,18cyclictest437-21mta-sts-daemon08:58:300
2072455993020,3cyclictest171rcu_preempt08:14:210
2072455993020,3cyclictest171rcu_preempt08:14:210
2072455993019,3cyclictest171rcu_preempt08:33:210
2072455993019,2cyclictest171rcu_preempt07:53:210
2072455993018,3cyclictest171rcu_preempt07:56:210
2072455993015,3cyclictest171rcu_preempt11:25:360
2072455993015,3cyclictest171rcu_preempt11:25:360
2072455993015,3cyclictest171rcu_preempt09:03:180
207245599300,7cyclictest14-21ksoftirqd/008:28:210
207245799293,13cyclictest437-21mta-sts-daemon09:03:222
2072457992924,2cyclictest0-21swapper/208:50:012
2072457992923,3cyclictest0-21swapper/208:33:312
2072457992923,3cyclictest0-21swapper/207:50:012
2072457992923,3cyclictest0-21swapper/207:50:012
2072457992922,4cyclictest959-21mta-sts-daemon08:28:242
2072457992921,5cyclictest0-21swapper/210:48:052
2072457992920,6cyclictest453-21systemd-logind09:10:022
2072456992922,4cyclictest955-21mta-sts-daemon08:13:111
2072456992922,4cyclictest955-21mta-sts-daemon08:13:111
207245699292,20cyclictest2158882-21ssh10:28:261
2072456992921,4cyclictest0-21swapper/111:43:241
2072456992918,8cyclictest2083761-21needreboot07:48:181
2072456992918,8cyclictest2083761-21needreboot07:48:181
2072455992918,2cyclictest171rcu_preempt08:03:290
2072456992822,3cyclictest0-21swapper/111:15:011
2072456992822,2cyclictest0-21swapper/109:55:021
2072456992819,3cyclictest959-21mta-sts-daemon07:10:481
2072455992821,4cyclictest191rcuc/007:19:240
2072455992820,3cyclictest171rcu_preempt10:48:380
207245599281,5cyclictest2094413-21ntpq08:23:240
207245799277,15cyclictest437-21mta-sts-daemon08:18:312
207245799277,15cyclictest437-21mta-sts-daemon08:18:312
2072457992721,3cyclictest0-21swapper/211:27:452
2072457992721,3cyclictest0-21swapper/211:27:452
207245699273,14cyclictest437-21mta-sts-daemon07:23:181
2072456992722,3cyclictest2064116-21kworker/u8:1-xprtiod08:00:011
2072456992720,4cyclictest0-21swapper/107:18:191
207245699271,20cyclictest266-21systemd-journal11:18:211
207245599279,6cyclictest171rcu_preempt07:13:090
207245599273,8cyclictest14-21ksoftirqd/007:43:210
207245799263,17cyclictest2100312-21sshd08:43:212
2072457992619,5cyclictest2072784-21aten_r2power_fr07:13:092
2072456992618,6cyclictest2079698-21timerandwakeup07:33:341
2072457992519,4cyclictest2072454-21cyclictest10:41:392
2072456992516,5cyclictest0-21swapper/107:43:331
2072456992417,4cyclictest2072463-21kworker/u8:11+xprtiod07:10:011
2072456992415,4cyclictest0-21swapper/108:28:271
2072456992412,8cyclictest271ktimers/108:43:221
2072457992311,4cyclictest171rcu_preempt07:43:202
2072456992317,3cyclictest959-21mta-sts-daemon08:01:351
2072456992316,4cyclictest956-21mta-sts-daemon07:26:511
207245699231,19cyclictest2103355-21sshd08:53:221
2072455992310,7cyclictest171rcu_preempt07:10:030
207245899192,11cyclictest0-21swapper/312:00:563
207245899173,9cyclictest0-21swapper/312:00:013
207245899173,9cyclictest0-21swapper/310:28:213
207245899172,8cyclictest0-21swapper/311:03:263
207245799170,4cyclictest2072517-21wc07:10:022
207245899164,6cyclictest0-21swapper/311:28:283
207245899164,6cyclictest0-21swapper/311:28:283
207245899163,7cyclictest0-21swapper/309:28:203
207245899163,6cyclictest0-21swapper/310:38:213
207245899162,7cyclictest0-21swapper/312:23:233
207245899162,7cyclictest0-21swapper/309:18:223
207245899161,8cyclictest0-21swapper/312:18:243
207245899161,8cyclictest0-21swapper/307:43:203
207245899153,8cyclictest0-21swapper/310:18:213
207245899153,6cyclictest0-21swapper/308:20:013
207245899153,6cyclictest0-21swapper/308:20:013
207245899152,8cyclictest0-21swapper/312:28:223
207245899152,8cyclictest0-21swapper/310:53:233
207245899152,8cyclictest0-21swapper/309:33:243
207245899152,6cyclictest0-21swapper/307:58:253
207245899152,5cyclictest0-21swapper/309:08:193
207245899151,7cyclictest0-21swapper/308:13:253
207245899151,7cyclictest0-21swapper/308:13:253
207245899151,5cyclictest0-21swapper/308:33:183
207245899144,5cyclictest0-21swapper/310:13:203
207245899143,7cyclictest0-21swapper/309:38:223
207245899142,8cyclictest0-21swapper/311:18:213
207245899142,8cyclictest0-21swapper/310:23:213
207245899142,7cyclictest0-21swapper/312:13:253
207245899142,7cyclictest0-21swapper/311:13:213
207245899142,7cyclictest0-21swapper/311:08:163
207245899142,7cyclictest0-21swapper/310:08:253
207245899142,7cyclictest0-21swapper/310:08:253
207245899142,7cyclictest0-21swapper/309:48:213
207245899141,8cyclictest0-21swapper/312:08:233
207245899141,8cyclictest0-21swapper/311:38:223
207245899141,8cyclictest0-21swapper/309:43:283
207245899141,7cyclictest0-21swapper/309:53:253
207245899141,6cyclictest0-21swapper/307:38:263
207245899141,6cyclictest0-21swapper/307:23:183
207245899134,6cyclictest0-21swapper/309:58:253
207245899133,6cyclictest0-21swapper/311:33:183
207245899133,6cyclictest0-21swapper/311:33:183
207245899132,7cyclictest0-21swapper/312:33:203
207245899132,7cyclictest0-21swapper/312:33:203
207245899132,7cyclictest0-21swapper/311:51:213
207245899132,7cyclictest0-21swapper/309:13:283
207245899132,7cyclictest0-21swapper/309:13:283
207245899132,6cyclictest0-21swapper/307:20:033
207245899132,5cyclictest0-21swapper/311:22:213
207245899132,5cyclictest0-21swapper/311:22:213
207245899131,8cyclictest0-21swapper/311:48:203
207245899131,8cyclictest0-21swapper/311:43:133
207245899131,6cyclictest0-21swapper/310:45:033
207245899131,6cyclictest0-21swapper/308:08:203
207245899131,5cyclictest0-21swapper/308:48:203
207245899131,5cyclictest0-21swapper/307:13:193
207245899122,6cyclictest0-21swapper/310:48:403
207245899122,5cyclictest0-21swapper/308:43:213
207245899121,7cyclictest0-21swapper/312:38:133
207245899121,7cyclictest0-21swapper/310:01:343
207245899121,7cyclictest0-21swapper/309:23:143
207245899121,6cyclictest0-21swapper/310:30:213
207245899121,6cyclictest0-21swapper/307:53:213
207245899121,6cyclictest0-21swapper/307:33:243
207245899121,5cyclictest0-21swapper/307:48:143
207245899121,5cyclictest0-21swapper/307:48:143
207245899112,5cyclictest0-21swapper/307:28:193
207245899111,6cyclictest0-21swapper/308:03:213
207245899111,5cyclictest0-21swapper/308:28:153
207245899111,4cyclictest0-21swapper/308:25:023
207245899110,6cyclictest0-21swapper/308:58:313
207245899102,5cyclictest0-21swapper/310:58:093
207245899102,5cyclictest0-21swapper/310:58:093
207245899102,4cyclictest0-21swapper/309:03:213
207245899101,5cyclictest0-21swapper/308:53:193
20724589991,5cyclictest0-21swapper/308:38:203
20724589982,5cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional