You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-09-04 - 03:52

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack2slot7s.osadl.org (updated Thu Sep 04, 2025 00:40:34)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2789381996655,8cyclictest1041299-21cups-browsed23:33:281
2789380996047,5cyclictest2836182-21kworker/u8:3-rpciod21:35:010
2789380995446,5cyclictest422-21dbus-daemon19:20:020
2789380995441,5cyclictest2832773-21idleruntime-cro21:20:010
2789382995242,6cyclictest2881744-21mailstats22:28:352
2789381995244,5cyclictest2879180-21grep22:25:011
2789381995041,6cyclictest2801433-21systemd-run19:50:011
2789380994843,3cyclictest151ktimers/022:18:310
278938299474,34cyclictest2870782-21ssh22:13:322
2789381994735,8cyclictest2846933-21munin-run21:40:011
2789381994735,8cyclictest2846933-21munin-run21:40:011
278938199473,33cyclictest2899296-21ssh22:53:291
278938199473,33cyclictest2899296-21ssh22:53:291
2789380994741,3cyclictest0-21swapper/022:03:360
278938099473,38cyclictest2870843-21ssh22:13:340
2789380994728,3cyclictest2901566-21kworker/0:1+events_power_efficient22:58:350
2789381994638,5cyclictest2914645-21latency_hist23:15:021
2789382994537,5cyclictest2951180-21aten_r2power_fr00:08:182
2789382994537,5cyclictest2951180-21aten_r2power_fr00:08:182
2789381994523,16cyclictest261rcuc/121:48:311
2789382994435,6cyclictest2802903-21ls19:55:012
278938299441,7cyclictest171rcu_preempt19:37:472
2789381994435,4cyclictest0-21swapper/122:43:271
2789382994335,5cyclictest2825408-21diskmemload22:38:422
2789382994335,5cyclictest0-21swapper/220:15:012
2789382994334,6cyclictest2814927-21systemd-run20:35:022
2789381994334,5cyclictest2904012-21systemctl23:00:011
278938099431,38cyclictest2968010-21ssh00:33:330
278938099431,38cyclictest2968010-21ssh00:33:330
2789382994236,3cyclictest0-21swapper/220:43:262
2789382994234,5cyclictest2885613-21sed22:33:412
2789382994233,6cyclictest2946157-40systemctl00:00:022
278938299423,34cyclictest2849458-21ssh21:43:332
2789382994231,3cyclictest0-21swapper/220:53:312
278938299422,36cyclictest2877900-21ssh22:23:252
278938299422,30cyclictest2923910-21ssh23:28:292
278938199429,7cyclictest0-21swapper/123:03:291
2789380994234,5cyclictest2965817-21systemd-run00:30:010
2789380994216,3cyclictest14-21ksoftirqd/000:13:310
278938299412,33cyclictest2913394-21diskmemload23:13:302
2789381994135,4cyclictest0-21swapper/100:00:021
2789381994132,6cyclictest2962685-21true00:25:011
2789381994131,7cyclictest421-21avahi-daemon00:13:031
2789382994034,3cyclictest0-21swapper/221:10:012
2789382994032,5cyclictest2919981-21fschecks_time23:23:222
2789382994032,5cyclictest2918153-21latency_hist23:20:022
2789382994032,5cyclictest2832174-21unixbench_singl21:18:452
2789382994031,3cyclictest0-21swapper/219:15:012
2789381994033,5cyclictest2882769-21kworker/u8:8+events_unbound23:20:011
2789381994032,5cyclictest2919882-21cpu23:23:201
2789381994030,7cyclictest266-21systemd-journal22:07:391
2789381994030,6cyclictest2965817-21systemd-run00:30:011
2789380994029,7cyclictest12450irq/32-eth000:23:300
2789380994023,14cyclictest2860049-21ssh21:58:290
278938099401,36cyclictest2888679-21ssh22:38:330
2789382993931,5cyclictest2838233-21fschecks_time21:28:202
2789382993930,5cyclictest2795395-21systemd-run19:30:022
2789381993932,4cyclictest957-21mta-sts-daemon19:55:011
2789381993928,7cyclictest421-21avahi-daemon22:18:351
278938199392,30cyclictest2860015-21rm21:58:271
2789380993933,4cyclictest2804399-21grep20:00:010
2789382993830,4cyclictest2846934-21grep21:40:012
2789382993830,4cyclictest2846934-21grep21:40:012
278938299382,26cyclictest2856391-21ssh21:53:272
2789381993830,5cyclictest2886227-21cron22:35:011
2789381993830,5cyclictest2823771-21unixbench-2d21:03:381
278938199381,6cyclictest0-21swapper/119:13:251
2789380993831,4cyclictest2828188-21proc_pri21:13:360
2789380993830,5cyclictest2931546-21unixbench_singl23:38:410
2789380993830,5cyclictest2931546-21unixbench_singl23:38:410
278938099382,30cyclictest2951798-21ssh00:08:290
278938099382,30cyclictest2951798-21ssh00:08:290
2789382993729,5cyclictest2822400-21awk21:00:012
2789381993730,4cyclictest957-21mta-sts-daemon00:36:471
2789381993730,4cyclictest957-21mta-sts-daemon00:36:471
2789381993730,3cyclictest0-21swapper/120:03:321
2789381993730,3cyclictest0-21swapper/120:03:321
2789381993729,5cyclictest2822445-21latency_hist21:00:021
2789381993727,4cyclictest0-21swapper/121:23:281
2789381993726,4cyclictest0-21swapper/100:33:321
2789381993726,4cyclictest0-21swapper/100:33:321
2789381993720,13cyclictest271ktimers/120:53:281
2789380993731,4cyclictest2925091-21munin-plugin-st23:30:010
2789380993731,3cyclictest0-21swapper/022:48:200
2789380993731,3cyclictest0-21swapper/022:33:400
2789380993729,5cyclictest2856444-21ntp_kernel_pll_21:53:290
278938099372,28cyclictest2845831-21sh21:38:340
278938099372,28cyclictest2845831-21sh21:38:340
2789380993718,12cyclictest151ktimers/023:33:320
278938099371,30cyclictest2913418-21ssh23:13:310
278938299363,26cyclictest2938084-21ssh23:48:322
2789382993629,4cyclictest955-21mta-sts-daemon00:38:262
2789382993629,4cyclictest955-21mta-sts-daemon00:38:262
2789382993628,5cyclictest1-21systemd00:20:012
2789382993628,4cyclictest0-21swapper/223:38:312
2789382993628,4cyclictest0-21swapper/223:38:312
2789382993628,4cyclictest0-21swapper/222:18:352
2789381993626,7cyclictest2931097-21proc_pri23:38:351
2789381993626,7cyclictest2931097-21proc_pri23:38:351
278938199361,29cyclictest2870721-21ssh22:13:301
278938099364,25cyclictest2971010-21ssh00:38:280
278938099364,25cyclictest2971010-21ssh00:38:280
2789380993630,2cyclictest0-21swapper/022:53:290
2789380993630,2cyclictest0-21swapper/022:53:290
2789380993629,4cyclictest422-21dbus-daemon23:23:220
278938099362,27cyclictest2852877-21ssh21:48:300
2789382993528,4cyclictest957-21mta-sts-daemon23:03:302
2789382993527,5cyclictest2955710-21unixbench-2d00:13:422
2789382993526,6cyclictest2968281-21threads00:33:402
2789382993526,6cyclictest2968281-21threads00:33:402
2789382993524,8cyclictest2903213-21timerandwakeup22:58:402
2789381993529,3cyclictest0-21swapper/120:20:011
2789381993528,4cyclictest1-21systemd23:28:361
2789381993528,3cyclictest0-21swapper/123:10:011
2789381993527,5cyclictest2812461-21fschecks_time20:28:241
2789381993525,7cyclictest2863520-21ntp_kernel_err22:03:241
2789381993521,9cyclictest2825441-21ssh21:10:021
2789380993527,6cyclictest421-21avahi-daemon22:23:100
2789380993527,5cyclictest422-21dbus-daemon19:55:010
278938099352,26cyclictest2906342-21ssh23:03:290
2789380993521,12cyclictest12450irq/32-eth023:08:250
278938099351,28cyclictest2892071-21rm22:43:240
2789382993427,4cyclictest2864150-21unixbench_multi22:03:362
2789382993427,3cyclictest0-21swapper/200:23:402
2789382993425,6cyclictest0-21swapper/219:20:012
2789382993424,6cyclictest2842628-21grep21:33:362
278938299342,25cyclictest2934403-21ssh23:43:222
278938299342,25cyclictest2835086-21ssh21:23:272
2789381993427,4cyclictest956-21mta-sts-daemon00:18:161
2789381993427,4cyclictest2856029-21fschecks_time21:53:211
2789381993426,5cyclictest2804407-21idleruntime-cro20:00:011
2789381993425,6cyclictest491-21gdbus19:38:401
278938099343,7cyclictest171rcu_preempt19:33:260
2789380993425,7cyclictest2949554-21idleruntime-cro00:05:010
2789380993413,16cyclictest422-21dbus-daemon19:43:280
2789380993410,19cyclictest2945017-21ssh23:58:320
2789382993327,4cyclictest957-21mta-sts-daemon23:52:352
2789382993325,4cyclictest957-21mta-sts-daemon21:46:322
2789382993323,8cyclictest2949553-21sh00:05:012
2789381993326,5cyclictest0-21swapper/122:40:011
2789381993326,3cyclictest0-21swapper/121:13:251
2789381993323,3cyclictest2881601-21ssh22:28:311
278938099334,8cyclictest171rcu_preempt21:43:260
278938099332,25cyclictest657-21snmpd21:03:250
2789380993315,12cyclictest12450irq/32-eth019:38:350
2789382993226,3cyclictest2847441-21kworker/u8:1-xprtiod22:45:382
2789382993223,6cyclictest2819331-21unixbench_singl20:48:362
278938299321,16cyclictest959-21mta-sts-daemon20:08:272
278938299321,16cyclictest959-21mta-sts-daemon20:08:272
278938199323,23cyclictest2842089-21ssh21:33:251
2789381993227,3cyclictest0-21swapper/120:43:261
2789381993224,5cyclictest2949572-21systemd-run00:05:021
2789381993222,2cyclictest171rcu_preempt20:08:281
2789381993222,2cyclictest171rcu_preempt20:08:281
278938199321,14cyclictest28-21ksoftirqd/121:43:291
2789380993219,11cyclictest0-21swapper/021:10:010
2789382993124,4cyclictest959-21mta-sts-daemon21:11:512
2789382993123,4cyclictest0-21swapper/219:43:282
2789381993123,5cyclictest2941444-21ntp_kernel_err23:53:261
2789381993122,5cyclictest0-21swapper/121:18:381
278938199312,23cyclictest2934476-21ssh23:43:251
2789381993120,8cyclictest2808900-21idleruntime-cro20:15:001
2789381993118,10cyclictest271ktimers/119:18:261
278938099317,14cyclictest437-21mta-sts-daemon20:43:330
2789380993124,4cyclictest2882118-21unixbench_singl22:28:400
2789380993121,8cyclictest2821713-21needreboot20:58:250
2789380993114,8cyclictest14-21ksoftirqd/019:48:280
278938099311,3cyclictest171rcu_preempt20:48:310
2789382993023,4cyclictest956-21mta-sts-daemon21:57:412
2789382993022,5cyclictest2910400-21grep23:08:372
278938299300,24cyclictest2867214-21ssh22:08:342
2789381993024,3cyclictest0-21swapper/121:28:381
2789381993023,3cyclictest0-21swapper/123:48:331
2789381993023,2cyclictest0-21swapper/100:08:421
2789381993023,2cyclictest0-21swapper/100:08:421
2789380993024,3cyclictest0-21swapper/019:30:020
2789380993023,4cyclictest2867779-21unixbench_multi22:08:450
2789380993022,5cyclictest2946165-21cups-browsed00:17:150
2789380993022,5cyclictest0-21swapper/023:49:380
2789382992922,4cyclictest0-21swapper/223:33:262
2789382992922,3cyclictest0-21swapper/220:40:012
2789382992922,3cyclictest0-21swapper/220:20:012
278938299292,21cyclictest2811423-21sshd20:23:352
2789382992921,5cyclictest2792924-21sort19:23:232
2789382992914,11cyclictest422-21dbus-daemon22:54:452
2789382992914,11cyclictest422-21dbus-daemon22:54:452
2789382992913,13cyclictest351ktimers/221:03:282
2789381992923,3cyclictest0-21swapper/122:48:271
278938199292,23cyclictest2815858-21ntpq20:38:301
2789381992921,5cyclictest2811916-21cron20:25:001
2789381992916,4cyclictest2796832-21sshd19:33:351
2789380992924,2cyclictest0-21swapper/023:53:160
2789380992923,4cyclictest2935060-21grep23:43:360
2789380992920,6cyclictest2838531-21needreboot21:28:250
278938099291,4cyclictest171rcu_preempt20:53:280
2789382992820,5cyclictest2892302-21processes22:43:332
2789380992823,2cyclictest0-21swapper/019:25:020
2789380992822,4cyclictest2833719-21sh21:21:460
2789380992821,4cyclictest421-21avahi-daemon20:23:260
2789380992818,8cyclictest2804432-21kworker/u8:11-xprtiod20:13:180
2789382992719,5cyclictest2804399-21grep20:00:012
2789382992714,10cyclictest955-21mta-sts-daemon19:33:232
278938299271,21cyclictest2964769-21ssh00:28:392
2789380992721,4cyclictest2810306-21unixbench_multi20:18:370
2789380992720,4cyclictest2807354-21unixbench_singl20:08:380
2789380992720,4cyclictest2807354-21unixbench_singl20:08:380
2789380992720,3cyclictest0-21swapper/023:18:250
2789381992616,2cyclictest2799319-21ntpq19:43:281
278938099256,13cyclictest684-21munin-node19:13:270
2789380992517,5cyclictest2816435-21systemd-run20:40:020
2789382992415,6cyclictest1041299-21cups-browsed20:27:392
278938199241,19cyclictest422-21dbus-daemon20:35:021
278938199241,18cyclictest1041299-21cups-browsed19:28:261
2789381992317,3cyclictest0-21swapper/120:48:221
278938199231,15cyclictest2793379-21sshd19:23:351
2789380992315,6cyclictest2813722-21sh20:33:160
278938099231,19cyclictest2805941-21munin-run20:05:020
278938099231,19cyclictest2805941-21munin-run20:05:020
278938099222,15cyclictest2812809-21ntpq20:28:310
2789382992116,2cyclictest0-21swapper/219:10:022
278938399206,10cyclictest0-21swapper/322:58:323
278938399202,9cyclictest0-21swapper/321:23:273
2789382992014,3cyclictest2785395-21kworker/u8:10-rpciod20:04:012
2789382992014,3cyclictest2785395-21kworker/u8:10-rpciod20:04:012
2789382992014,3cyclictest0-21swapper/219:48:292
2789381992016,2cyclictest0-21swapper/119:10:021
278938399194,9cyclictest0-21swapper/322:18:353
278938399194,7cyclictest0-21swapper/322:13:333
278938399192,9cyclictest0-21swapper/321:58:313
278938399192,9cyclictest0-21swapper/321:53:273
278938399191,9cyclictest0-21swapper/322:48:313
278938399185,9cyclictest0-21swapper/323:43:243
278938399183,9cyclictest0-21swapper/322:38:303
278938399183,8cyclictest0-21swapper/322:08:343
278938399183,8cyclictest0-21swapper/300:08:293
278938399183,8cyclictest0-21swapper/300:08:293
278938399182,9cyclictest0-21swapper/323:28:283
278938399182,9cyclictest0-21swapper/322:43:273
278938399182,9cyclictest0-21swapper/300:28:393
278938399181,9cyclictest0-21swapper/322:23:253
278938399181,9cyclictest0-21swapper/321:43:323
278938399174,9cyclictest0-21swapper/320:53:313
278938399174,8cyclictest0-21swapper/322:03:253
278938399174,6cyclictest0-21swapper/321:33:273
278938399174,5cyclictest0-21swapper/300:38:253
278938399174,5cyclictest0-21swapper/300:38:253
278938399173,7cyclictest0-21swapper/323:08:263
278938399172,9cyclictest0-21swapper/321:18:313
278938399172,8cyclictest0-21swapper/321:13:273
278938399172,7cyclictest0-21swapper/322:53:283
278938399172,7cyclictest0-21swapper/322:53:283
278938399172,7cyclictest0-21swapper/300:18:263
278938399172,10cyclictest0-21swapper/321:38:313
278938399172,10cyclictest0-21swapper/321:38:313
278938399171,9cyclictest0-21swapper/323:18:333
278938399165,7cyclictest0-21swapper/323:48:343
278938399163,7cyclictest0-21swapper/323:33:273
278938399163,7cyclictest0-21swapper/322:28:323
278938399163,7cyclictest0-21swapper/300:13:273
278938399162,8cyclictest0-21swapper/323:58:273
278938399162,8cyclictest0-21swapper/300:33:313
278938399162,8cyclictest0-21swapper/300:33:313
278938399162,6cyclictest0-21swapper/319:37:473
278938399161,8cyclictest0-21swapper/319:58:233
278938399161,7cyclictest0-21swapper/320:38:303
278938099161,7cyclictest2789386-21true19:10:010
278938399153,6cyclictest0-21swapper/323:23:153
278938399152,8cyclictest0-21swapper/323:38:313
278938399152,8cyclictest0-21swapper/323:38:313
278938399152,8cyclictest0-21swapper/321:48:273
278938399152,8cyclictest0-21swapper/300:03:303
278938399152,7cyclictest0-21swapper/300:23:263
278938399151,9cyclictest0-21swapper/323:53:203
278938399151,9cyclictest0-21swapper/322:33:283
278938399151,8cyclictest0-21swapper/319:43:303
278938399151,7cyclictest0-21swapper/320:03:293
278938399151,7cyclictest0-21swapper/320:03:293
278938399151,7cyclictest0-21swapper/319:53:253
278938399151,7cyclictest0-21swapper/319:13:263
278938399144,6cyclictest0-21swapper/319:28:303
278938399143,5cyclictest0-21swapper/320:28:313
278938399142,8cyclictest0-21swapper/323:13:183
278938399142,7cyclictest0-21swapper/319:18:273
278938399142,6cyclictest0-21swapper/320:43:263
278938399141,8cyclictest0-21swapper/321:28:273
278938399141,6cyclictest0-21swapper/320:23:303
278938399133,7cyclictest0-21swapper/323:03:393
278938399132,7cyclictest0-21swapper/319:23:293
278938399131,7cyclictest0-21swapper/321:08:323
278938399131,7cyclictest0-21swapper/320:58:303
278938399131,7cyclictest0-21swapper/320:33:253
278938399131,7cyclictest0-21swapper/319:48:283
278938399122,5cyclictest0-21swapper/320:48:233
278938399121,7cyclictest0-21swapper/321:03:253
278938399111,6cyclictest0-21swapper/320:18:283
278938399111,6cyclictest0-21swapper/320:13:253
278938399111,6cyclictest0-21swapper/320:08:273
278938399111,6cyclictest0-21swapper/320:08:273
278938399101,6cyclictest0-21swapper/319:33:273
278938399101,5cyclictest0-21swapper/319:10:033
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional