You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-10 - 00:40

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Sun Aug 09, 2026 12:43:04)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2722234996036,5cyclictest2817409-21ssh10:45:570
2722235995446,5cyclictest2783168-21aten_r2power_cu09:50:431
2722234995230,13cyclictest0-21swapper/010:05:540
272223699514,36cyclictest2808243-21ssh10:30:562
2722235995040,6cyclictest2797918-21idleruntime-cro10:15:011
2722235995040,4cyclictest0-21swapper/112:30:561
2722235995038,5cyclictest0-21swapper/112:05:591
2722235994833,10cyclictest2799342-21mailstats10:16:031
2722235994741,3cyclictest0-21swapper/108:50:011
2722234994740,4cyclictest2779642-21idleruntime-cro09:45:000
2722236994638,5cyclictest2811152-21needreboot10:35:512
2722236994634,9cyclictest2823025-21sh10:55:472
2722236994535,6cyclictest2864956-21latency_hist12:05:022
2722235994537,5cyclictest2755218-21readlink09:00:011
2722234994537,6cyclictest2761275-21ssh09:15:010
2722234994532,10cyclictest2840565-21cron11:25:000
2722236994436,5cyclictest2874060-21idleruntime-cro12:20:012
2722235994436,5cyclictest2858796-21cron11:55:001
2722235994436,5cyclictest2858796-21cron11:55:001
2722235994436,5cyclictest265-21systemd-journal11:05:011
2722235994435,6cyclictest2840565-21cron11:25:001
2722234994435,6cyclictest2841848-21ntp_states11:25:590
2722234994433,7cyclictest151ktimers/012:20:580
272223699434,30cyclictest443-21gpm11:00:532
2722235994310,3cyclictest0-21swapper/107:40:571
272223699423,32cyclictest2802133-21ssh10:20:542
2722236994231,7cyclictest1-21systemd09:10:022
2722236994230,9cyclictest2869355-21mailstats12:11:012
2722235994231,7cyclictest421-21dbus-daemon12:00:511
2722235994230,6cyclictest1002-21mta-sts-daemon07:45:531
2722234994234,5cyclictest421-21dbus-daemon07:45:010
272223699414,28cyclictest2835586-21ssh11:15:522
272223699404,28cyclictest2774703-21ssh09:35:582
2722235994032,5cyclictest2791852-21ssh10:05:011
2722235994031,6cyclictest2766147-21unixbench_singl09:21:071
2722235994031,5cyclictest2837537-21sendmail11:20:001
2722235994029,7cyclictest420-21avahi-daemon09:45:131
2722235994029,5cyclictest0-21swapper/107:25:521
272223499403,29cyclictest2783899-21ssh09:50:570
2722234994031,6cyclictest2731205-21cron07:40:010
2722236993927,7cyclictest2786783-21needreboot09:55:512
272223599393,28cyclictest2814332-21ssh10:40:551
272223599393,28cyclictest2759451-21sh09:10:581
2722235993930,4cyclictest0-21swapper/112:20:011
2722235993927,6cyclictest0-21swapper/108:40:581
2722235993926,10cyclictest0-21swapper/112:10:581
2722236993830,5cyclictest2768846-21mailstats09:26:072
2722236993830,5cyclictest2766154-21unixbench_singl09:21:072
2722236993829,6cyclictest487-21rs:main2
2722236993829,6cyclictest487-21rs:main2
272223599386,25cyclictest2841817-21ssh11:25:571
2722235993831,4cyclictest2875805-21unixbench_multi12:21:051
2722235993831,4cyclictest2825331-21run-parts11:00:011
2722235993828,6cyclictest1944774-21cups-browsed09:18:581
2722234993832,4cyclictest2833199-21grep11:11:070
2722234993831,3cyclictest0-21swapper/010:55:580
2722234993830,5cyclictest151ktimers/010:00:590
2722234993829,6cyclictest1944774-21cups-browsed10:12:540
2722234993819,13cyclictest151ktimers/010:21:000
2722234993816,14cyclictest12650irq/32-eth011:05:540
2722236993728,6cyclictest0-21swapper/211:45:002
2722236993728,6cyclictest0-21swapper/211:45:002
2722236993728,4cyclictest0-21swapper/211:50:532
2722236993728,4cyclictest0-21swapper/211:50:532
2722236993725,9cyclictest2780849-21collect209:45:572
2722235993730,4cyclictest287309950kworker/u8:9+xprtiod12:40:011
2722235993729,5cyclictest2749216-21idleruntime-cro08:40:011
2722235993729,5cyclictest2743217-21munin-plugin-st08:20:001
2722235993729,5cyclictest2743217-21munin-plugin-st08:20:001
2722236993629,3cyclictest0-21swapper/210:45:572
2722236993627,6cyclictest1944774-21cups-browsed07:25:522
2722236993626,7cyclictest2840595-21sh11:25:012
2722235993627,5cyclictest1944774-21cups-browsed07:15:341
2722235993626,6cyclictest2746242-21systemd-run08:30:011
272223599362,26cyclictest2805331-21ssh10:25:591
272223599362,26cyclictest2805331-21ssh10:25:591
272223499363,23cyclictest2884448-21sh12:35:580
2722234993630,4cyclictest2861837-21cron12:00:000
2722234993627,6cyclictest421-21dbus-daemon11:05:020
2722234993617,15cyclictest12650irq/32-eth011:41:110
2722234993617,15cyclictest12650irq/32-eth011:41:110
272223699358,7cyclictest171rcu_preempt07:50:532
2722236993528,3cyclictest0-21swapper/209:20:012
2722236993527,5cyclictest2855780-21ssh11:50:012
2722236993527,5cyclictest2855780-21ssh11:50:012
2722236993527,5cyclictest2844837-21ssh11:30:572
2722236993527,5cyclictest2800974-21basename10:20:012
2722236993527,5cyclictest2778376-21head09:41:102
2722236993527,5cyclictest2743293-21sshd08:20:022
2722236993527,5cyclictest2743293-21sshd08:20:022
2722236993526,6cyclictest1944774-21cups-browsed10:51:022
2722235993526,6cyclictest2770509-21ssh09:30:021
2722235993526,6cyclictest1944774-21cups-browsed11:41:361
2722235993526,6cyclictest1944774-21cups-browsed11:41:361
2722235993526,5cyclictest2731250-21kworker/u8:18-xprtiod07:40:011
272223599352,27cyclictest2820390-21ssh10:50:541
272223699343,27cyclictest2881266-21sshd12:30:522
272223699343,24cyclictest2866187-21ssh12:05:592
2722236993427,4cyclictest2783167-21aten2.4-expect09:50:432
2722236993427,4cyclictest1001-21mta-sts-daemon11:10:332
2722236993427,3cyclictest0-21swapper/211:25:482
2722236993426,5cyclictest2758221-21diskmemload11:06:052
2722235993427,5cyclictest2779841-21latency_hist09:45:021
2722235993424,6cyclictest2786347-21aten_r2power_vo09:55:451
2722234993428,3cyclictest2821968-21sshd10:54:030
2722234993427,4cyclictest2813135-21munin-run10:40:010
2722234993425,5cyclictest1000-21mta-sts-daemon11:15:530
2722234993424,7cyclictest2770484-21/usr/sbin/munin09:30:020
2722234993421,10cyclictest2764354-21idleruntime-cro09:20:010
2722236993327,3cyclictest0-21swapper/207:20:012
2722236993325,5cyclictest2886272-21systemd-run12:40:012
2722236993323,6cyclictest265-21systemd-journal10:15:012
2722236993320,5cyclictest1000-21mta-sts-daemon09:13:402
2722236993315,11cyclictest2805315-21/usr/sbin/munin10:25:592
2722236993315,11cyclictest2805315-21/usr/sbin/munin10:25:592
2722235993326,3cyclictest0-21swapper/111:40:011
2722235993325,6cyclictest2816212-21kworker/u8:10+xprtiod10:50:011
2722235993323,8cyclictest2774673-21sh09:35:571
2722235993322,8cyclictest1000-21mta-sts-daemon10:05:431
2722234993328,2cyclictest0-21swapper/007:25:020
2722234993325,5cyclictest2846682-21systemd-run11:35:010
2722234993325,4cyclictest2809786-21kworker/u8:3-xprtiod11:38:180
2722234993324,6cyclictest1944774-21cups-browsed09:23:220
2722234993323,8cyclictest0-21swapper/008:41:050
2722236993227,2cyclictest0-21swapper/211:55:472
2722236993224,4cyclictest0-21swapper/210:05:532
2722236993224,4cyclictest0-21swapper/208:30:532
2722236993223,6cyclictest2749758-21fschecks_time08:40:472
2722236993222,7cyclictest1944774-21cups-browsed12:25:372
2722236993212,13cyclictest1001-21mta-sts-daemon09:01:012
2722235993225,4cyclictest2859577-21gltestperf11:55:451
2722235993224,5cyclictest2743767-21fschecks_time08:20:471
2722235993224,5cyclictest2743767-21fschecks_time08:20:471
2722235993221,7cyclictest2854170-21/usr/sbin/munin11:46:031
2722235993221,7cyclictest2854170-21/usr/sbin/munin11:46:031
272223499326,19cyclictest12650irq/32-eth009:05:560
2722234993225,4cyclictest2813937-21gltestperf10:40:470
2722234993216,13cyclictest2856896-21ssh11:50:540
2722234993216,13cyclictest2856896-21ssh11:50:540
2722236993124,4cyclictest2729719-21idleruntime-cro07:35:012
2722236993124,3cyclictest0-21swapper/210:00:572
2722235993120,7cyclictest1944774-21cups-browsed10:35:061
2722235993117,4cyclictest171rcu_preempt12:26:011
2722235993110,12cyclictest2771700-21ssh09:30:591
2722235993110,12cyclictest2771700-21ssh09:30:591
2722234993124,5cyclictest1000-21mta-sts-daemon09:55:500
2722234993122,6cyclictest2772205-21unixbench_multi09:31:080
2722234993122,6cyclictest2772205-21unixbench_multi09:31:080
2722234993111,13cyclictest265-21systemd-journal09:45:580
2722236993025,2cyclictest0-21swapper/208:40:012
2722236993023,5cyclictest2731260-21kworker/u8:19+xprtiod07:45:012
2722236993023,4cyclictest1003-21mta-sts-daemon08:50:582
2722236993022,4cyclictest0-21swapper/208:05:552
2722236993022,4cyclictest0-21swapper/208:05:552
2722236993021,6cyclictest421-21dbus-daemon11:36:162
2722236993021,6cyclictest1944774-21cups-browsed12:21:242
2722235993022,5cyclictest2722748-21fschecks_time07:10:481
2722235993019,8cyclictest2753490-21timerwakeupswit08:51:051
2722235993019,8cyclictest2747088-21ntp_kernel_pll_08:30:541
2722235993016,3cyclictest171rcu_preempt09:00:561
272223499303,16cyclictest2807664-21aten_r2power_vo10:30:450
2722234993024,4cyclictest2728241-21systemd-run07:30:010
2722234993023,5cyclictest2854170-21/usr/sbin/munin11:46:030
2722234993023,5cyclictest2854170-21/usr/sbin/munin11:46:030
2722234993023,5cyclictest2752730-21fschecks_count08:50:470
2722234993023,4cyclictest2747734-21sh08:35:020
2722234993020,5cyclictest151ktimers/012:10:520
272223499301,26cyclictest2774713-21ssh09:35:590
2722236992919,7cyclictest2738720-21cron08:05:012
272223599294,18cyclictest28-21ksoftirqd/111:10:581
272223599293,19cyclictest2802263-21ssh10:21:001
2722235992921,5cyclictest2725756-21fschecks_count07:20:461
2722235992920,6cyclictest2807606-21aten2.4-expect10:30:441
2722235992920,6cyclictest2758094-21unixbench_multi09:06:061
2722235992919,7cyclictest2741640-21unixbench_singl08:11:051
2722235992919,7cyclictest2741640-21unixbench_singl08:11:051
2722235992917,5cyclictest2828749-21ssh11:05:251
2722234992923,4cyclictest2044211-21munin-node10:16:080
2722234992923,4cyclictest1001-21mta-sts-daemon12:04:430
2722234992922,4cyclictest2883178-21ssh12:35:010
272223499291,11cyclictest2805003-21missed_timers10:25:490
272223499291,11cyclictest2805003-21missed_timers10:25:490
2722236992822,3cyclictest0-21swapper/208:00:002
2722236992822,3cyclictest0-21swapper/207:40:012
2722236992821,3cyclictest0-21swapper/210:45:012
272223599282,18cyclictest2844842-21ssh11:30:571
2722234992820,6cyclictest2749245-21sendmail-msp08:40:010
2722234992722,3cyclictest2858821-21kworker/u8:4-xprtiod12:25:530
272223499272,19cyclictest1944774-21cups-browsed07:15:570
2722234992721,4cyclictest12750irq/33-eth007:50:520
2722234992720,4cyclictest2746242-21systemd-run08:30:010
2722234992720,4cyclictest2741704-21cron08:15:000
2722234992720,4cyclictest2741704-21cron08:15:000
2722234992719,5cyclictest1944774-21cups-browsed09:04:390
2722234992718,7cyclictest2871445-21sh12:15:430
272223499271,22cyclictest2866126-21ssh12:05:560
2722236992619,4cyclictest1000-21mta-sts-daemon07:10:542
2722236992618,5cyclictest2726341-21systemctl07:21:022
272223599266,8cyclictest28-21ksoftirqd/108:06:581
272223599266,8cyclictest28-21ksoftirqd/108:06:581
2722235992618,5cyclictest2734448-21/usr/sbin/munin07:50:511
2722235992616,7cyclictest2729078-21grep07:30:551
2722234992619,4cyclictest1944774-21cups-browsed08:15:040
2722234992619,4cyclictest1944774-21cups-browsed08:15:040
2722234992618,5cyclictest420-21avahi-daemon07:46:370
2722234992617,7cyclictest2736556-21ntp_kernel_err07:55:530
2722236992516,6cyclictest2751258-21cut08:45:472
272223599257,4cyclictest0-21swapper/108:01:001
2722235992517,5cyclictest1003-21mta-sts-daemon07:55:571
2722234992514,2cyclictest0-21swapper/008:56:050
2722236992415,7cyclictest265-21systemd-journal07:49:582
2722236992414,7cyclictest2741284-21mailstats08:11:012
2722236992414,7cyclictest2741284-21mailstats08:11:012
272223499241,11cyclictest2723083-21ntpq07:10:530
2722236992318,2cyclictest0-21swapper/209:00:012
2722236992317,3cyclictest0-21swapper/208:21:062
2722236992317,3cyclictest0-21swapper/208:21:062
2722236992314,6cyclictest1944774-21cups-browsed08:29:462
272223499232,16cyclictest2729124-21ntpq07:30:570
2722234992317,3cyclictest0-21swapper/008:25:000
2722234992317,3cyclictest0-21swapper/008:25:000
2722236992215,4cyclictest0-21swapper/207:10:022
2722234992214,6cyclictest2752169-21unixbench_singl08:46:050
2722234992213,5cyclictest0-21swapper/008:00:570
272223499221,14cyclictest12650irq/32-eth008:05:550
272223499221,14cyclictest12650irq/32-eth008:05:550
2722235992115,3cyclictest2722395-21cat07:10:031
272223799184,7cyclictest0-21swapper/309:15:583
272223799183,8cyclictest0-21swapper/310:35:563
272223799182,7cyclictest0-21swapper/312:30:543
272223799182,7cyclictest0-21swapper/311:31:013
272223799181,9cyclictest0-21swapper/307:30:553
272223499181,8cyclictest2722183-21latency_hist07:10:020
272223799174,6cyclictest0-21swapper/311:15:533
272223799172,7cyclictest0-21swapper/309:45:553
272223799172,6cyclictest0-21swapper/309:30:563
272223799172,6cyclictest0-21swapper/309:30:563
272223799164,8cyclictest0-21swapper/310:45:583
272223799163,6cyclictest0-21swapper/311:10:543
272223799162,9cyclictest0-21swapper/309:40:573
272223799162,7cyclictest0-21swapper/311:55:563
272223799161,7cyclictest0-21swapper/308:25:583
272223799153,6cyclictest0-21swapper/312:00:543
272223799153,6cyclictest0-21swapper/311:20:533
272223799153,6cyclictest0-21swapper/311:05:543
272223799153,6cyclictest0-21swapper/310:50:553
272223799153,5cyclictest0-21swapper/312:30:023
272223799151,7cyclictest0-21swapper/311:50:573
272223799151,7cyclictest0-21swapper/311:50:573
272223799151,7cyclictest0-21swapper/308:10:523
272223799151,7cyclictest0-21swapper/308:10:523
272223799151,6cyclictest0-21swapper/307:45:543
272223799145,6cyclictest0-21swapper/309:10:573
272223799143,7cyclictest0-21swapper/312:15:543
272223799143,6cyclictest0-21swapper/312:35:483
272223799143,6cyclictest0-21swapper/310:25:503
272223799143,6cyclictest0-21swapper/310:25:503
272223799143,6cyclictest0-21swapper/309:50:583
272223799142,9cyclictest0-21swapper/310:55:533
272223799142,7cyclictest0-21swapper/312:20:543
272223799142,7cyclictest0-21swapper/311:41:053
272223799142,7cyclictest0-21swapper/311:41:053
272223799142,7cyclictest0-21swapper/311:25:533
272223799142,6cyclictest0-21swapper/307:35:563
272223799142,5cyclictest0-21swapper/309:05:533
272223799142,5cyclictest0-21swapper/309:00:573
272223799142,5cyclictest0-21swapper/308:40:533
272223799142,5cyclictest0-21swapper/307:15:523
272223799141,8cyclictest0-21swapper/311:45:433
272223799141,8cyclictest0-21swapper/311:45:433
272223799141,8cyclictest0-21swapper/311:01:003
272223799141,7cyclictest0-21swapper/310:16:013
272223799141,7cyclictest0-21swapper/308:30:553
272223799141,7cyclictest0-21swapper/307:25:533
272223799140,7cyclictest0-21swapper/308:00:583
272223799133,6cyclictest0-21swapper/310:05:543
272223799133,6cyclictest0-21swapper/310:00:573
272223799132,7cyclictest0-21swapper/309:25:553
272223799132,7cyclictest0-21swapper/309:20:473
272223799132,6cyclictest0-21swapper/311:35:453
272223799132,6cyclictest0-21swapper/310:10:533
272223799132,5cyclictest0-21swapper/308:05:543
272223799132,5cyclictest0-21swapper/308:05:543
272223799131,8cyclictest0-21swapper/312:06:003
272223799131,7cyclictest0-21swapper/309:55:573
272223799131,6cyclictest0-21swapper/308:55:533
272223799131,6cyclictest0-21swapper/308:35:573
272223799131,6cyclictest0-21swapper/307:10:523
272223799131,5cyclictest0-21swapper/307:55:523
272223799123,6cyclictest0-21swapper/307:55:013
272223799122,6cyclictest0-21swapper/307:25:013
272223799121,7cyclictest0-21swapper/310:30:533
272223799121,7cyclictest0-21swapper/310:20:583
272223799121,6cyclictest0-21swapper/309:35:453
272223799121,6cyclictest0-21swapper/308:15:523
272223799121,6cyclictest0-21swapper/308:15:523
272223799114,5cyclictest0-21swapper/308:20:533
272223799114,5cyclictest0-21swapper/308:20:533
272223799112,6cyclictest0-21swapper/312:10:463
272223799112,5cyclictest0-21swapper/310:45:023
272223799102,4cyclictest0-21swapper/308:50:523
272223799101,6cyclictest0-21swapper/308:45:553
272223799101,6cyclictest0-21swapper/307:40:533
27222379981,5cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional