You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-12 - 01:42

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Tue May 12, 2026 00:43:07)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2081807995240,8cyclictest242551-21cups-browsed23:45:570
2081807995143,5cyclictest2162205-21latency_hist22:05:020
2081808994638,5cyclictest421-21dbus-daemon00:20:011
2081807994637,6cyclictest2254995-21cups-browsed00:16:060
2081808994534,8cyclictest2255902-21gltestperf00:00:461
2081809994435,6cyclictest242551-21cups-browsed21:35:262
2081809994434,6cyclictest2113284-21systemd-run20:55:012
2081809994434,6cyclictest2113284-21systemd-run20:55:012
2081807994436,5cyclictest439-21systemd-logind00:00:000
2081809994333,7cyclictest2158093-21sendmail22:00:002
2081809994333,6cyclictest2121844-21idleruntime-cro21:15:002
2081807994335,6cyclictest2175387-21latency22:20:450
2081808994234,5cyclictest2199447-21fschecks_time22:50:481
2081808994232,7cyclictest2252733-21/usr/sbin/munin23:56:061
2081807994236,4cyclictest2084783-21cron19:20:010
2081808994130,7cyclictest2234802-21idleruntime-cro23:35:011
2081807994134,4cyclictest2174522-21latency_hist22:20:030
2081807994133,5cyclictest2214649-21systemd-run23:10:010
2081809994032,5cyclictest2232715-21ssh23:31:042
2081809994032,5cyclictest2163189-21kernelversion22:05:452
2081808994031,6cyclictest0-21swapper/122:45:011
2081807994033,4cyclictest2170240-21cron22:15:010
2081808993931,5cyclictest2121867-21ssh21:15:011
2081808993930,6cyclictest2182531-21latency_hist22:30:031
2081808993929,6cyclictest420-21avahi-daemon21:33:471
2081807993932,5cyclictest421-21dbus-daemon21:30:010
2081807993929,4cyclictest2277118-21head00:26:060
2081807993925,12cyclictest2098187-21unixbench_multi20:01:010
2081809993830,5cyclictest2093803-21systemd-run19:50:012
2081809993829,6cyclictest242551-21cups-browsed20:59:052
2081809993829,6cyclictest2254995-21cups-browsed00:21:382
2081809993827,8cyclictest2222690-21munin-plugin-st23:20:022
2081809993827,8cyclictest2222690-21munin-plugin-st23:20:022
2081808993831,4cyclictest0-21swapper/122:35:011
2081808993831,4cyclictest0-21swapper/122:35:011
2081807993831,4cyclictest2272249-21cat00:20:520
2081807993831,4cyclictest2214654-21kworker/u8:5+xprtiod23:25:000
2081807993830,5cyclictest242549-21cupsd22:59:410
2081809993729,5cyclictest2271123-21sh00:20:012
2081808993729,5cyclictest2238815-21sendmail23:40:011
2081807993730,4cyclictest2232257-21sh23:30:590
2081807993728,7cyclictest2190443-21munin-run22:40:000
2081807993728,7cyclictest2190443-21munin-run22:40:000
2081809993630,4cyclictest2081806-21cyclictest22:40:552
2081809993628,5cyclictest2214665-21ssh23:10:022
2081809993628,5cyclictest2208475-21sed23:01:042
2081809993628,5cyclictest2190455-21systemctl22:40:002
2081809993628,5cyclictest2190455-21systemctl22:40:002
2081809993627,7cyclictest2145955-21sh21:45:012
208180999361,31cyclictest2175636-21ssh22:20:512
2081808993627,6cyclictest242551-21cups-browsed22:19:061
2081808993627,6cyclictest2276757-21mailstats00:26:021
2081808993627,6cyclictest2108814-21systemd-run20:40:011
2081808993626,7cyclictest421-21dbus-daemon20:05:011
2081808993626,7cyclictest2093789-21/usr/sbin/munin19:50:011
208180799364,25cyclictest2199949-21ssh22:50:580
2081807993630,3cyclictest151ktimers/023:40:540
2081807993629,5cyclictest421-21dbus-daemon00:31:320
2081807993629,5cyclictest421-21dbus-daemon00:31:320
2081809993529,4cyclictest1-21systemd00:30:022
2081809993529,3cyclictest0-21swapper/222:50:012
2081809993527,5cyclictest2239459-21aten_r2power_en23:40:422
2081809993527,5cyclictest1054-21mta-sts-daemon21:00:562
2081808993528,3cyclictest0-21swapper/123:20:491
2081808993527,5cyclictest2147855-21unixbench_multi21:46:041
2081808993527,5cyclictest2147855-21unixbench_multi21:46:041
2081808993526,6cyclictest2211708-21latency23:05:461
2081808993526,6cyclictest2159420-21ntp_kernel_pll_22:00:531
2081807993527,5cyclictest420-21avahi-daemon00:08:070
2081809993426,5cyclictest516-21in:imuxsock19:45:002
2081809993425,6cyclictest439-21systemd-logind20:05:012
2081809993425,6cyclictest421-21dbus-daemon22:19:062
2081809993425,6cyclictest420-21avahi-daemon23:55:422
2081809993425,6cyclictest242551-21cups-browsed22:01:072
2081808993428,4cyclictest2084794-21sendmail19:20:011
2081808993427,4cyclictest2246902-21systemd-run23:50:021
2081808993426,5cyclictest2131444-21wc21:26:001
2081808993426,5cyclictest2117664-21tail21:06:021
2081808993426,5cyclictest2117664-21tail21:06:021
2081808993425,6cyclictest1-21systemd19:55:021
2081808993424,7cyclictest695-21cron23:45:011
2081807993428,4cyclictest2182379-21munin-plugin-st22:30:010
2081807993427,5cyclictest2235348-21/usr/sbin/munin23:35:460
2081807993422,9cyclictest0-21swapper/022:35:020
2081807993422,9cyclictest0-21swapper/022:35:020
2081809993326,3cyclictest0-21swapper/222:30:522
2081809993326,3cyclictest0-21swapper/222:30:522
2081809993325,5cyclictest2110817-21fschecks_time20:45:452
2081809993325,5cyclictest2110817-21fschecks_time20:45:452
2081809993325,5cyclictest1051-21mta-sts-daemon21:29:472
2081809993324,4cyclictest0-21swapper/200:00:592
2081808993327,3cyclictest0-21swapper/123:05:011
2081808993325,5cyclictest242551-21cups-browsed21:38:001
2081808993325,5cyclictest2215693-21latency23:10:471
2081808993325,4cyclictest0-21swapper/120:30:011
2081808993324,6cyclictest420-21avahi-daemon22:50:011
2081808993324,6cyclictest2281052-21unixbench-2d00:31:041
2081808993324,6cyclictest2281052-21unixbench-2d00:31:041
2081808993322,9cyclictest2155717-21sh21:56:011
208180899331,22cyclictest2260338-21ssh00:05:521
2081807993328,3cyclictest2208527-21unixbench_multi23:01:040
2081807993326,5cyclictest2117777-21diskmemload00:00:580
2081807993325,5cyclictest242551-21cups-browsed23:14:450
2081809993225,3cyclictest0-21swapper/223:50:512
2081809993225,3cyclictest0-21swapper/220:20:582
2081809993225,3cyclictest0-21swapper/219:26:022
2081809993224,5cyclictest2126811-21fschecks_count21:20:452
2081809993224,5cyclictest2125900-21awk21:20:002
2081809993224,4cyclictest0-21swapper/223:36:002
2081809993215,3cyclictest0-21swapper/219:55:012
2081808993224,5cyclictest2123532-21switchtime21:16:021
208180899322,24cyclictest2117777-21diskmemload23:25:591
2081807993228,2cyclictest0-21swapper/023:20:010
2081807993228,2cyclictest0-21swapper/023:20:010
2081807993225,4cyclictest2141899-21sh21:40:010
2081807993224,6cyclictest1051-21mta-sts-daemon19:50:580
2081807993224,5cyclictest242551-21cups-browsed22:06:040
2081807993220,9cyclictest0-21swapper/020:00:010
2081809993123,5cyclictest2263959-21sh00:10:442
2081809993123,5cyclictest2150044-21latency_hist21:50:012
2081809993123,5cyclictest2150044-21latency_hist21:50:012
2081809993121,7cyclictest2254995-21cups-browsed00:37:452
2081808993124,4cyclictest2151945-21grep21:51:011
2081808993124,4cyclictest2098811-21fschecks_count20:05:471
2081808993124,4cyclictest2087146-21ntp_kernel_err19:25:531
2081808993124,3cyclictest0-21swapper/123:50:541
2081808993123,5cyclictest2206608-21basename23:00:011
2081808993123,5cyclictest2174932-21aten_r2power_en22:20:391
2081808993123,5cyclictest2142963-21kernelversion21:40:481
2081808993123,5cyclictest2083360-21latency_hist19:15:021
2081808993122,6cyclictest2111703-21unixbench_singl20:46:041
2081808993122,6cyclictest2111703-21unixbench_singl20:46:041
2081807993125,4cyclictest242551-21cups-browsed21:00:550
2081807993125,3cyclictest0-21swapper/021:55:010
2081807993124,5cyclictest421-21dbus-daemon20:30:480
2081807993123,6cyclictest2287227-21cron00:40:000
2081807993123,6cyclictest2155843-21timerwakeupswit21:56:020
2081807993122,6cyclictest2127299-21ntp_offset21:20:550
2081809993024,3cyclictest0-21swapper/221:55:002
2081809993022,5cyclictest2215305-21aten_r2power_fr23:10:412
2081808993023,4cyclictest2107292-21kworker/u8:2-xprtiod20:35:011
2081808993022,5cyclictest2272248-21latency00:20:521
2081808993022,5cyclictest2126522-21aten2.4-expect21:20:411
2081808993022,5cyclictest2113165-21unixbench_multi20:51:031
2081808993022,5cyclictest2113165-21unixbench_multi20:51:031
2081808993016,10cyclictest2162435-21sshd22:05:061
2081807993025,3cyclictest2123712-21unixbench-2d21:16:030
2081807993025,3cyclictest0-21swapper/021:30:550
2081807993023,5cyclictest2247430-21/usr/sbin/munin23:50:590
2081807993023,4cyclictest2113782-21fschecks_count20:55:470
2081807993022,5cyclictest2099799-21systemd-run20:10:010
2081807993019,8cyclictest421-21dbus-daemon21:12:280
2081809992923,3cyclictest0-21swapper/223:45:532
2081809992923,2cyclictest0-21swapper/223:24:172
2081809992922,4cyclictest2203366-21cpuspeed22:55:422
2081809992921,5cyclictest2254995-21cups-browsed00:31:202
2081809992921,5cyclictest2254995-21cups-browsed00:31:202
2081809992921,4cyclictest0-21swapper/222:14:032
2081809992920,5cyclictest0-21swapper/200:05:532
2081809992918,9cyclictest1-21systemd22:55:012
2081807992924,3cyclictest0-21swapper/020:15:020
2081807992924,2cyclictest0-21swapper/021:41:070
2081807992923,4cyclictest2111791-21systemd-run20:50:010
2081807992923,4cyclictest2111791-21systemd-run20:50:010
2081807992923,4cyclictest2108652-21tail20:36:060
2081807992923,3cyclictest12350irq/32-eth022:45:530
2081807992922,5cyclictest0-21swapper/022:40:450
2081807992922,4cyclictest2104310-21systemd-run20:25:010
2081807992921,5cyclictest2110274-21cron20:45:000
2081809992820,5cyclictest2134464-21ssh21:30:402
2081809992819,6cyclictest1051-21mta-sts-daemon20:19:052
2081808992821,4cyclictest1056-21mta-sts-daemon00:35:471
2081808992821,4cyclictest1055-21mta-sts-daemon20:42:111
2081808992820,5cyclictest242551-21cups-browsed19:31:081
2081808992819,6cyclictest2114694-21unixbench_singl20:56:051
2081808992818,7cyclictest2090788-21cat19:40:001
2081808992818,7cyclictest2090788-21cat19:40:001
208180899281,22cyclictest2264401-21ssh00:10:521
2081807992822,4cyclictest2228251-21proc_pri23:25:590
2081807992822,3cyclictest0-21swapper/000:10:530
2081809992720,4cyclictest2084731-21unixbench_singl19:16:012
2081809992720,4cyclictest0-21swapper/219:35:002
2081809992719,5cyclictest2109631-21ntp_kernel_err20:40:502
2081809992719,5cyclictest2089553-21aten_r2power_cu19:35:402
2081809992719,5cyclictest2089553-21aten_r2power_cu19:35:402
2081809992719,5cyclictest1054-21mta-sts-daemon20:25:512
2081809992718,6cyclictest2117818-21latency_hist21:10:022
2081809992718,6cyclictest2117818-21latency_hist21:10:022
2081808992720,5cyclictest2100187-21aten2.4-expect20:10:431
2081808992720,4cyclictest2085906-21mailstats19:20:581
2081808992720,4cyclictest1051-21mta-sts-daemon19:56:031
2081808992719,5cyclictest242551-21cups-browsed20:15:111
2081808992718,5cyclictest0-21swapper/123:15:411
2081808992718,5cyclictest0-21swapper/123:15:411
208180799273,13cyclictest2147326-21ssh21:45:540
208180799273,13cyclictest2147326-21ssh21:45:540
2081807992718,6cyclictest151ktimers/020:25:530
208180999263,17cyclictest1056-21mta-sts-daemon20:05:572
2081809992620,3cyclictest0-21swapper/222:25:442
2081809992620,3cyclictest0-21swapper/220:30:572
208180899268,3cyclictest171rcu_preempt22:10:571
2081808992619,3cyclictest0-21swapper/122:35:561
2081808992619,3cyclictest0-21swapper/122:35:561
2081807992621,3cyclictest1051-21mta-sts-daemon19:25:580
2081807992621,2cyclictest0-21swapper/019:50:010
2081809992520,2cyclictest0-21swapper/220:35:532
2081809992519,3cyclictest0-21swapper/223:25:462
2081809992517,5cyclictest695-21cron19:58:012
2081807992518,5cyclictest2081813-21systemd-run19:10:010
2081807992516,6cyclictest151ktimers/021:05:560
2081807992516,6cyclictest151ktimers/021:05:560
208181099243,12cyclictest0-21swapper/322:05:533
2081809992415,7cyclictest2086181-21tail19:21:012
2081807992418,3cyclictest2086377-21latency_hist19:25:020
2081807992418,3cyclictest151ktimers/019:35:520
2081807992418,3cyclictest151ktimers/019:35:520
2081807992418,2cyclictest0-21swapper/020:20:010
2081807992411,10cyclictest0-21swapper/019:40:440
208181099233,10cyclictest0-21swapper/323:40:523
208181099232,13cyclictest0-21swapper/321:20:533
2081809992317,3cyclictest0-21swapper/219:10:522
2081809992312,3cyclictest0-21swapper/220:10:562
2081808992316,3cyclictest0-21swapper/120:20:431
2081807992318,3cyclictest1055-21mta-sts-daemon19:33:540
208181099223,9cyclictest0-21swapper/300:15:503
208181099223,11cyclictest0-21swapper/322:40:533
208181099223,11cyclictest0-21swapper/321:50:563
208181099223,11cyclictest0-21swapper/300:35:503
208181099222,13cyclictest0-21swapper/323:10:503
208181099222,11cyclictest0-21swapper/322:15:393
208181099221,12cyclictest0-21swapper/323:45:593
208180899222,15cyclictest2115752-21ntp_states21:00:571
2081808992216,3cyclictest1346053-21kworker/u8:5-xprtiod19:40:501
208180799221,18cyclictest2082703-21ntpq19:10:510
208181099214,9cyclictest0-21swapper/300:05:503
208181099214,10cyclictest0-21swapper/320:25:523
208181099212,11cyclictest0-21swapper/322:20:503
2081808992117,2cyclictest0-21swapper/119:10:021
208180799214,12cyclictest428-21mta-sts-daemon20:50:530
208180799214,12cyclictest428-21mta-sts-daemon20:50:530
208181099203,9cyclictest0-21swapper/323:15:503
208181099203,9cyclictest0-21swapper/323:15:503
208181099203,8cyclictest0-21swapper/300:25:523
208181099203,11cyclictest0-21swapper/321:25:453
208181099203,10cyclictest0-21swapper/321:10:553
208181099202,9cyclictest0-21swapper/322:25:513
208181099202,9cyclictest0-21swapper/321:35:413
208181099202,12cyclictest0-21swapper/300:20:593
208181099202,11cyclictest0-21swapper/323:50:523
208181099202,11cyclictest0-21swapper/323:05:503
208181099202,10cyclictest0-21swapper/321:30:493
208181099202,10cyclictest0-21swapper/320:45:533
208181099202,10cyclictest0-21swapper/320:45:533
2081809992015,2cyclictest0-21swapper/219:10:022
208181099194,9cyclictest0-21swapper/300:01:003
208181099193,9cyclictest0-21swapper/322:00:523
208181099193,10cyclictest0-21swapper/322:35:563
208181099193,10cyclictest0-21swapper/322:35:563
208181099192,9cyclictest0-21swapper/319:40:513
208181099192,11cyclictest0-21swapper/323:30:573
208181099192,11cyclictest0-21swapper/323:20:483
208181099192,10cyclictest0-21swapper/321:55:543
208181099192,10cyclictest0-21swapper/300:30:543
208181099192,10cyclictest0-21swapper/300:30:543
208181099191,11cyclictest0-21swapper/322:10:523
208181099191,10cyclictest0-21swapper/322:50:533
208181099183,9cyclictest0-21swapper/322:30:513
208181099183,9cyclictest0-21swapper/322:30:513
208181099183,8cyclictest0-21swapper/323:25:513
208181099182,8cyclictest0-21swapper/319:30:543
208181099182,11cyclictest0-21swapper/323:55:543
208181099182,11cyclictest0-21swapper/323:35:493
208181099182,10cyclictest0-21swapper/323:00:533
208181099182,10cyclictest0-21swapper/322:55:493
208181099181,8cyclictest0-21swapper/319:25:553
208181099181,10cyclictest0-21swapper/321:15:533
208181099173,7cyclictest0-21swapper/320:30:523
208181099172,9cyclictest0-21swapper/322:45:423
208181099172,9cyclictest0-21swapper/321:40:493
208181099172,9cyclictest0-21swapper/320:15:553
208181099172,9cyclictest0-21swapper/319:15:013
208181099172,9cyclictest0-21swapper/300:10:513
208181099171,9cyclictest0-21swapper/320:00:483
208181099162,9cyclictest0-21swapper/320:10:593
208181099162,8cyclictest0-21swapper/321:45:413
208181099162,8cyclictest0-21swapper/321:45:413
208181099162,8cyclictest0-21swapper/320:55:533
208181099162,8cyclictest0-21swapper/319:20:503
208181099161,7cyclictest0-21swapper/319:15:483
208181099153,7cyclictest0-21swapper/320:50:583
208181099153,7cyclictest0-21swapper/320:50:583
208181099152,8cyclictest0-21swapper/319:45:503
208181099152,7cyclictest0-21swapper/321:05:543
208181099152,7cyclictest0-21swapper/321:05:543
208181099151,8cyclictest0-21swapper/319:55:513
208181099151,7cyclictest0-21swapper/321:00:513
208181099151,7cyclictest0-21swapper/319:50:513
208181099142,8cyclictest0-21swapper/320:05:563
208181099142,7cyclictest0-21swapper/320:20:533
208181099142,6cyclictest0-21swapper/319:35:493
208181099142,6cyclictest0-21swapper/319:35:493
208181099141,8cyclictest0-21swapper/320:40:533
208181099141,8cyclictest0-21swapper/320:35:533
208181099111,6cyclictest0-21swapper/319:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional