You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-02 - 12:24

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Wed Sep 02, 2026 00:45:33)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
199964099892,7cyclictest131rcu_preempt00:20:052
1999640998610,70cyclictest1-21systemd20:50:012
1999640998610,70cyclictest1-21systemd20:50:002
199962999858,41cyclictest2059369-21sshd23:02:270
199963299757,54cyclictest2072500-21ssh23:30:021
199963299757,54cyclictest2072500-21ssh23:30:021
1999644997435,35cyclictest1-21systemd00:30:013
1999640997424,44cyclictest275-21dbus-daemon22:25:012
1999629997427,14cyclictest2060910-21ssh23:05:310
199962999732,36cyclictest2047458-21ssh22:37:270
199962999732,36cyclictest2047458-21ssh22:37:270
1999640997226,41cyclictest2045907-21sshd22:34:282
199964099713,16cyclictest2005324-21munin-run21:00:022
199964099713,16cyclictest2005324-21munin-run21:00:022
199964099703,23cyclictest2097962-21ssh00:23:332
199964099701,19cyclictest2034579-21ssh22:10:092
1999640996929,36cyclictest2018247-21sh21:35:502
1999640996929,36cyclictest2018247-21sh21:35:502
1999640996924,40cyclictest2086269-21sh23:59:072
1999640996922,43cyclictest30-21ksoftirqd/223:40:252
1999640996825,39cyclictest2050518-21sh22:44:012
199964099682,18cyclictest2021021-21ssh21:41:322
1999644996725,38cyclictest2000885-21systemctl19:35:013
1999640996623,39cyclictest2052778-21sh22:48:442
199964099651,13cyclictest2069141-21ssh23:22:542
1999644996417,42cyclictest0-21swapper/320:55:023
199964099642,16cyclictest2057317-21ssh22:58:112
199964099642,16cyclictest2057317-21ssh22:58:112
199964099641,9cyclictest2037160-21ssh22:15:342
199962999641,5cyclictest131rcu_preempt00:20:000
1999644996324,35cyclictest2042358-21sh22:26:333
1999644996324,35cyclictest2042358-21sh22:26:333
1999640996325,32cyclictest30-21ksoftirqd/223:08:522
199964099632,18cyclictest2065415-21sed23:15:012
199964099631,9cyclictest2105266-21ssh00:38:562
199964099631,9cyclictest2105266-21ssh00:38:562
199964099631,9cyclictest2008557-21ssh21:15:232
1999640996224,34cyclictest2017127-21sh21:33:372
199964099621,8cyclictest2060138-21ssh23:04:132
1999640996218,40cyclictest2027220-21cron21:55:032
199964099621,19cyclictest2006336-21ssh21:10:352
1999644996132,25cyclictest3468525-21sendmail-mta21:51:063
1999644996123,33cyclictest2005815-21diskmemload00:02:253
199964099612,8cyclictest2080813-21ssh23:47:182
199964099612,8cyclictest2080813-21ssh23:47:172
199964099612,5cyclictest2000587-21sshd19:25:272
199964099612,19cyclictest2089789-21ssh00:06:042
199964099611,9cyclictest2027096-21ssh21:54:452
199964099611,9cyclictest2014966-21ssh21:29:072
1999640996119,37cyclictest2042677-21sh22:27:262
1999640996119,37cyclictest2042677-21sh22:27:252
199964099611,8cyclictest2088171-21ssh00:02:512
199964099611,8cyclictest2003977-21sshd20:34:262
199964099611,5cyclictest2066714-21ssh23:17:562
199964099611,5cyclictest2066714-21ssh23:17:562
199964099611,4cyclictest2024218-21ssh21:48:352
1999640996112,45cyclictest30-21ksoftirqd/223:28:502
1999640996112,45cyclictest30-21ksoftirqd/223:28:492
199964099611,17cyclictest2102833-21ssh00:33:482
199964099611,15cyclictest364-21snmpd20:22:472
199964099611,15cyclictest2011084-21ssh21:20:352
1999644996026,29cyclictest2094290-21sshd00:15:273
1999644996021,35cyclictest2005865-21latency_hist21:10:023
1999644996018,13cyclictest275-21dbus-daemon20:10:013
1999640996028,29cyclictest3467562-21sshd23:51:272
199964099602,6cyclictest2005008-21sshd20:53:272
199964099602,13cyclictest2003217-21munin-run20:20:012
199964099601,9cyclictest2073592-21ssh23:32:212
199964099601,8cyclictest2046438-21ssh22:35:062
199964099601,8cyclictest2046438-21ssh22:35:062
199964099601,7cyclictest2099044-21ssh00:25:342
199964099601,7cyclictest2091835-21ssh00:10:182
199964099601,7cyclictest2054105-21ssh22:51:112
199964099601,7cyclictest2033807-21ssh22:08:492
199964099601,7cyclictest2033807-21ssh22:08:492
199964099601,6cyclictest2075178-21ssh23:35:322
199964099601,6cyclictest2031055-21ssh22:02:512
1999629996015,38cyclictest12-21ksoftirqd/000:25:000
1999644995923,32cyclictest37-21ksoftirqd/322:16:473
199964499592,17cyclictest2092485-21ssh00:11:473
199964499591,18cyclictest2064851-21ssh23:14:063
199964099592,16cyclictest1999844-21munin-run19:15:022
199963299597,25cyclictest2053563-21ssh22:50:031
1999629995955,2cyclictest0-21swapper/023:25:020
1999629995955,2cyclictest0-21swapper/023:25:020
1999644995825,29cyclictest2068905-21sh23:22:243
199964499582,17cyclictest2041491-21wc22:25:013
1999644995815,4cyclictest2084403-21latency_hist23:55:013
1999640995817,36cyclictest1-21systemd20:15:022
1999640995812,41cyclictest0-21swapper/219:54:012
199964099581,13cyclictest2004507-21sshd20:43:272
1999629995854,2cyclictest0-21swapper/021:45:010
1999629995839,13cyclictest1-21systemd21:00:010
1999629995839,13cyclictest1-21systemd21:00:000
1999629995832,7cyclictest0-21swapper/023:00:020
1999629995832,7cyclictest0-21swapper/023:00:020
1999629995829,13cyclictest2013248-21ssh21:25:080
1999629995826,15cyclictest2098840-21ssh00:25:080
1999629995826,15cyclictest2069549-21ssh23:23:550
199962999581,41cyclictest2012389-21ssh21:23:400
1999644995723,30cyclictest37-21ksoftirqd/322:09:493
1999644995723,30cyclictest37-21ksoftirqd/322:09:493
1999644995722,32cyclictest37-21ksoftirqd/322:40:023
1999644995722,32cyclictest37-21ksoftirqd/322:40:023
1999644995722,32cyclictest37-21ksoftirqd/322:34:003
1999644995722,31cyclictest37-21ksoftirqd/321:17:023
199964499572,16cyclictest2051944-21ssh22:46:533
1999644995721,32cyclictest2020639-21sh21:40:443
1999644995714,7cyclictest0-21swapper/300:00:013
199964099572,17cyclictest2002709-21munin-run20:10:002
199964099571,4cyclictest2000851-21sshd19:32:282
1999629995729,13cyclictest2088200-21ssh00:02:530
1999644995624,28cyclictest2018625-21sh21:36:373
1999644995624,28cyclictest2018625-21sh21:36:373
1999644995624,27cyclictest2057465-21sh22:58:293
1999644995624,27cyclictest2057465-21sh22:58:293
199964499562,18cyclictest2061748-21ssh23:07:253
1999644995617,4cyclictest2005815-21diskmemload21:20:043
1999644995616,5cyclictest2029577-21sendmail22:00:003
1999644995612,5cyclictest0-21swapper/320:00:023
1999644995612,5cyclictest0-21swapper/320:00:013
199964099563,44cyclictest2005802-21modprobe21:10:002
1999640995626,25cyclictest309-21in:imuxsock19:56:342
1999640995626,25cyclictest309-21in:imuxsock19:56:332
199964099561,12cyclictest364-21snmpd19:35:522
1999629995627,14cyclictest2076738-21ssh23:39:040
1999629995626,15cyclictest2026607-21ssh21:53:340
1999644995522,29cyclictest37-21ksoftirqd/321:15:013
1999644995518,5cyclictest37-21ksoftirqd/323:36:043
1999644995514,7cyclictest2104713-21rm00:37:453
1999644995514,7cyclictest2104713-21rm00:37:453
199964499551,17cyclictest2049808-21ssh22:42:253
199964099552,8cyclictest2001648-21cron19:50:002
199964099552,7cyclictest364-21snmpd19:41:572
1999632995539,12cyclictest275-21dbus-daemon22:14:591
1999632995511,23cyclictest23-21ksoftirqd/123:05:021
1999629995535,15cyclictest275-21dbus-daemon21:35:010
1999629995528,12cyclictest2067278-21ssh23:19:080
1999629995528,12cyclictest2067278-21ssh23:19:080
199962999552,37cyclictest2042991-21ssh22:28:050
199962999552,37cyclictest2042991-21ssh22:28:050
199964499542,18cyclictest2073038-21ssh23:30:583
199964499542,17cyclictest2098491-21ssh00:24:523
1999644995418,8cyclictest37-21ksoftirqd/319:50:003
199964499541,18cyclictest2014278-21ssh21:27:293
1999640995420,28cyclictest275-21dbus-daemon19:20:002
199964099541,3cyclictest364-21snmpd20:26:022
1999629995427,12cyclictest2010264-21ssh21:19:160
199962999542,48cyclictest2045521-21ssh22:33:270
1999629995424,15cyclictest2063609-21ssh23:11:220
199962999541,38cyclictest2081385-21ssh23:48:400
199962999541,38cyclictest2081385-21ssh23:48:400
1999644995336,13cyclictest1-21systemd23:40:283
1999644995329,20cyclictest3467602-21systemd-journal20:50:013
1999644995329,20cyclictest3467602-21systemd-journal20:50:003
1999644995325,25cyclictest37-21ksoftirqd/323:30:023
1999644995325,25cyclictest37-21ksoftirqd/323:30:013
1999644995323,26cyclictest2005815-21diskmemload21:31:093
199964499532,17cyclictest2035889-21ssh22:13:143
1999644995316,4cyclictest2005815-21diskmemload00:34:023
199964099533,7cyclictest364-21snmpd20:35:422
199964099531,4cyclictest364-21snmpd20:00:572
199964099531,10cyclictest364-21snmpd21:01:082
1999632995346,5cyclictest23-21ksoftirqd/120:45:021
1999632995346,5cyclictest23-21ksoftirqd/120:45:021
1999629995327,22cyclictest2073855-21ssh23:32:540
1999629995326,12cyclictest2035594-21ssh22:12:340
1999629995325,12cyclictest2040243-21ssh22:22:140
1999629995323,14cyclictest2018089-21ssh21:35:200
1999629995323,14cyclictest2018089-21ssh21:35:190
199962999531,49cyclictest0-21swapper/020:45:020
199964499527,10cyclictest2004252-21modprobe20:39:593
199964499522,19cyclictest2031884-21ssh22:04:573
199964499522,17cyclictest2054685-21ssh22:52:313
1999644995221,27cyclictest2091131-21sh00:09:093
1999644995218,7cyclictest37-21ksoftirqd/323:01:103
199964099522,6cyclictest364-21snmpd19:22:422
1999632995237,11cyclictest3467602-21systemd-journal22:40:001
1999632995237,11cyclictest3467602-21systemd-journal22:40:001
1999629995240,6cyclictest2079555-21cron23:45:000
1999644995125,22cyclictest37-21ksoftirqd/320:20:023
1999644995118,4cyclictest2080899-21sh23:47:343
1999644995118,4cyclictest2080899-21sh23:47:343
1999629995123,12cyclictest2090272-21ssh00:07:130
1999629995121,14cyclictest2053852-21ssh22:50:380
1999629995117,30cyclictest2005815-21diskmemload22:05:330
1999629995117,30cyclictest2005815-21diskmemload22:05:320
199964499502,16cyclictest364-21snmpd20:26:313
199964499502,16cyclictest2004008-21munin-run20:35:013
1999632995034,12cyclictest2020112-21cron21:40:001
1999632995034,12cyclictest2020112-21cron21:39:591
1999632995033,12cyclictest3467602-21systemd-journal19:54:591
1999632995032,14cyclictest275-21dbus-daemon21:45:011
1999629995042,5cyclictest16850irq/134-800000022:00:000
1999629995029,16cyclictest2049823-21sshd22:42:270
199962999502,16cyclictest2008228-21cut21:15:000
1999629995017,16cyclictest2086203-21ssh23:58:580
199964499492,15cyclictest2022942-21ssh21:45:333
1999644994910,8cyclictest3467602-21systemd-journal20:05:003
1999632994935,12cyclictest23-21ksoftirqd/100:25:021
1999632994932,11cyclictest2058130-21munin-plugin-st23:00:001
1999632994932,11cyclictest2058130-21munin-plugin-st22:59:591
1999632994928,16cyclictest1-21systemd23:20:021
1999632994928,16cyclictest1-21systemd23:20:021
1999629994941,4cyclictest16950irq/224-800000021:50:020
1999629994925,9cyclictest2030199-21ssh22:00:520
1999629994921,14cyclictest2092784-21ssh00:12:240
199962999491,44cyclictest0-21swapper/021:10:030
199964499482,14cyclictest2065678-21ssh23:15:313
199964499482,14cyclictest2065678-21ssh23:15:303
1999644994815,5cyclictest2000240-21latency_hist19:20:023
1999632994833,12cyclictest23-21ksoftirqd/123:10:011
1999632994828,17cyclictest2016170-21sshd21:31:271
1999632994826,15cyclictest1-21systemd00:00:001
1999632994820,18cyclictest275-21dbus-daemon00:15:011
1999629994840,4cyclictest16950irq/224-800000020:20:010
1999629994829,15cyclictest2037160-21ssh22:15:340
199962999481,4cyclictest131rcu_preempt23:51:260
1999640994734,10cyclictest0-21swapper/219:10:022
1999632994727,11cyclictest2025097-21ssh21:50:061
1999629994729,14cyclictest2104333-21ssh00:36:470
1999629994729,14cyclictest2104333-21ssh00:36:470
199964499462,15cyclictest2000384-21unin-run19:25:003
1999632994630,12cyclictest3467602-21systemd-journal22:18:321
1999632994630,10cyclictest2103408-21latency_hist00:35:021
199963299462,6cyclictest131rcu_preempt23:40:551
1999632994625,15cyclictest3467602-21systemd-journal20:35:011
1999629994636,7cyclictest2001132-21latency_hist19:40:000
1999629994635,8cyclictest1999625-21cyclictest19:10:010
1999629994630,12cyclictest12-21ksoftirqd/020:55:010
199962999462,16cyclictest2103519-21date00:35:030
199962999462,16cyclictest2051655-21ssh22:46:070
199964499452,16cyclictest2001167-21munin-run19:40:003
199963299456,29cyclictest2053449-21cat22:50:021
199963299454,26cyclictest2003206-21modprobe20:20:001
1999632994533,8cyclictest23-21ksoftirqd/122:05:161
1999632994533,8cyclictest23-21ksoftirqd/122:05:161
1999632994524,15cyclictest1-21systemd20:55:011
1999632994522,16cyclictest2005803-21modprobe21:10:001
1999632994519,17cyclictest275-21dbus-daemon19:15:001
199963299451,25cyclictest2082080-21ssh23:50:021
199963299451,25cyclictest2082080-21ssh23:50:021
1999629994532,10cyclictest12-21ksoftirqd/020:10:020
1999629994520,18cyclictest275-21dbus-daemon20:00:010
1999629994520,18cyclictest275-21dbus-daemon20:00:000
1999644994433,6cyclictest309-21in:imuxsock19:30:013
1999632994428,11cyclictest23-21ksoftirqd/100:25:181
1999632994425,13cyclictest275-21dbus-daemon22:05:011
1999632994412,26cyclictest3467602-21systemd-journal00:05:031
1999629994428,13cyclictest2005682-21sed21:05:020
199962999442,37cyclictest1999832-21modprobe19:15:010
199962999442,11cyclictest2000133-21munin-run19:20:000
1999644994316,8cyclictest37-21ksoftirqd/320:25:033
1999632994326,10cyclictest309-21in:imuxsock21:25:001
1999629994326,13cyclictest2000589-21sshd19:25:270
199963299424,27cyclictest3467602-21systemd-journal19:20:001
1999632994224,14cyclictest0-21swapper/123:32:561
199963299422,3cyclictest131rcu_preempt00:02:001
1999632994222,12cyclictest2001114-21cron19:39:591
199962999422,7cyclictest2004273-21modprobe20:39:590
199964499411,15cyclictest1-21systemd19:45:013
1999632994128,8cyclictest23-21ksoftirqd/119:25:031
1999632994127,10cyclictest23-21ksoftirqd/122:27:481
1999632994127,10cyclictest23-21ksoftirqd/122:27:471
1999632994122,14cyclictest120-21kswapd023:25:011
1999629994135,4cyclictest16950irq/224-800000019:20:280
1999629994134,4cyclictest16950irq/224-800000019:45:010
1999644994027,10cyclictest2005689-21sed21:05:023
1999632994028,7cyclictest2082743-21sshd23:51:271
1999632994027,10cyclictest23-21ksoftirqd/122:22:351
1999632994027,10cyclictest2096364-21sed00:20:041
199963299402,3cyclictest131rcu_preempt21:19:161
1999632994017,16cyclictest275-21dbus-daemon21:50:011
1999632993929,8cyclictest23-21ksoftirqd/121:57:181
1999632993924,11cyclictest23-21ksoftirqd/121:13:011
199963299392,3cyclictest131rcu_preempt23:35:561
1999629993927,9cyclictest2001657-21cron19:49:590
1999629993924,11cyclictest12-21ksoftirqd/020:15:030
199962999391,34cyclictest2000856-21sshd19:33:270
1999644993814,4cyclictest2002016-21latency_hist19:55:023
1999632993826,10cyclictest23-21ksoftirqd/100:38:371
1999632993826,10cyclictest23-21ksoftirqd/100:38:371
1999632993825,10cyclictest275-21dbus-daemon20:25:021
1999632993823,11cyclictest23-21ksoftirqd/123:11:001
1999632993821,11cyclictest3467602-21systemd-journal20:15:001
199963299381,34cyclictest23-21ksoftirqd/122:32:291
1999632993626,7cyclictest2005288-21munin-plugin-st21:00:011
1999632993626,7cyclictest2005288-21munin-plugin-st21:00:001
1999632993624,9cyclictest2000839-21sshd19:30:281
1999632993624,8cyclictest23-21ksoftirqd/121:29:351
199963299362,3cyclictest131rcu_preempt21:05:021
199962999362,5cyclictest2003754-21munin-run20:30:010
1999629993624,9cyclictest3467602-21systemd-journal20:24:310
1999644993528,4cyclictest2005285-21sendmail21:00:013
1999644993528,4cyclictest2005285-21sendmail21:00:013
199963299356,17cyclictest2004237-21modprobe20:40:001
1999632993528,4cyclictest2002696-21/usr/sbin/munin20:10:011
1999632993527,5cyclictest2050075-21sh22:42:581
1999632993526,6cyclictest23-21ksoftirqd/120:45:001
1999632993522,10cyclictest2002422-21sshd20:02:281
1999632993520,10cyclictest2002154-21cron20:00:011
1999632993520,10cyclictest2002154-21cron20:00:011
199962999351,32cyclictest0-21swapper/020:48:210
199962999351,32cyclictest0-21swapper/020:48:210
199962999351,30cyclictest3467602-21systemd-journal19:53:210
199964499344,3cyclictest0-21swapper/319:10:013
1999632993423,6cyclictest2003736-21sh20:29:591
1999629993426,5cyclictest0-21swapper/020:32:270
1999629993417,14cyclictest12-21ksoftirqd/020:05:010
1999632993321,9cyclictest0-21swapper/119:30:011
199963299324,3cyclictest131rcu_preempt19:10:031
1999644993122,7cyclictest37-21ksoftirqd/319:15:013
199964499311,3cyclictest131rcu_preempt20:41:403
1999632993124,4cyclictest2001710-21latency_hist19:50:011
1999632993121,7cyclictest23-21ksoftirqd/119:41:091
1999644992915,11cyclictest37-21ksoftirqd/320:15:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional