You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-21 - 21:57

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Sat Mar 21, 2026 12:43:35)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1878796995833,17cyclictest151ktimers/009:10:240
1878796995338,10cyclictest12350irq/32-eth010:20:240
1878796995338,10cyclictest12350irq/32-eth010:20:240
187879699533,41cyclictest2029335-21rm11:20:290
1878798995242,6cyclictest421-21dbus-daemon10:30:012
1878798995242,6cyclictest421-21dbus-daemon10:30:012
1878798994827,9cyclictest36-21ksoftirqd/209:25:272
1878797994838,6cyclictest421-21dbus-daemon09:10:011
1878796994727,14cyclictest12350irq/32-eth009:35:280
1878798994638,5cyclictest341rcuc/210:50:252
1878798994638,5cyclictest2036716-21systemd-run11:30:012
1878797994637,6cyclictest2097274-21latency_hist12:40:021
1878797994637,4cyclictest0-21swapper/109:45:291
1878798994538,4cyclictest1911825-21latency_hist09:00:012
1878796994540,3cyclictest1958798-21ssh10:00:010
1878796994530,10cyclictest1995223-21ssh10:40:360
1878798994436,5cyclictest1936877-21ssh09:35:012
1878798994436,4cyclictest0-21swapper/210:45:282
187879799440,35cyclictest2058188-21ssh11:54:471
187879799432,4cyclictest171rcu_preempt10:10:261
187879799432,32cyclictest1888745-21sshd07:40:251
1878796994335,5cyclictest1913282-21cron09:05:010
1878796994322,15cyclictest151ktimers/007:25:250
1878798994235,4cyclictest0-21swapper/212:20:012
187879899422,32cyclictest2068091-21ssh12:05:222
187879799424,32cyclictest2050822-21ssh11:45:251
1878796994236,4cyclictest1904307-21systemd-run08:35:010
1878797994135,3cyclictest0-21swapper/108:05:001
1878797994135,3cyclictest0-21swapper/108:05:001
187879799413,26cyclictest2024893-21ssh11:15:231
187879899403,33cyclictest2037952-21sh11:30:282
1878798994032,5cyclictest421-21dbus-daemon08:40:012
1878797994031,6cyclictest1954401-21munin-plugin-st09:55:011
1878797994028,9cyclictest1891585-21needreboot07:50:211
187879699404,28cyclictest1998974-21rm10:45:270
1878796994032,6cyclictest2003847-21unixbench_singl10:50:350
1878796994025,12cyclictest2045411-21latency_hist11:40:020
1878796994025,12cyclictest2045411-21latency_hist11:40:020
1878796994024,11cyclictest624-21lldpd07:15:220
1878796994024,11cyclictest624-21lldpd07:15:220
187879899393,31cyclictest659-21snmpd09:00:252
1878798993931,5cyclictest2092889-21sh12:35:012
1878798993919,10cyclictest1914787-21diskmemload11:05:282
187879899391,30cyclictest2059553-21ssh11:55:272
187879899391,30cyclictest2059553-21ssh11:55:272
1878797993931,5cyclictest1-21systemd08:40:011
1878797993925,5cyclictest0-21swapper/110:25:261
1878797993925,5cyclictest0-21swapper/110:25:261
1878796993925,5cyclictest1914687-21tail09:05:330
1878796993916,13cyclictest12350irq/32-eth009:25:240
1878798993831,3cyclictest0-21swapper/210:40:252
1878798993823,3cyclictest171rcu_preempt09:55:292
1878798993811,17cyclictest1051-21mta-sts-daemon11:50:232
187879699383,32cyclictest1933712-21ssh09:30:290
1878796993830,6cyclictest2062670-21/usr/sbin/munin12:00:010
1878796993830,6cyclictest2062670-21/usr/sbin/munin12:00:010
1878796993827,8cyclictest1950030-21systemd-run09:50:010
1878796993826,9cyclictest0-21swapper/011:10:220
1878796993820,15cyclictest1963567-21aten_r2power_fr10:05:130
1878798993731,3cyclictest0-21swapper/210:05:012
1878798993726,7cyclictest998572-21cupsd08:40:192
1878798993726,5cyclictest0-21swapper/212:25:262
1878798993724,7cyclictest0-21swapper/210:10:202
187879899372,30cyclictest2024989-21ssh11:15:262
187879899372,29cyclictest1964162-21ssh10:05:212
1878798993713,5cyclictest171rcu_preempt08:00:232
1878798993713,5cyclictest171rcu_preempt08:00:232
187879899371,30cyclictest2020649-21ssh11:10:262
1878797993729,5cyclictest1936893-21latency_hist09:35:011
1878797993729,5cyclictest1880355-21latency_hist07:15:011
1878797993729,5cyclictest1880355-21latency_hist07:15:011
1878797993729,5cyclictest1-21systemd07:20:001
1878797993729,5cyclictest1-21systemd07:20:001
1878797993729,4cyclictest0-21swapper/110:05:251
1878797993727,5cyclictest0-21swapper/110:40:211
187879799372,27cyclictest1990182-21ssh10:35:231
187879699376,25cyclictest1920432-21ssh09:15:280
187879699376,25cyclictest1920432-21ssh09:15:280
1878796993731,4cyclictest421-21dbus-daemon11:30:010
1878796993731,3cyclictest0-21swapper/007:25:010
1878796993731,3cyclictest0-21swapper/007:25:010
1878796993730,4cyclictest1954491-21latency_hist09:55:020
1878796993729,5cyclictest998609-21cups-browsed11:46:120
1878796993729,5cyclictest12450irq/33-eth011:30:200
1878796993727,6cyclictest2011897-21sh11:00:230
1878796993718,12cyclictest12350irq/32-eth012:00:230
1878798993631,2cyclictest0-21swapper/210:20:012
1878798993629,4cyclictest1976542-21aten_r2power_fr10:20:142
1878798993629,4cyclictest1976542-21aten_r2power_fr10:20:142
1878798993628,5cyclictest1902803-21systemd-run08:30:012
1878798993628,4cyclictest0-21swapper/209:10:272
1878798993626,7cyclictest1-21systemd09:50:022
187879899362,22cyclictest2029192-21ssh11:20:242
1878797993630,3cyclictest0-21swapper/112:20:011
187879799362,9cyclictest171rcu_preempt11:20:231
1878797993628,5cyclictest421-21dbus-daemon11:15:011
1878797993628,4cyclictest0-21swapper/112:10:291
1878797993627,6cyclictest1899823-21systemd-run08:20:021
1878797993620,13cyclictest271ktimers/110:20:221
1878797993620,13cyclictest271ktimers/110:20:221
187879799361,6cyclictest171rcu_preempt10:55:251
1878796993630,2cyclictest0-21swapper/008:00:010
1878798993528,4cyclictest2072973-21grep12:10:342
1878798993527,5cyclictest1887788-21idleruntime-cro07:40:012
1878798993524,8cyclictest1888662-21ntp_kernel_pll_07:40:232
187879899352,27cyclictest1990326-21ssh10:35:282
187879899352,23cyclictest659-21snmpd09:05:222
1878798993516,15cyclictest351ktimers/211:00:252
187879799357,22cyclictest1972858-21ssh10:15:211
1878797993527,5cyclictest2033729-21processes11:25:301
1878797993526,6cyclictest421-21dbus-daemon07:35:011
1878796993516,14cyclictest1973025-21ssh10:15:270
187879699351,30cyclictest2076793-21ssh12:15:240
187879899343,22cyclictest2050735-21ssh11:45:222
1878798993427,4cyclictest57-21kcompactd007:10:262
1878798993427,4cyclictest57-21kcompactd007:10:262
1878798993426,5cyclictest420-21avahi-daemon11:35:452
1878798993426,5cyclictest420-21avahi-daemon11:35:452
1878798993414,4cyclictest171rcu_preempt08:50:282
187879899341,10cyclictest36-21ksoftirqd/209:20:262
1878797993426,5cyclictest1945610-21cron09:45:011
187879699347,15cyclictest151ktimers/007:10:250
187879699347,15cyclictest151ktimers/007:10:250
1878798993328,2cyclictest0-21swapper/209:40:002
1878798993325,5cyclictest1884790-21basename07:30:002
1878798993317,3cyclictest171rcu_preempt09:40:272
1878798993315,3cyclictest171rcu_preempt10:55:272
1878798993312,4cyclictest171rcu_preempt07:15:262
1878798993312,4cyclictest171rcu_preempt07:15:262
187879799333,18cyclictest1998977-21ssh10:45:271
1878797993327,3cyclictest0-21swapper/112:00:001
1878797993327,3cyclictest0-21swapper/112:00:001
1878797993327,3cyclictest0-21swapper/109:40:001
1878797993325,5cyclictest2003842-21unixbench_singl10:50:351
1878797993325,5cyclictest1929265-21ssh09:25:291
1878796993326,4cyclictest1901318-21systemd-run08:25:020
1878796993316,12cyclictest998609-21cups-browsed10:35:240
1878796993315,13cyclictest12350irq/32-eth010:25:250
1878796993315,13cyclictest12350irq/32-eth010:25:250
1878796993314,12cyclictest151ktimers/008:25:250
187879899323,22cyclictest2081173-21ssh12:20:292
1878798993225,4cyclictest0-21swapper/212:00:282
1878798993220,2cyclictest171rcu_preempt09:15:232
1878798993220,2cyclictest171rcu_preempt09:15:232
1878798993214,15cyclictest351ktimers/208:15:232
1878798993210,13cyclictest1051-21mta-sts-daemon12:36:422
187879799323,24cyclictest2037722-21ssh11:30:211
1878797993225,3cyclictest0-21swapper/111:05:271
1878797993224,5cyclictest2092886-21cron12:35:011
1878797993224,5cyclictest2068742-21unixbench_singl12:05:341
1878797993219,10cyclictest1955416-21needreboot09:55:221
1878796993226,4cyclictest2047110-21unixbench_singl11:40:340
1878796993226,4cyclictest1959510-21fschecks_time10:00:170
1878796993221,8cyclictest0-21swapper/009:40:150
187879699320,6cyclictest171rcu_preempt11:15:250
1878798993125,2cyclictest0-21swapper/208:20:152
187879899311,23cyclictest1985972-21ssh10:30:282
187879799313,25cyclictest1924859-21ssh09:20:271
1878797993125,4cyclictest1878795-21cyclictest11:35:161
1878797993125,4cyclictest1878795-21cyclictest11:35:161
1878797993123,5cyclictest2080619-21fschecks_count12:20:181
1878797993123,5cyclictest1898281-21munin-plugin-st08:15:001
1878797993123,4cyclictest0-21swapper/109:10:231
1878797993120,8cyclictest1985119-21rm10:30:121
1878796993125,4cyclictest2084767-21aten_r2power_vo12:25:130
1878796993125,4cyclictest2019486-21idleruntime-cro11:10:010
1878796993119,9cyclictest0-21swapper/008:40:010
1878796993119,8cyclictest0-21swapper/010:55:290
1878796993115,12cyclictest2068180-21sh12:05:250
1878796993111,16cyclictest624-21lldpd08:00:240
1878796993111,16cyclictest624-21lldpd08:00:240
1878796993111,14cyclictest2089619-21ssh12:30:220
1878798993022,5cyclictest0-21swapper/207:20:322
1878798993022,5cyclictest0-21swapper/207:20:322
187879899302,20cyclictest1890274-21sendmail-mta07:45:292
1878797993022,6cyclictest1054-21mta-sts-daemon08:40:231
1878797993022,5cyclictest2084584-21acpi12:25:121
1878797993022,5cyclictest1909801-21proc_pri08:50:291
1878797993022,5cyclictest1896679-21unixbench_multi08:05:341
1878797993022,5cyclictest1896679-21unixbench_multi08:05:341
1878797993011,3cyclictest171rcu_preempt12:00:131
1878796993023,5cyclictest1-21systemd08:50:020
187879699302,23cyclictest2055043-21sh11:50:230
187879699302,22cyclictest2072398-21sh12:10:230
1878796993018,9cyclictest0-21swapper/007:55:010
1878796993016,10cyclictest12350irq/32-eth010:10:230
187879699301,15cyclictest1887781-21idleruntime-cro07:40:010
187879899294,19cyclictest1951188-21ssh09:50:262
187879899292,22cyclictest998609-21cups-browsed07:55:232
187879699292,21cyclictest2094006-21ssh12:35:230
1878796992919,7cyclictest1923952-21/usr/sbin/munin09:20:160
187879899282,20cyclictest998609-21cups-browsed07:50:252
1878798992820,5cyclictest998609-21cups-browsed07:30:152
1878798992820,5cyclictest1878801-21systemd-run07:10:012
1878798992819,6cyclictest2049704-21systemd-run11:45:012
1878798992817,3cyclictest171rcu_preempt08:30:182
187879799283,20cyclictest2046589-21ssh11:40:281
1878796992821,4cyclictest0-21swapper/010:30:150
1878796992817,3cyclictest0-21swapper/012:20:180
1878798992710,7cyclictest1896177-21ntpq08:05:232
1878798992710,7cyclictest1896177-21ntpq08:05:232
1878798992710,7cyclictest171rcu_preempt08:10:332
1878797992720,5cyclictest261-21systemd-journal09:00:031
1878797992719,5cyclictest1963117-21cron10:05:011
1878797992719,5cyclictest1902780-21cron08:30:011
187879799271,20cyclictest2011865-21ssh11:00:221
187879799271,18cyclictest1920266-21ssh09:15:221
187879799271,18cyclictest1920266-21ssh09:15:221
187879699279,9cyclictest1054-21mta-sts-daemon07:45:250
1878796992721,4cyclictest1878801-21systemd-run07:10:010
1878796992619,4cyclictest0-21swapper/008:20:010
1878798992511,3cyclictest171rcu_preempt08:45:162
1878797992517,6cyclictest421-21dbus-daemon08:25:011
187879799250,8cyclictest1884805-21kworker/u8:1+xprtiod08:00:001
1878796992516,7cyclictest1-21systemd07:41:460
1878796992514,7cyclictest1056-21mta-sts-daemon08:40:280
1878796992513,2cyclictest0-21swapper/008:50:320
1878797992420,2cyclictest0-21swapper/107:40:011
1878797992418,3cyclictest0-21swapper/107:30:011
1878797992415,6cyclictest1910600-21cut08:55:131
1878797992414,7cyclictest1890096-21needreboot07:45:201
187879699244,14cyclictest428-21mta-sts-daemon07:30:250
1878797992318,3cyclictest1891899-21kworker/u8:3+rpciod08:30:471
1878797992317,3cyclictest0-21swapper/107:10:011
1878796992317,4cyclictest427-21polkitd08:12:150
1878796992317,3cyclictest1056-21mta-sts-daemon08:05:290
1878796992317,3cyclictest1056-21mta-sts-daemon08:05:290
187879799221,16cyclictest1908179-21awk08:45:251
1878796992217,3cyclictest151ktimers/008:55:240
187879999212,8cyclictest0-21swapper/311:20:283
1878797992110,8cyclictest753-21ntpd07:20:221
1878797992110,8cyclictest753-21ntpd07:20:221
187879999192,9cyclictest0-21swapper/312:00:263
187879999183,6cyclictest0-21swapper/310:35:213
187879999182,9cyclictest0-21swapper/311:15:243
187879999182,8cyclictest0-21swapper/311:45:263
187879999181,9cyclictest0-21swapper/311:10:263
187879999173,8cyclictest0-21swapper/309:50:273
187879999172,5cyclictest0-21swapper/308:40:213
187879999172,5cyclictest0-21swapper/308:00:263
187879999172,5cyclictest0-21swapper/308:00:263
187879999171,9cyclictest0-21swapper/311:25:283
187879999163,7cyclictest0-21swapper/309:30:263
187879999162,8cyclictest0-21swapper/309:45:233
187879999162,6cyclictest0-21swapper/308:30:203
187879999161,7cyclictest0-21swapper/312:05:213
187879999161,7cyclictest0-21swapper/310:15:213
187879999161,7cyclictest0-21swapper/307:50:223
187879999161,6cyclictest0-21swapper/307:45:233
187879999153,7cyclictest0-21swapper/312:10:233
187879999153,7cyclictest0-21swapper/310:55:253
187879999152,8cyclictest0-21swapper/312:25:253
187879999152,8cyclictest0-21swapper/310:10:233
187879999152,7cyclictest0-21swapper/312:15:193
187879999152,7cyclictest0-21swapper/311:55:223
187879999152,7cyclictest0-21swapper/311:55:223
187879999152,7cyclictest0-21swapper/311:40:223
187879999152,7cyclictest0-21swapper/310:20:243
187879999152,7cyclictest0-21swapper/310:20:243
187879999152,7cyclictest0-21swapper/309:35:213
187879999152,7cyclictest0-21swapper/309:25:243
187879999152,7cyclictest0-21swapper/307:40:213
187879999152,6cyclictest0-21swapper/310:50:223
187879999152,6cyclictest0-21swapper/309:00:203
187879999152,6cyclictest0-21swapper/308:35:243
187879999152,5cyclictest0-21swapper/308:25:223
187879999151,9cyclictest0-21swapper/309:40:213
187879999151,8cyclictest0-21swapper/310:05:213
187879999151,6cyclictest0-21swapper/308:45:263
187879999144,6cyclictest0-21swapper/309:15:223
187879999144,6cyclictest0-21swapper/309:15:223
187879999143,6cyclictest0-21swapper/310:45:263
187879999143,6cyclictest0-21swapper/310:40:223
187879999142,7cyclictest0-21swapper/312:20:273
187879999142,6cyclictest0-21swapper/311:30:213
187879999142,6cyclictest0-21swapper/310:25:233
187879999142,6cyclictest0-21swapper/310:25:233
187879999141,8cyclictest0-21swapper/311:35:253
187879999141,8cyclictest0-21swapper/311:35:253
187879999141,8cyclictest0-21swapper/311:00:233
187879999141,7cyclictest0-21swapper/312:35:213
187879999136,4cyclictest0-21swapper/309:10:263
187879999132,7cyclictest0-21swapper/310:30:153
187879999132,6cyclictest0-21swapper/307:55:233
187879999131,7cyclictest0-21swapper/312:30:273
187879999131,7cyclictest0-21swapper/311:50:233
187879999131,7cyclictest0-21swapper/310:00:203
187879999131,6cyclictest0-21swapper/307:10:233
187879999131,6cyclictest0-21swapper/307:10:233
187879999122,6cyclictest0-21swapper/307:40:013
187879999122,5cyclictest0-21swapper/309:05:223
187879999121,7cyclictest0-21swapper/309:55:213
187879999121,6cyclictest0-21swapper/309:20:123
187879999121,6cyclictest0-21swapper/308:20:283
187879999121,6cyclictest0-21swapper/308:15:183
187879999121,6cyclictest0-21swapper/307:20:213
187879999121,6cyclictest0-21swapper/307:20:213
187879999121,5cyclictest0-21swapper/307:25:213
187879999112,5cyclictest0-21swapper/311:05:123
187879999111,6cyclictest0-21swapper/308:55:243
187879999111,6cyclictest0-21swapper/308:50:213
187879999110,6cyclictest0-21swapper/308:10:233
187879999102,5cyclictest0-21swapper/308:05:163
187879999102,5cyclictest0-21swapper/308:05:163
187879999102,5cyclictest0-21swapper/307:15:233
187879999102,5cyclictest0-21swapper/307:15:233
18787999982,4cyclictest0-21swapper/307:10:023
18787999980,5cyclictest0-21swapper/307:30:203
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional