You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-25 - 08:48

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Thu Jun 25, 2026 00:45:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2775999772,29cyclictest30637-21ssh22:30:120
27783996951,12cyclictest35966irq/58-eth021:15:143
2775999613,43cyclictest13784-21ssh00:25:130
2775999532,39cyclictest19690-21ssh23:35:130
2778399505,26cyclictest35966irq/58-eth021:10:133
2777599491,31cyclictest9637-21ssh00:05:112
2777599491,31cyclictest9637-21ssh00:05:112
2778399483,28cyclictest35966irq/58-eth000:30:123
2776799471,36cyclictest22871-21ssh00:30:131
2775999470,33cyclictest21546-21ssh22:25:120
2776799462,35cyclictest10484-21ssh23:30:111
27759994616,22cyclictest12-21ksoftirqd/022:10:140
2775999452,34cyclictest22141-21ssh21:50:120
2775999442,34cyclictest449-21ssh00:00:130
2778399438,22cyclictest35966irq/58-eth022:05:113
2775999432,33cyclictest31990-21ssh21:20:100
2778399424,27cyclictest35966irq/58-eth000:15:123
2775999412,5cyclictest131rcu_preempt20:45:150
2775999411,29cyclictest25654-21ssh22:45:120
2777599392,22cyclictest10494-21ssh23:30:122
27783993726,8cyclictest0-21swapper/323:00:133
27783993722,8cyclictest35966irq/58-eth021:50:123
2778399372,25cyclictest35966irq/58-eth020:35:123
2776799377,20cyclictest13368-21diskmemload22:15:151
2776799371,28cyclictest27817-21ssh00:15:121
2775999373,29cyclictest11520-21ssh22:55:140
2778399361,21cyclictest35966irq/58-eth023:30:103
2776799364,20cyclictest21-21ksoftirqd/120:20:131
2776799362,22cyclictest23438-21kworker/u8:122:00:111
2778399354,21cyclictest35966irq/58-eth020:50:123
2777599352,26cyclictest8780-21ssh21:25:132
2776799352,22cyclictest18701-21ssh00:10:131
27775993416,12cyclictest27-21ksoftirqd/219:30:132
27783993323,6cyclictest35966irq/58-eth023:20:113
27783993323,6cyclictest35966irq/58-eth023:20:103
2776799332,26cyclictest6389-21ssh23:10:121
27783993221,5cyclictest35966irq/58-eth021:20:103
2778399321,17cyclictest35966irq/58-eth023:05:123
2778399321,14cyclictest35966irq/58-eth022:35:123
2778399321,14cyclictest35966irq/58-eth022:35:123
2777599322,13cyclictest930-21snmpd00:10:122
2777599321,16cyclictest27837-21ssh00:15:122
2776799322,21cyclictest24708-21ssh23:20:111
2776799322,21cyclictest24708-21ssh23:20:111
2776799321,21cyclictest22907-21ssh21:15:141
27759993210,12cyclictest12-21ksoftirqd/020:40:140
27759993210,12cyclictest12-21ksoftirqd/020:40:140
2777599312,20cyclictest15582-21ssh23:15:132
2777599311,17cyclictest2405-21ssh22:50:152
2777599311,16cyclictest30458-21sshd20:20:142
27767993124,3cyclictest0-21swapper/122:50:151
2776799311,2cyclictest0-21swapper/123:05:111
2776799311,25cyclictest17989-21ssh21:30:131
2776799311,21cyclictest31968-21ssh00:35:121
2775999317,15cyclictest12-21ksoftirqd/023:25:120
2775999312,18cyclictest844-21munin-node20:10:130
2777599307,14cyclictest27-21ksoftirqd/219:10:112
2777599303,4cyclictest131rcu_preempt21:30:132
27767993015,6cyclictest21-21ksoftirqd/123:35:131
2778399292,15cyclictest35966irq/58-eth020:30:133
2777599293,18cyclictest27346irq/40-dwc2_hso23:55:112
27775992910,13cyclictest27-21ksoftirqd/222:20:132
27767992911,7cyclictest21-21ksoftirqd/123:15:131
2775999292,21cyclictest14696-21ssh23:50:140
2775999292,17cyclictest6400-21ssh23:10:120
2777599283,16cyclictest21566-21ssh22:25:142
27775992819,7cyclictest27-21ksoftirqd/219:45:122
2777599281,19cyclictest13028-21ssh21:45:142
27775992810,15cyclictest26237-21grep21:50:292
27759992810,8cyclictest27748-21cyclictest21:00:120
27783992719,4cyclictest35966irq/58-eth000:00:133
2777599271,21cyclictest14810-21sh23:50:142
2777599271,18cyclictest27346irq/40-dwc2_hso22:05:102
27775992710,13cyclictest10619-21kthreadcore22:00:222
2775999271,19cyclictest12-21ksoftirqd/019:20:110
2778399261,16cyclictest0-21swapper/321:25:133
2777599267,8cyclictest1-21systemd22:45:422
2777599263,16cyclictest27346irq/40-dwc2_hso00:35:142
2777599262,21cyclictest20638-21ssh23:00:132
2777599262,10cyclictest0-21swapper/219:55:122
2775999264,13cyclictest4663-21ssh00:20:130
2775999264,13cyclictest4663-21ssh00:20:130
2775999262,19cyclictest22935-21ssh21:15:150
2775999261,19cyclictest27446-21ssh23:55:240
2778399258,9cyclictest0-21swapper/321:55:153
2778399253,8cyclictest35966irq/58-eth021:00:133
2777599257,15cyclictest25273-21grep23:20:172
2777599257,15cyclictest25273-21grep23:20:172
2777599257,10cyclictest8427-21tr22:35:192
2777599257,10cyclictest8427-21tr22:35:192
2777599253,16cyclictest27346irq/40-dwc2_hso20:45:152
2777599252,9cyclictest131rcu_preempt21:20:112
27775992512,6cyclictest16970-21kthreadcore00:25:222
27775992512,10cyclictest11965-21ssh21:44:162
2777599251,20cyclictest167-21systemd-network19:40:122
27775992510,7cyclictest19705-21diskstats19:35:162
2775999253,18cyclictest13782-21ssh21:10:140
2775999251,16cyclictest31754-21kworker/u8:322:20:130
2775999251,16cyclictest13038-21ssh21:45:140
2777599244,10cyclictest30229-21cut22:10:282
2777599243,14cyclictest0-21swapper/223:25:132
2777599243,13cyclictest576-21ps19:15:172
2777599242,9cyclictest6619-21kthreadcore00:20:202
2777599242,9cyclictest6619-21kthreadcore00:20:202
27775992412,8cyclictest27165-21ssh21:35:142
27775992412,10cyclictest16844-21ssh22:56:022
2777599241,17cyclictest630-21Async09:36:312
2777599241,13cyclictest13783-21ssh21:10:142
27775992411,10cyclictest12545-21ssh23:48:002
2775999243,14cyclictest0-21swapper/020:15:140
2775999243,14cyclictest0-21swapper/020:15:140
2775999243,11cyclictest0-21swapper/020:25:110
2777599239,11cyclictest261rcuc/200:30:122
2777599233,12cyclictest27346irq/40-dwc2_hso21:00:122
2777599232,12cyclictest1235-21timerandwakeup23:05:282
2777599232,11cyclictest3752-21sh21:00:012
27775992314,7cyclictest0-21swapper/220:20:012
27775992314,7cyclictest0-21swapper/220:20:012
2777599231,12cyclictest22372-21kthreadcore23:35:222
2777599231,12cyclictest18991-21kthreadcore20:40:202
2777599231,12cyclictest18991-21kthreadcore20:40:202
2777599231,12cyclictest14564-21latency_hist19:30:022
2777599231,11cyclictest930-21snmpd19:50:142
2776799232,16cyclictest15165-21ssh22:55:251
2776799231,16cyclictest31394-21ssh21:55:151
27767992310,6cyclictest0-21swapper/100:20:121
27767992310,6cyclictest0-21swapper/100:20:121
2778399222,17cyclictest0-21swapper/322:20:133
2778399221,16cyclictest35966irq/58-eth023:10:133
2777599226,13cyclictest1579-21cut00:00:192
2777599224,14cyclictest5351-21tr22:15:222
2777599223,16cyclictest2242-21rm22:30:282
2777599222,13cyclictest0-21swapper/220:35:122
2777599222,12cyclictest24707-21kthreadcore21:15:222
2777599221,17cyclictest26920-21grep20:50:162
2777599221,11cyclictest17529-21cut22:40:182
2777599221,11cyclictest12483-21wc21:05:272
2777599221,10cyclictest7781-21cut20:30:162
2776799227,5cyclictest4394-21irqcore21:40:171
2776799222,5cyclictest53646usb-storage19:30:051
2776799222,17cyclictest5526-21ssh23:45:131
2776799221,18cyclictest20509-21ls20:40:221
2776799221,18cyclictest20509-21ls20:40:221
2776799221,16cyclictest16129-21ls20:05:131
2775999221,18cyclictest18768-21ls00:10:140
2778399214,14cyclictest0-21swapper/321:45:143
2777599213,11cyclictest31513-21kthreadcore23:40:222
2777599212,9cyclictest3017-21grep20:25:152
2777599211,9cyclictest11408-21fschecks_time20:00:162
2777599211,16cyclictest16168-21fschecks_count20:05:142
2777599211,14cyclictest6555-21cut23:10:152
2777599211,11cyclictest21020-21fschecks_time20:10:162
27775992110,9cyclictest6354-21ssh21:58:282
2776799211,17cyclictest14686-21ssh23:50:131
2776799211,16cyclictest22130-21apt-get21:50:111
2776799211,15cyclictest6387-21find19:55:121
2775999216,7cyclictest0-21swapper/020:00:120
2775999212,16cyclictest13368-21diskmemload21:40:140
2775999211,7cyclictest26680-21latency_hist21:35:020
2778399203,11cyclictest35966irq/58-eth023:50:123
27783992011,7cyclictest0-21swapper/300:10:263
2777599201,8cyclictest27787-21latency_hist19:10:022
2776799208,9cyclictest3999-21apt-get21:00:121
2776799207,4cyclictest131rcu_preempt22:45:251
2776799207,10cyclictest9636-21ssh00:05:111
2776799207,10cyclictest9636-21ssh00:05:111
2776799205,9cyclictest0-21swapper/122:05:111
2776799203,9cyclictest13774-21diskmemload21:10:131
27767992012,6cyclictest0-21swapper/121:35:031
27767992011,6cyclictest25402-21cron20:15:011
2775999208,9cyclictest20933-21ps22:05:260
2775999204,9cyclictest664-21ntpd22:35:130
2775999204,9cyclictest664-21ntpd22:35:130
2775999201,5cyclictest23582-21irqstats00:30:190
27759992013,4cyclictest0-21swapper/019:20:020
27759992011,6cyclictest0-21swapper/023:00:140
2775999201,12cyclictest2606-21latency_hist20:25:010
2778399199,7cyclictest35966irq/58-eth000:40:023
2778399199,6cyclictest35966irq/58-eth022:40:123
2778399196,9cyclictest35966irq/58-eth023:55:233
2778399193,11cyclictest0-21swapper/322:15:153
27783991910,6cyclictest0-21swapper/322:25:203
2776799191,6cyclictest2735-21munin-run22:15:011
2776799191,3cyclictest131rcu_preempt21:25:121
27767991912,4cyclictest24452-21sendmail_mailtr23:00:281
27767991911,5cyclictest0-21swapper/119:10:241
2776799191,14cyclictest28803-21apt-get23:40:131
2776799191,12cyclictest16547-21rm21:45:241
27767991910,6cyclictest16507-21apt-get22:40:111
2776799190,17cyclictest11399-21fschecks_time20:00:161
2776799190,15cyclictest23366-21ls19:35:291
2776799190,14cyclictest30730-21cpuspeed22:30:131
2776799190,14cyclictest1843-21ls19:50:161
2775999191,15cyclictest9331-21kthreadcore22:00:210
2775999191,14cyclictest6073-21ssh22:50:260
2775999191,11cyclictest8760-21ssh21:25:110
2775999190,7cyclictest2741-21apt-get22:15:040
2778399186,5cyclictest0-21swapper/323:35:213
2778399183,13cyclictest0-21swapper/321:35:143
2778399183,10cyclictest0-21swapper/321:30:133
2778399182,11cyclictest0-21swapper/319:30:143
2778399182,10cyclictest0-21swapper/319:25:123
27783991814,3cyclictest35966irq/58-eth022:30:233
27783991811,5cyclictest35966irq/58-eth023:25:123
27783991811,5cyclictest0-21swapper/322:45:213
2778399181,14cyclictest0-21swapper/321:40:233
2778399181,12cyclictest0-21swapper/300:20:223
2778399181,12cyclictest0-21swapper/300:20:213
27783991810,6cyclictest0-21swapper/322:55:083
2776799189,6cyclictest14680-21cut00:25:191
2776799188,7cyclictest28229-21cat23:55:281
2776799184,11cyclictest27421-21irqrtprio20:50:181
2776799184,11cyclictest1206-21ssh00:00:191
2776799181,6cyclictest12378-21/usr/sbin/munin22:20:111
2776799181,14cyclictest12656-21ls20:35:161
27767991810,5cyclictest9460-21kthreadcore22:35:201
27767991810,5cyclictest9460-21kthreadcore22:35:201
2775999186,3cyclictest0-21swapper/000:35:210
2775999182,9cyclictest16534-21ssh22:40:110
2775999182,13cyclictest25157-21cut23:20:160
2775999182,13cyclictest25157-21cut23:20:160
2775999181,6cyclictest10674-21kthreadcore00:05:180
2775999181,6cyclictest10674-21kthreadcore00:05:180
2775999181,14cyclictest710-21cron20:55:010
2775999181,13cyclictest27933-21df_inode00:15:140
2775999181,13cyclictest27155-21ssh21:35:130
2775999181,12cyclictest31396-21rm21:55:150
2778399179,6cyclictest0-21swapper/323:40:043
2778399179,6cyclictest0-21swapper/323:17:313
2778399179,6cyclictest0-21swapper/322:10:073
2778399179,6cyclictest0-21swapper/322:00:093
2778399172,10cyclictest0-21swapper/300:05:133
2778399172,10cyclictest0-21swapper/300:05:133
27783991711,4cyclictest0-21swapper/323:45:063
27783991710,4cyclictest0-21swapper/322:50:213
27783991710,4cyclictest0-21swapper/300:25:093
2776799179,6cyclictest8912-21fschecks_count21:05:151
2776799179,6cyclictest4548-21cut23:25:211
2776799179,6cyclictest3736-21sshd20:57:431
2776799179,6cyclictest22611-21cut22:25:201
2776799178,7cyclictest32119-21forks21:20:131
2776799173,11cyclictest666-21grep19:45:291
2776799172,10cyclictest0-21swapper/120:25:121
2776799171,8cyclictest6738-21cut19:20:181
2776799171,13cyclictest7610-21find20:30:121
2775999177,6cyclictest10882-21irqcore23:30:160
2775999174,10cyclictest27832-21latency_hist19:10:020
2775999174,10cyclictest19403-21cat19:35:010
2775999173,11cyclictest899-21ntp_kernel_pll_23:05:240
2775999172,12cyclictest14533-21latency_hist19:30:020
2775999172,11cyclictest12183-21cron20:35:010
2775999172,10cyclictest0-21swapper/019:10:130
2775999171,3cyclictest102261usage_EthcTask23:45:320
2775999171,14cyclictest2119-21grep19:50:180
2775999171,13cyclictest16978-21munin-run20:40:000
2775999171,10cyclictest28976-21ssh23:40:150
2778399162,10cyclictest35966irq/58-eth019:20:123
2778399162,10cyclictest0-21swapper/320:20:143
2778399161,9cyclictest0-21swapper/319:45:233
2776799169,5cyclictest27498-21kthreadcore20:15:231
2776799169,5cyclictest27498-21kthreadcore20:15:231
2776799162,10cyclictest0-21swapper/119:25:131
2776799161,11cyclictest25756-21kthreadcore19:40:191
2776799161,11cyclictest23495-21kthreadcore20:45:211
2776799160,13cyclictest3889-21switchtime19:15:271
2775999164,9cyclictest16735-21kthreadcore20:05:180
2775999163,10cyclictest27778-21missed_timers19:40:220
2775999161,8cyclictest19594-21/usr/sbin/munin19:35:280
2775999161,3cyclictest0-21swapper/019:45:130
2775999161,12cyclictest32450-21kthreadcore20:55:170
2775999161,12cyclictest15553-21find23:15:120
2775999161,12cyclictest11006-21basename20:00:010
2775999160,8cyclictest9459-21kthreadcore21:05:180
2778399155,6cyclictest0-21swapper/319:55:123
2778399151,8cyclictest0-21swapper/319:10:113
2776799151,11cyclictest27847-21sed19:10:021
2778399149,3cyclictest36066irq/59-eth020:58:433
2778399149,3cyclictest0-21swapper/320:40:293
2778399149,3cyclictest0-21swapper/320:40:293
2778399149,3cyclictest0-21swapper/319:50:173
2778399142,7cyclictest0-21swapper/320:45:143
2778399141,11cyclictest0-21swapper/320:10:013
2778399138,3cyclictest0-21swapper/320:15:243
2778399138,3cyclictest0-21swapper/320:15:233
2778399138,3cyclictest0-21swapper/319:40:143
2778399138,3cyclictest0-21swapper/319:15:283
2778399137,4cyclictest35966irq/58-eth021:05:173
2778399132,9cyclictest0-21swapper/319:35:293
2778399131,8cyclictest0-21swapper/320:25:123
2778399121,7cyclictest0-21swapper/320:00:143
2778399111,7cyclictest0-21swapper/319:10:023
2778399111,6cyclictest0-21swapper/320:10:153
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional