You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-18 - 18:48

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Mon May 18, 2026 12:45:12)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2166699716,54cyclictest13843-21ssh10:25:140
2168699612,36cyclictest18114-21ssh12:15:132
21677996122,9cyclictest131rcu_preempt09:15:141
2166699503,39cyclictest20626-21ssh09:35:140
2166699482,40cyclictest1697-21ssh11:30:130
2167799421,35cyclictest12313-21ssh11:00:141
2168699413,29cyclictest11102-21sshd08:40:132
2166699406,30cyclictest12728-21ssh12:30:120
2168699382,19cyclictest7248-21timerwakeupswit10:55:332
2167799383,26cyclictest24986-21kworker/u8:112:25:121
21666993821,8cyclictest12-21ksoftirqd/010:10:140
21666993821,8cyclictest12-21ksoftirqd/010:10:140
2168699374,22cyclictest27346irq/40-dwc2_hso12:25:132
21666993729,5cyclictest0-21swapper/008:15:110
21666993720,10cyclictest7257-21diskmemload11:35:590
2169599364,14cyclictest0-21swapper/312:35:143
2168699363,21cyclictest27346irq/40-dwc2_hso11:15:132
2169599352,24cyclictest0-21swapper/308:40:123
21695993520,11cyclictest35966irq/58-eth009:40:143
2169599335,18cyclictest35966irq/58-eth010:45:133
21686993316,11cyclictest27-21ksoftirqd/211:45:122
2168699324,19cyclictest27346irq/40-dwc2_hso10:45:142
2168699321,15cyclictest28202-21ssh10:15:122
2166699321,25cyclictest4860-21rm10:20:140
2166699321,23cyclictest28686-21ssh11:45:130
21666993210,17cyclictest12770-1kworker/u9:211:20:120
2168699313,7cyclictest0-21swapper/209:15:132
2167799312,23cyclictest4193-21rm09:42:591
2167799312,22cyclictest25836-21ssh09:20:121
2167799310,25cyclictest0-21swapper/108:40:121
2166699312,26cyclictest8430-21ssh10:40:140
2166699312,23cyclictest6605-21ssh11:14:590
2166699312,22cyclictest32414-21cut09:40:200
2167799302,22cyclictest1316-21rm11:45:431
2166699302,10cyclictest131rcu_preempt10:45:280
2166699301,21cyclictest12-21ksoftirqd/011:25:110
21695992912,9cyclictest35966irq/58-eth011:20:123
2168699296,9cyclictest27-21ksoftirqd/210:10:142
2168699296,9cyclictest27-21ksoftirqd/210:10:132
2168699294,10cyclictest21657-21cyclictest09:20:112
2168699292,21cyclictest0-21swapper/209:05:142
21686992914,6cyclictest10535-21kworker/2:010:25:132
2168699281,15cyclictest27346irq/40-dwc2_hso11:40:112
2168699281,15cyclictest27346irq/40-dwc2_hso11:40:112
2167799283,17cyclictest7738-21ssh09:10:131
2167799282,13cyclictest0-21swapper/112:15:121
21666992813,5cyclictest12-21ksoftirqd/010:50:120
2168699272,17cyclictest27346irq/40-dwc2_hso08:25:122
2167799272,6cyclictest131rcu_preempt10:50:121
2166699274,16cyclictest25474-21sshd08:55:150
2169599264,15cyclictest0-21swapper/312:15:133
21695992610,9cyclictest0-21swapper/309:15:143
21695992610,8cyclictest35966irq/58-eth011:40:113
21695992610,8cyclictest35966irq/58-eth011:40:103
2168699262,13cyclictest32574-21kthreadcore09:40:212
21686992619,4cyclictest0-21swapper/210:35:132
21686992616,8cyclictest0-21swapper/212:30:142
21686992613,5cyclictest0-21swapper/211:10:132
2167799262,18cyclictest17433-21ssh10:45:151
2168699252,15cyclictest16108-21ssh11:20:112
2168699252,14cyclictest27214-21ssh12:20:172
2168699252,10cyclictest21683-21ssh12:35:142
21686992513,3cyclictest0-21swapper/208:00:152
21686992510,12cyclictest455-21irqcore07:55:172
2167799251,21cyclictest73-21kswapd010:30:131
2167799251,10cyclictest0-21swapper/111:40:111
2167799251,10cyclictest0-21swapper/111:40:101
2166699252,18cyclictest2442-21ssh09:25:130
2166699252,16cyclictest31817-21ssh10:35:130
21695992415,4cyclictest35966irq/58-eth009:55:113
2168699249,5cyclictest17141-21latency_hist10:45:012
2168699244,11cyclictest11450-21ntp_states09:10:282
2168699242,11cyclictest10714-21ssh11:35:132
2168699241,18cyclictest7257-21diskmemload10:51:002
2168699241,18cyclictest26178-21tr11:25:182
21686992411,6cyclictest7830-21sshd12:09:002
21686992411,6cyclictest7830-21sshd12:08:592
2168699241,11cyclictest13456-21tr09:30:202
21686992411,10cyclictest26249-21sshd09:55:202
2166699248,7cyclictest22803-21sh10:30:120
2166699241,7cyclictest26555-21kthreadcore09:55:200
21666992410,10cyclictest12-21ksoftirqd/012:00:130
2169599233,13cyclictest0-21swapper/312:30:143
2169599233,13cyclictest0-21swapper/311:45:443
2169599233,11cyclictest0-21swapper/310:15:133
21695992314,8cyclictest33-21ksoftirqd/310:50:123
2168699232,18cyclictest22775-21/usr/sbin/munin10:30:312
2168699232,17cyclictest14417-21ssh11:55:142
2168699232,16cyclictest9090-21find11:50:272
2168699232,16cyclictest0-21swapper/211:00:592
2168699232,12cyclictest21031-21sed09:35:192
2168699232,10cyclictest11665-21kthreadcore12:10:232
2168699231,8cyclictest4420-21kthreadcore09:25:212
21686992312,9cyclictest0-21swapper/211:05:202
21686992312,8cyclictest8854-21kthreadcore09:45:222
2168699231,18cyclictest23960-21ps12:00:192
2168699231,13cyclictest10145-21apt-get10:05:132
2168699231,13cyclictest10145-21apt-get10:05:122
2167799233,16cyclictest10729-21ssh11:35:151
2167799232,2cyclictest131rcu_preempt12:20:171
2167799232,16cyclictest1271-21ssh11:29:591
21677992312,7cyclictest19762-21ntpq11:20:251
2167799231,17cyclictest30423-21rm11:10:141
2166699231,17cyclictest18368-21cut07:40:170
2169599221,13cyclictest35966irq/58-eth011:00:143
21695992210,3cyclictest35966irq/58-eth008:35:143
2168699227,12cyclictest10074-21kthreadcore07:30:202
2168699224,9cyclictest9815-21processes08:35:272
2168699223,9cyclictest32475-21latency_hist07:55:022
2168699223,9cyclictest32475-21latency_hist07:55:012
2168699222,17cyclictest31270-21latency_hist07:20:022
2168699222,16cyclictest14439-21idleruntime-cro08:10:022
2168699222,10cyclictest16085-21kernelversion09:50:182
2168699221,9cyclictest1658-21kthreadcore07:20:202
21686992215,4cyclictest261rcuc/210:20:192
2168699221,12cyclictest4305-21kthreadcore10:00:232
2168699221,11cyclictest3217-21tr11:30:192
2168699221,10cyclictest19356-21grep08:45:262
2167799223,4cyclictest131rcu_preempt10:55:331
2167799222,15cyclictest15329-21ssh09:50:121
21677992211,8cyclictest24879-21load11:05:241
2167799221,18cyclictest17076-21ls07:35:291
2167799221,17cyclictest4752-21ssh10:00:251
2166699222,10cyclictest664-21ntpd08:45:130
2166699221,18cyclictest3926-21cut12:25:160
2166699221,16cyclictest9109-21ssh12:10:140
2166699221,16cyclictest5278-21ssh11:50:130
2169599219,9cyclictest0-21swapper/310:30:403
2169599217,8cyclictest35966irq/58-eth011:50:133
21695992112,5cyclictest35966irq/58-eth011:30:143
2169599211,13cyclictest35966irq/58-eth008:25:133
2168699212,10cyclictest21121-21kthreadcore08:15:202
2168699211,9cyclictest21039-21irqcore08:50:152
2168699211,16cyclictest5243-21timerwakeupswit08:30:302
2168699211,16cyclictest22143-21if_eth107:10:172
2168699211,12cyclictest25655-21cut08:55:162
2168699211,11cyclictest28067-21grep08:20:282
2168699211,10cyclictest16818-21kthreadcore08:10:222
2167799214,11cyclictest21-21ksoftirqd/109:25:421
2167799212,16cyclictest7101-21apt-get11:15:121
2167799212,15cyclictest28217-21ssh10:15:141
21677992116,3cyclictest26934-21tr07:15:191
21677992111,8cyclictest28310-21awk09:55:281
2167799211,15cyclictest9888-21cpuspeed08:05:141
2167799211,10cyclictest131rcu_preempt11:34:221
21666992114,4cyclictest0-21swapper/008:20:140
2166699211,16cyclictest22176-21ssh12:15:290
2169599209,6cyclictest0-21swapper/311:25:043
2169599207,9cyclictest0-21swapper/310:55:243
21695992013,5cyclictest35966irq/58-eth008:05:123
21695992011,7cyclictest0-21swapper/311:10:013
2169599201,13cyclictest35966irq/58-eth010:05:143
2169599201,13cyclictest35966irq/58-eth010:05:133
21695992010,8cyclictest0-21swapper/310:21:103
21695992010,8cyclictest0-21swapper/309:24:093
21695992010,7cyclictest35966irq/58-eth011:35:133
2168699203,14cyclictest27346irq/40-dwc2_hso07:25:142
2168699201,16cyclictest30409-21sort09:00:162
2168699201,15cyclictest13490-21fschecks_count07:35:172
2168699201,10cyclictest25063-21kthreadcore07:45:212
2168699200,17cyclictest22076-21head07:40:292
2167799202,14cyclictest23380-21apt-get12:00:121
21677992012,6cyclictest8386-21/usr/sbin/munin10:40:191
2167799201,11cyclictest20886-21idleruntime08:50:141
21677992010,7cyclictest4683-21cat12:05:331
21677992010,7cyclictest4683-21cat12:05:321
2166699208,9cyclictest5681-21cat10:00:320
2166699208,3cyclictest131rcu_preempt09:10:190
2166699203,14cyclictest24702-21kthreadcore07:45:200
2166699202,16cyclictest20663-21switchtime09:15:290
21666992013,5cyclictest15625-21cron08:45:010
2166699201,2cyclictest0-21swapper/008:30:150
21666992012,6cyclictest12-21ksoftirqd/011:20:010
2166699201,15cyclictest28226-21ssh10:15:140
2169599198,8cyclictest0-21swapper/312:25:413
2169599198,6cyclictest0-21swapper/310:11:453
2169599198,6cyclictest0-21swapper/310:11:443
2169599193,10cyclictest0-21swapper/309:00:133
2169599192,12cyclictest0-21swapper/309:30:123
21695991911,6cyclictest35966irq/58-eth009:50:133
2168699191,9cyclictest21791-21cat07:10:022
2167799198,3cyclictest131rcu_preempt12:37:181
2167799198,3cyclictest131rcu_preempt10:25:111
2167799194,7cyclictest131rcu_preempt10:20:151
21677991911,6cyclictest29271-21cron09:40:011
21677991911,6cyclictest0-21swapper/107:45:281
2167799191,14cyclictest7257-21diskmemload09:45:151
2167799191,11cyclictest10157-21ssh10:05:141
2167799191,11cyclictest10157-21ssh10:05:131
2167799191,10cyclictest16387-21kthreadcore11:55:211
2167799191,10cyclictest0-21swapper/110:14:231
2167799191,10cyclictest0-21swapper/110:14:221
2166699192,15cyclictest10285-21timerandwakeup09:45:290
2166699191,16cyclictest1384-21ps09:00:270
2166699191,13cyclictest10854-21latency_hist08:40:020
2169599189,4cyclictest0-21swapper/309:10:083
2169599187,8cyclictest33-21ksoftirqd/312:10:223
21695991813,3cyclictest35966irq/58-eth012:00:213
21695991812,4cyclictest35966irq/58-eth011:15:133
21695991812,4cyclictest33-21ksoftirqd/309:35:133
21695991812,4cyclictest0-21swapper/311:55:273
21695991811,5cyclictest35966irq/58-eth012:20:163
2169599181,14cyclictest0-21swapper/312:05:183
2169599181,14cyclictest0-21swapper/312:05:173
2169599181,12cyclictest0-21swapper/310:00:303
2169599181,11cyclictest0-21swapper/308:00:163
21695991810,6cyclictest0-21swapper/310:35:173
2167799189,6cyclictest7891-21kthreadcore08:35:221
2167799189,6cyclictest23543-21kthreadcore07:10:201
2167799189,6cyclictest0-21swapper/108:25:271
2167799183,4cyclictest5225-21kworker/1:112:10:071
2167799183,10cyclictest0-21swapper/109:00:131
2167799182,9cyclictest32594-21cpu07:55:131
2167799182,4cyclictest131rcu_preempt08:30:131
2167799182,10cyclictest0-21swapper/109:05:151
2167799181,8cyclictest31574-21uniq07:20:151
2167799181,15cyclictest6019-21kthreadcore08:00:201
21677991811,5cyclictest14715-21kthreadcore12:30:211
21677991811,5cyclictest0-21swapper/108:20:171
2167799181,14cyclictest18351-21cut08:45:221
2166699189,7cyclictest11465-21apt-get09:30:110
2166699187,3cyclictest12-21ksoftirqd/011:05:290
2166699186,10cyclictest4744-21cron08:00:010
2166699185,5cyclictest12-21ksoftirqd/011:55:130
2166699185,10cyclictest7679-21grep07:25:280
2166699182,12cyclictest15334-21ssh09:50:130
2166699181,9cyclictest5561-21kthreadcore10:55:240
2166699181,7cyclictest23762-21kthreadcore12:35:230
2166699181,6cyclictest19800-21/usr/sbin/munin11:40:130
2166699181,6cyclictest19800-21/usr/sbin/munin11:40:120
21666991812,3cyclictest12-21ksoftirqd/011:00:230
2166699181,13cyclictest27212-21sh12:20:160
21666991810,5cyclictest7257-21diskmemload10:05:140
21666991810,5cyclictest7257-21diskmemload10:05:130
2166699180,16cyclictest405-21timerwakeupswit08:25:270
2169599179,6cyclictest0-21swapper/311:10:583
2169599179,6cyclictest0-21swapper/309:25:073
21695991712,3cyclictest33-21ksoftirqd/308:45:293
21695991712,3cyclictest33-21ksoftirqd/308:15:233
21695991712,3cyclictest0-21swapper/310:40:143
21695991712,3cyclictest0-21swapper/310:25:253
2167799179,6cyclictest20177-21kthreadcore08:15:191
2167799178,7cyclictest8139-21cut11:50:211
2167799173,3cyclictest131rcu_preempt10:35:171
2167799172,4cyclictest131rcu_preempt08:55:131
2167799171,14cyclictest6240-21kthreadcore07:25:211
2167799171,10cyclictest11475-21ssh09:30:121
21677991710,5cyclictest10504-21tr07:30:201
2166699179,6cyclictest6362-21awk09:05:290
2166699172,10cyclictest0-21swapper/007:15:140
2166699171,14cyclictest6204-21kthreadcore08:00:200
2166699171,11cyclictest3928-21switchtime12:05:310
2166699171,11cyclictest3928-21switchtime12:05:310
21666991710,4cyclictest27810-21kthreadcore09:20:200
21695991611,3cyclictest35966irq/58-eth009:45:183
21695991611,3cyclictest33-21ksoftirqd/307:35:173
2169599161,12cyclictest0-21swapper/307:15:123
2167799168,5cyclictest20426-21cut07:40:211
2167799162,4cyclictest21-21ksoftirqd/107:50:161
2167799162,4cyclictest21-21ksoftirqd/107:50:151
2167799161,12cyclictest14819-21fschecks_count08:10:161
2166699166,7cyclictest31528-21df_inode07:20:150
2166699162,9cyclictest0-21swapper/008:10:150
2166699162,12cyclictest8782-21grep07:30:160
2166699162,10cyclictest0-21swapper/008:50:100
21666991611,3cyclictest0-21swapper/007:50:260
21666991611,3cyclictest0-21swapper/007:50:250
2166699161,12cyclictest9930-21diskstats08:05:140
2166699161,12cyclictest13382-21apt-get07:35:120
2167799151,6cyclictest21793-21wc07:10:021
2166699151,11cyclictest21938-21diskstats07:10:160
2166699151,11cyclictest21673-21wc07:10:000
2169599149,3cyclictest0-21swapper/308:12:443
2169599149,3cyclictest0-21swapper/307:58:593
2169599141,7cyclictest0-21swapper/307:25:183
2169599141,11cyclictest0-21swapper/307:40:293
2169599138,3cyclictest0-21swapper/308:30:443
2169599131,8cyclictest0-21swapper/308:50:073
2169599131,8cyclictest0-21swapper/307:20:143
2169599131,7cyclictest0-21swapper/309:10:023
2169599131,6cyclictest0-21swapper/307:50:183
2169599131,6cyclictest0-21swapper/307:50:183
2169599131,10cyclictest0-21swapper/307:45:293
2169599128,3cyclictest33-21ksoftirqd/307:30:223
2169599127,3cyclictest0-21swapper/308:59:553
2169599121,8cyclictest0-21swapper/308:20:283
2169599117,2cyclictest33-21ksoftirqd/307:10:303
2169599101,6cyclictest0-21swapper/307:10:003
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional