You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-26 - 04:49

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Sun Jul 26, 2026 00:45:16)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2483499632,39cyclictest16657-21ssh23:55:142
24842996129,20cyclictest35966irq/58-eth023:50:133
24821995913,12cyclictest131rcu_preempt19:50:131
24842995840,11cyclictest35966irq/58-eth023:25:123
2483499572,31cyclictest455-21ssh23:10:132
2482199552,40cyclictest10782-21ssh21:10:131
24834995025,18cyclictest27-21ksoftirqd/223:44:262
2483499501,36cyclictest28790-21ssh21:20:152
24834994919,14cyclictest630-21Async09:36:312
2483499472,28cyclictest29362-21ssh22:50:132
24834994612,23cyclictest27-21ksoftirqd/223:35:132
24821994623,20cyclictest21-21ksoftirqd/120:35:141
2481199451,31cyclictest13112-21ssh23:35:140
2481199433,16cyclictest20386-21ssh00:15:160
2484299415,22cyclictest35966irq/58-eth022:15:143
2484299415,22cyclictest35966irq/58-eth022:15:133
2482199412,26cyclictest18119-21ssh21:50:131
2482199401,3cyclictest131rcu_preempt21:55:131
2481199402,31cyclictest2335-21ssh00:05:170
2481199401,4cyclictest131rcu_preempt00:20:120
2481199394,28cyclictest16537-21ssh22:25:140
2481199394,28cyclictest16537-21ssh22:25:130
24811993913,18cyclictest12-21ksoftirqd/019:20:130
2484299382,26cyclictest0-21swapper/323:55:133
2482199383,25cyclictest12897-21ssh22:05:161
24811993818,14cyclictest12-21ksoftirqd/000:10:110
24834993716,12cyclictest0-21swapper/222:00:132
2483499371,18cyclictest930-21snmpd20:10:152
2484299364,23cyclictest35966irq/58-eth021:15:143
2483499362,17cyclictest7793-21ssh23:30:262
2482199364,25cyclictest29348-21ssh00:20:131
2481199362,23cyclictest9039-21ssh21:45:140
2481199361,17cyclictest9584-21ssh23:15:150
2481199361,16cyclictest22189-21ssh23:40:150
2481199361,15cyclictest6475-21grep21:05:200
2481199357,20cyclictest12-21ksoftirqd/019:25:120
2484299345,15cyclictest35966irq/58-eth022:00:123
2484299343,18cyclictest0-21swapper/300:03:253
2484299342,22cyclictest35966irq/58-eth021:35:143
2484299342,21cyclictest35966irq/58-eth023:35:143
2483499343,25cyclictest0-21swapper/223:54:262
2482199342,23cyclictest22130-21ssh23:40:131
24811993414,17cyclictest3812-21sh22:00:150
2481199341,27cyclictest7511-21sh22:20:140
2484299334,16cyclictest35966irq/58-eth023:20:123
2484299331,19cyclictest35966irq/58-eth019:50:123
2484299331,19cyclictest35966irq/58-eth000:35:143
2483499333,17cyclictest5821-21ssh00:25:142
24811993318,12cyclictest12-21ksoftirqd/019:10:140
24811993313,13cyclictest21867-21diskmemload22:10:140
24811993313,13cyclictest21867-21diskmemload22:10:140
2484299322,18cyclictest35966irq/58-eth021:50:153
2482199321,24cyclictest25716-21ssh22:30:161
2481199322,24cyclictest5373-21ssh21:25:130
2481199322,10cyclictest14825-21ssh00:30:150
2483499314,20cyclictest27346irq/40-dwc2_hso22:45:152
2483499314,18cyclictest27346irq/40-dwc2_hso21:00:142
2483499314,18cyclictest27346irq/40-dwc2_hso21:00:132
2481199315,21cyclictest23926-21ssh23:05:140
2484299302,17cyclictest35966irq/58-eth021:45:143
2483499302,21cyclictest0-21swapper/220:05:152
2484299296,12cyclictest0-21swapper/322:05:163
2484299292,13cyclictest35966irq/58-eth000:25:143
24842992916,10cyclictest35966irq/58-eth022:50:273
2483499292,20cyclictest0-21swapper/219:55:162
2482199292,21cyclictest14088-21ssh23:52:251
24821992913,12cyclictest21-21ksoftirqd/121:00:151
24821992913,12cyclictest21-21ksoftirqd/121:00:141
24811992914,8cyclictest24800-21cyclictest20:35:160
2481199291,22cyclictest27175-21ssh21:55:140
2484299281,17cyclictest35966irq/58-eth021:30:143
24842992810,13cyclictest35966irq/58-eth023:15:163
2483499282,16cyclictest27346irq/40-dwc2_hso19:20:142
24834992813,9cyclictest630-21Async09:36:312
24821992819,5cyclictest23813-21ssh00:35:141
2482199281,3cyclictest131rcu_preempt00:10:131
2481199282,20cyclictest15768-21ssh23:54:260
2484299275,12cyclictest0-21swapper/319:45:133
2484299273,18cyclictest0-21swapper/323:10:133
2483499273,9cyclictest0-21swapper/200:11:262
2483499273,16cyclictest27346irq/40-dwc2_hso19:25:122
2483499273,15cyclictest27346irq/40-dwc2_hso19:50:122
2483499273,14cyclictest27346irq/40-dwc2_hso20:00:142
2483499273,14cyclictest27346irq/40-dwc2_hso20:00:132
2483499271,19cyclictest0-21swapper/219:30:142
2482199273,20cyclictest21-21ksoftirqd/120:25:121
2482199272,6cyclictest3792-21apt-get22:00:131
2482199272,20cyclictest10386-21diskmemload00:03:251
2482199272,19cyclictest23394-21ssh21:35:141
2482199272,19cyclictest20398-21uname23:55:261
2482199271,21cyclictest28791-21ssh21:20:151
2481199273,18cyclictest14481-21ssh21:30:150
2484299262,18cyclictest0-21swapper/323:42:233
24842992616,4cyclictest0-21swapper/322:30:163
2484299261,13cyclictest35966irq/58-eth023:45:143
2483499269,8cyclictest0-21swapper/221:34:362
2483499263,16cyclictest27346irq/40-dwc2_hso00:00:162
2481199263,18cyclictest5823-21diskmemload00:25:150
2481199262,19cyclictest31124-21ssh23:45:150
2481199261,19cyclictest32464-21ssh21:40:150
24811992610,7cyclictest0-21swapper/021:15:140
24842992516,4cyclictest35966irq/58-eth021:10:133
2483499252,18cyclictest0-21swapper/222:20:152
2483499252,16cyclictest27346irq/40-dwc2_hso21:25:142
2483499252,15cyclictest0-21swapper/221:15:152
2483499249,2cyclictest27-21ksoftirqd/223:25:242
2483499247,13cyclictest27-21ksoftirqd/223:00:252
2483499244,15cyclictest27346irq/40-dwc2_hso22:05:152
2483499244,11cyclictest27346irq/40-dwc2_hso21:05:132
2483499242,8cyclictest10386-21diskmemload23:48:252
2483499241,9cyclictest1645366ssh00:30:222
2483499241,7cyclictest27-21ksoftirqd/222:40:132
24834992416,5cyclictest22305-21ssh22:10:182
24834992416,5cyclictest22305-21ssh22:10:172
2483499240,13cyclictest25182-21cut19:10:172
2482199242,7cyclictest131rcu_preempt00:06:261
24821992411,9cyclictest0-21swapper/119:55:151
2482199241,17cyclictest5964-21ssh22:55:141
2481199247,10cyclictest630-21Async09:36:310
24811992412,8cyclictest0-21swapper/023:55:140
2484299232,16cyclictest35966irq/58-eth000:30:153
2484299232,15cyclictest35966irq/58-eth021:25:123
2484299232,14cyclictest35966irq/58-eth023:00:123
2483499233,14cyclictest27346irq/40-dwc2_hso21:10:132
2483499232,6cyclictest0-21swapper/200:06:252
2483499231,6cyclictest18114-21ssh21:50:142
24834992313,7cyclictest31895-21sh20:25:002
24834992312,9cyclictest0-21swapper/222:38:332
2483499231,17cyclictest26152-21apt-get19:45:142
2483499231,13cyclictest10346-21cut23:15:212
2482199231,18cyclictest22005-21grep22:10:161
2482199231,18cyclictest22005-21grep22:10:161
2482199231,17cyclictest27576-21sh23:25:131
24811992316,4cyclictest0-21swapper/022:40:020
24842992216,4cyclictest321rcuc/322:25:193
24842992216,4cyclictest321rcuc/322:25:193
24842992215,4cyclictest0-21swapper/322:14:153
24842992215,4cyclictest0-21swapper/322:14:143
24842992214,6cyclictest0-21swapper/322:55:133
24842992214,5cyclictest0-21swapper/322:49:453
2484299220,16cyclictest35966irq/58-eth000:10:113
2483499229,4cyclictest28316-21kthreadcore22:30:252
2483499222,17cyclictest21921-21kthreadcore20:45:222
2483499222,17cyclictest21921-21kthreadcore20:45:212
24834992212,8cyclictest0-21swapper/221:55:182
2483499221,12cyclictest32728-21sort21:40:182
2483499221,10cyclictest20114-21missed_timers22:25:252
2483499221,10cyclictest20114-21missed_timers22:25:252
2482199226,11cyclictest30941-21ssh22:15:161
2482199226,11cyclictest30941-21ssh22:15:161
2482199221,11cyclictest8181-21wc20:30:291
2481199221,16cyclictest26260-21cut19:45:160
24842992114,5cyclictest0-21swapper/322:37:353
24842992114,5cyclictest0-21swapper/300:17:043
24842992113,6cyclictest0-21swapper/300:20:283
24842992113,5cyclictest0-21swapper/321:41:263
24842992113,5cyclictest0-21swapper/300:05:293
24842992112,7cyclictest0-21swapper/322:40:153
2483499219,6cyclictest131rcu_preempt00:15:202
2483499216,5cyclictest30389-21kthreadcore20:55:202
2483499213,9cyclictest6495-21kthreadcore20:30:212
2483499212,9cyclictest10604-21usage_EthcTask22:55:322
2483499211,7cyclictest0-21swapper/223:05:152
2483499211,11cyclictest29328-21/usr/sbin/munin00:20:132
2483499211,10cyclictest21584-21hwlatdetect19:40:302
2482199212,15cyclictest20387-21ssh22:45:141
2482199212,13cyclictest14901-21ssh23:00:141
2482199211,14cyclictest21112-21kthreadcore00:15:221
2482199211,14cyclictest14826-21ssh00:30:161
2481199217,9cyclictest12-21ksoftirqd/023:30:150
2481199212,13cyclictest20510-21diskstats22:45:170
2481199212,13cyclictest18566-21ssh23:20:120
24811992111,7cyclictest4977-21cron21:25:020
2481199211,17cyclictest29385-21ssh00:00:260
24811992110,8cyclictest29356-21apt-get22:50:140
2484299204,10cyclictest0-21swapper/319:35:143
2484299204,10cyclictest0-21swapper/319:35:133
24842992014,4cyclictest0-21swapper/323:30:273
24842992014,4cyclictest0-21swapper/322:22:373
24842992014,4cyclictest0-21swapper/321:22:173
2483499206,11cyclictest23959-21kthreadcore20:15:202
2483499206,11cyclictest0-21swapper/219:15:162
2483499202,9cyclictest9568-21irqcore21:45:202
2483499202,15cyclictest10608-21kthreadcore20:35:222
2483499201,9cyclictest23566-21fschecks_count21:35:172
2483499201,10cyclictest512-21kthreadcore20:25:202
2483499201,10cyclictest31052-21diskstats22:15:172
2483499201,10cyclictest31052-21diskstats22:15:162
2482199209,8cyclictest8664-21cut21:45:011
24821992014,4cyclictest0-21swapper/123:10:131
2481199201,15cyclictest29911-21cut19:15:170
2481199201,11cyclictest13352-21sed22:05:200
2481199201,10cyclictest12423-21tr21:10:200
2484299198,8cyclictest0-21swapper/323:05:143
2484299192,11cyclictest0-21swapper/320:45:143
2484299192,11cyclictest0-21swapper/320:45:133
24842991914,3cyclictest321rcuc/320:55:273
24842991913,4cyclictest321rcuc/320:40:133
24842991913,4cyclictest321rcuc/320:15:133
24842991911,5cyclictest0-21swapper/321:55:203
2484299191,13cyclictest0-21swapper/320:50:183
2483499197,9cyclictest0-21swapper/219:35:172
2483499197,9cyclictest0-21swapper/219:35:162
2483499193,14cyclictest24754-21latency_hist19:10:012
2483499191,9cyclictest23801-21fschecks_count20:50:172
2483499191,8cyclictest16840-21kthreadcore20:40:212
2482199199,7cyclictest32263-21threads20:55:291
2482199199,7cyclictest17826-21cat23:35:321
2482199196,10cyclictest13567-21ssh23:15:311
2482199194,13cyclictest15188-21kthreadcore20:40:201
2482199191,10cyclictest23454-21cron20:50:011
2482199191,10cyclictest23454-21cron20:50:011
24821991910,7cyclictest24534-21cat21:15:341
2482199190,17cyclictest29338-21find22:50:131
2482199190,16cyclictest23821-21cut20:50:161
2482199190,15cyclictest9705-21ls00:25:291
2481199196,8cyclictest536-21usb-storage21:50:050
2481199192,15cyclictest3442-21timerwakeupswit20:25:290
24811991912,5cyclictest12-21ksoftirqd/019:10:010
2481199191,16cyclictest31041-21ls20:20:290
2481199191,14cyclictest23390-21apt-get21:35:140
2481199191,11cyclictest18784-21ls23:00:280
24842991813,3cyclictest321rcuc/319:30:243
24842991813,3cyclictest0-21swapper/321:05:243
24842991813,3cyclictest0-21swapper/319:15:153
24842991813,3cyclictest0-21swapper/319:10:153
24842991812,4cyclictest0-21swapper/320:20:293
24842991812,4cyclictest0-21swapper/320:00:203
24842991812,4cyclictest0-21swapper/320:00:193
24842991812,4cyclictest0-21swapper/319:25:273
2484299181,11cyclictest0-21swapper/319:10:023
2482199189,7cyclictest12557-21load21:45:251
2482199182,14cyclictest20656-21kthreadcore20:10:231
2482199182,12cyclictest31809-21sed23:45:201
24821991812,3cyclictest7264-21cut21:05:211
2482199181,14cyclictest24196-21kthreadcore20:15:201
2482199181,14cyclictest2269-21ssh22:35:141
2482199181,13cyclictest11321-21awk22:20:281
24821991810,5cyclictest18543-21kthreadcore22:25:241
24821991810,5cyclictest18543-21kthreadcore22:25:231
2481199185,10cyclictest614-21dbus-daemon22:32:150
2481199182,11cyclictest0-21swapper/022:15:160
2481199182,11cyclictest0-21swapper/022:15:160
24811991811,5cyclictest0-21swapper/020:10:280
2481199181,14cyclictest9141-21cron23:15:010
2481199181,13cyclictest6411-21kthreadcore20:30:220
2481199180,6cyclictest24460-21cut00:35:190
2484299178,5cyclictest0-21swapper/320:05:153
24842991711,4cyclictest0-21swapper/320:25:203
24842991711,4cyclictest0-21swapper/320:10:193
24842991711,4cyclictest0-21swapper/319:55:233
2482199179,6cyclictest24496-21cut23:05:191
2482199178,7cyclictest21028-21tr23:20:201
2482199175,9cyclictest24800-21cyclictest21:30:131
2482199172,11cyclictest0-21swapper/119:45:161
2482199171,13cyclictest5351-21apt-get21:25:141
2482199171,13cyclictest12109-21grep19:30:161
2482199171,12cyclictest6736-21cron19:25:011
2482199171,12cyclictest4165-21ssh23:30:121
2482199171,12cyclictest17055-21grep19:35:191
2482199171,12cyclictest17055-21grep19:35:181
2482199171,11cyclictest13930-21kthreadcore22:40:221
2481199179,6cyclictest7875-21sshd19:56:250
2481199172,13cyclictest24446-21kthreadcore19:40:370
2481199172,11cyclictest25926-21ntp_192.168.11420:15:250
2481199172,11cyclictest0-21swapper/020:50:150
2481199171,8cyclictest11711-21swap20:00:290
2481199171,8cyclictest11711-21swap20:00:280
2481199171,5cyclictest0-21swapper/023:25:190
2481199171,12cyclictest6069-21df_inode22:55:150
2484299167,5cyclictest321rcuc/320:35:133
2484299162,9cyclictest0-21swapper/320:30:153
2484299162,9cyclictest0-21swapper/319:20:143
24842991611,3cyclictest0-21swapper/321:00:203
24842991611,3cyclictest0-21swapper/321:00:193
24842991611,3cyclictest0-21swapper/319:40:263
2482199163,10cyclictest29082-21kthreadcore20:20:211
2482199163,10cyclictest13794-21kthreadcore20:05:191
2482199162,9cyclictest844-21munin-node19:15:151
2482199162,9cyclictest0-21swapper/119:10:141
2482199162,10cyclictest8200-21cpuspeed20:00:161
2482199162,10cyclictest8200-21cpuspeed20:00:161
2482199161,12cyclictest6970-21apt-get19:25:141
24821991610,3cyclictest21887-21cut19:40:331
2481199169,5cyclictest31467-21irqrtprio19:50:170
2481199169,5cyclictest15469-21kthreadcore20:05:220
2481199167,6cyclictest22167-21latency20:45:230
2481199167,6cyclictest22167-21latency20:45:230
2481199163,5cyclictest12-21ksoftirqd/019:30:220
2481199162,11cyclictest1456-21irqcore21:00:190
2481199162,11cyclictest1456-21irqcore21:00:190
2481199162,10cyclictest0-21swapper/020:40:140
2481199161,4cyclictest53646usb-storage20:55:040
2481199152,11cyclictest17985-21cut19:35:210
2481199152,11cyclictest17985-21cut19:35:210
2482199135,5cyclictest24865-21latency_hist19:10:021
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional