You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-11 - 22:14

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Thu Dec 11, 2025 12:45:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2159899714,7cyclictest131rcu_preempt09:30:140
21620995936,11cyclictest27-21ksoftirqd/209:45:132
21598995926,24cyclictest26633-21diskmemload12:30:120
2161299553,44cyclictest3697-21ssh11:35:181
2159899535,37cyclictest8969-21ssh12:20:110
2159899533,38cyclictest13383-21ssh09:35:120
2159899531,42cyclictest28608-21ssh11:30:130
21612994928,17cyclictest21-21ksoftirqd/109:40:121
2159899481,35cyclictest17914-21ssh10:20:140
21612994729,5cyclictest21-21ksoftirqd/107:15:141
21612994623,9cyclictest131rcu_preempt07:30:131
21612994623,9cyclictest131rcu_preempt07:30:121
2159899463,5cyclictest131rcu_preempt09:20:130
21620994520,11cyclictest27-21ksoftirqd/207:30:132
21620994520,11cyclictest27-21ksoftirqd/207:30:132
2161299442,28cyclictest15762-21sh09:15:131
2162899432,24cyclictest29566irq/58-eth011:30:143
2161299422,30cyclictest2729-21ssh10:10:121
2162899403,25cyclictest29566irq/58-eth010:20:143
2161299403,7cyclictest131rcu_preempt07:20:131
2159899401,9cyclictest14706-21tr07:35:200
21628993916,18cyclictest0-21swapper/309:45:153
21620993933,3cyclictest8968-21ssh12:20:122
2161299384,21cyclictest21-21ksoftirqd/107:50:141
2159899371,12cyclictest28330-21/usr/sbin/munin10:45:290
2159899361,9cyclictest5055-21kthreadcore10:10:210
2159899361,10cyclictest18174-21sed12:05:200
2162899351,18cyclictest29566irq/58-eth012:35:143
2161299350,28cyclictest0-21swapper/108:45:141
2159899355,4cyclictest27937-21kthreadcore12:10:220
2159899355,4cyclictest27937-21kthreadcore12:10:210
2159899351,9cyclictest28331-21irqcore07:50:180
2159899351,9cyclictest13682-21kthreadcore09:55:200
21598993515,14cyclictest12-21ksoftirqd/008:10:110
2159899351,11cyclictest1499-21cut10:50:200
2159899345,19cyclictest12-21ksoftirqd/012:00:140
2159899343,6cyclictest22812-21ssh11:05:130
2159899343,6cyclictest22812-21ssh11:05:120
2159899342,8cyclictest23727-21sed07:45:180
2159899341,9cyclictest8445-21cut10:55:200
2159899341,9cyclictest17719-21latency_hist10:20:010
2159899341,8cyclictest6536-21latency_hist08:35:000
2159899341,8cyclictest19979-21fw_packets08:15:180
2159899341,8cyclictest19963-21kthreadcore12:25:240
2159899341,8cyclictest18984-21latency_hist11:45:020
2159899341,8cyclictest18984-21latency_hist11:45:010
2159899341,7cyclictest12541-21latency_hist11:20:020
2159899341,10cyclictest22551-21kthreadcore08:50:200
2159899340,10cyclictest26336-21kthreadcore10:25:200
2162899331,17cyclictest29566irq/58-eth011:45:143
2162099331,25cyclictest261rcuc/209:30:132
2159899331,9cyclictest8742-21tune2fs07:30:160
2159899331,9cyclictest8742-21tune2fs07:30:150
2159899331,8cyclictest1930-21tr10:30:210
2159899331,7cyclictest4637-21tr11:35:240
2159899331,7cyclictest27389-21apt-get10:05:130
2159899331,11cyclictest19638-21fschecks_count10:00:160
2159899331,10cyclictest30251-21timerandwakeup07:15:300
2159899330,9cyclictest9615-21ssh11:59:400
2159899330,8cyclictest1650-21memory11:10:230
21628993227,3cyclictest29566irq/58-eth011:35:183
21612993214,11cyclictest21-21ksoftirqd/111:00:131
2159899322,10cyclictest32668-21tr09:00:200
2159899321,9cyclictest28408-21latency_hist11:30:020
2159899321,9cyclictest21458-21if_err_eth009:40:170
2159899321,9cyclictest20303-21ntp_states10:40:260
2159899321,8cyclictest4536-21ntp_states12:15:260
2159899321,8cyclictest23046-21ssh09:19:460
2159899321,8cyclictest15699-21ssh10:39:040
2159899321,8cyclictest15699-21ssh10:39:030
2159899321,7cyclictest18987-21unixbench_multi11:00:290
2159899321,10cyclictest4150-21grep09:50:160
2159899320,8cyclictest3920-21ntp_192.168.11407:55:250
21628993120,5cyclictest29566irq/58-eth012:05:153
21620993127,2cyclictest27394-21ssh10:05:132
21620993118,11cyclictest0-21swapper/208:40:142
21620993115,10cyclictest21589-21cyclictest07:20:122
2161299314,19cyclictest21-21ksoftirqd/110:00:121
2159899316,3cyclictest26643-21kthreadcore08:55:230
2159899312,10cyclictest28511-21grep08:20:280
2159899311,9cyclictest20531-21cat11:25:010
2159899311,8cyclictest7826-21kthreadcore08:35:210
2159899311,8cyclictest5417-21kthreadcore12:35:230
2159899311,8cyclictest5391-21cpuspeed08:00:140
2159899311,8cyclictest3835-21cpuspeed07:25:140
2159899311,10cyclictest26966-21apt-get11:50:140
2159899310,9cyclictest310-21memory08:25:240
2159899310,8cyclictest2962-21sshd07:20:280
2162099303,18cyclictest0-21swapper/212:30:122
2162099303,17cyclictest26346irq/40-dwc2_hso09:40:142
2161299302,21cyclictest1058-21ssh10:30:141
2161299302,20cyclictest10351-21ssh10:15:131
2159899306,17cyclictest12-21ksoftirqd/007:10:120
2159899301,8cyclictest32348-21ntp_192.168.11409:45:250
2159899301,8cyclictest23377-21/usr/sbin/munin11:45:310
2159899301,8cyclictest18491-21fschecks_count07:40:160
2159899301,8cyclictest14302-21ssh09:13:050
2159899301,7cyclictest20996-21latency_hist08:50:020
21620992924,3cyclictest27-21ksoftirqd/211:00:122
21620992915,7cyclictest27-21ksoftirqd/210:25:152
2162099291,14cyclictest28624-21ssh11:30:142
2161299292,19cyclictest5884-21irqrtprio11:15:191
2161299291,24cyclictest28601-21apt-get11:30:141
2159899291,9cyclictest10266-21fschecks_count08:05:140
2159899291,9cyclictest10266-21fschecks_count08:05:130
2159899291,8cyclictest6733-21ps09:05:270
2159899291,10cyclictest31044-21sort09:25:130
2162099283,18cyclictest26346irq/40-dwc2_hso08:10:132
2162099282,19cyclictest0-21swapper/211:40:142
2162099282,19cyclictest0-21swapper/211:40:132
2161299282,18cyclictest7137-21sh10:55:131
2159899287,4cyclictest12385-21kthreadcore08:40:200
2159899281,9cyclictest21662-21latency_hist07:10:020
2162899272,15cyclictest29566irq/58-eth011:20:113
2162099272,2cyclictest0-21swapper/210:00:142
2161299271,18cyclictest8978-21ssh12:20:131
2162099261,10cyclictest28383-21cat08:20:272
2162099255,15cyclictest26346irq/40-dwc2_hso11:10:132
2162099253,18cyclictest26346irq/40-dwc2_hso12:10:132
2162099253,18cyclictest26346irq/40-dwc2_hso12:10:122
2162099253,15cyclictest26346irq/40-dwc2_hso07:15:142
2162099253,14cyclictest26346irq/40-dwc2_hso09:00:122
2162099253,14cyclictest0-21swapper/209:50:132
2162099251,17cyclictest12817-21ssh11:20:132
2162099251,16cyclictest26346irq/40-dwc2_hso09:20:122
2162099250,17cyclictest13456-21ls09:35:152
2161299253,16cyclictest24481-21ssh10:45:141
2161299252,14cyclictest662-21ntpd10:35:151
2161299252,14cyclictest662-21ntpd10:35:141
2162899243,12cyclictest29566irq/58-eth007:45:123
2162899242,13cyclictest29566irq/58-eth010:10:133
2162099244,15cyclictest6848-21kthreadcore08:00:202
2162099243,18cyclictest5173-21head10:30:312
2162099243,18cyclictest17763-21ssh12:05:142
2162099241,20cyclictest23153-21switchtime11:45:312
2161299243,12cyclictest0-21swapper/111:50:131
2161299241,18cyclictest21238-21cut08:50:161
2162899234,9cyclictest29566irq/58-eth012:20:113
2162899231,12cyclictest0-21swapper/312:30:133
2162099239,7cyclictest17359-21ssh12:04:572
2162099235,15cyclictest13745-21ps07:35:192
2162099234,8cyclictest17920-21ssh10:20:152
2162099233,16cyclictest26346irq/40-dwc2_hso08:30:132
2162099233,10cyclictest10539-21fschecks_count10:15:172
2162099232,15cyclictest26346irq/40-dwc2_hso11:15:142
2162099231,15cyclictest0-21swapper/208:45:142
2162099231,13cyclictest3693-21ssh11:35:182
21620992310,10cyclictest22746-21ssh11:05:082
21620992310,10cyclictest22746-21ssh11:05:082
2162099230,15cyclictest932-21snmpd12:18:482
21612992311,7cyclictest0-21swapper/110:40:131
21628992212,7cyclictest0-21swapper/312:10:163
21628992212,7cyclictest0-21swapper/312:10:153
21628992210,9cyclictest29566irq/58-eth010:00:143
2162099224,13cyclictest26346irq/40-dwc2_hso09:05:132
2162099223,4cyclictest3205-21ssh12:35:162
2162099223,11cyclictest20885-21kthreadcore07:40:212
2162099222,17cyclictest0-21swapper/207:55:162
2162099222,15cyclictest7136-21ssh10:55:132
2162099222,11cyclictest25836-21kthreadcore10:45:202
2162099222,10cyclictest19674-21tr12:25:232
2162099221,19cyclictest32296-21cut10:50:172
2162099221,18cyclictest19111-21kthreadcore10:40:222
2162099221,17cyclictest21686-21latency_hist07:10:012
2162099221,17cyclictest1720-21latency_hist08:30:022
21620992211,3cyclictest31051-21apt09:25:132
2162099221,12cyclictest2673-21fschecks_time11:55:182
2162099221,11cyclictest8349-21idleruntime09:10:172
2162099221,11cyclictest26481-21cut08:55:222
2162099221,11cyclictest25098-21kthreadcore07:45:212
2162099221,11cyclictest19467-21ssh09:15:282
2162099221,11cyclictest14686-21kthreadcore09:55:212
2162099221,11cyclictest10492-21grep08:35:302
2162099221,10cyclictest23091-21wc08:15:242
2162099221,10cyclictest23001-21kthreadcore08:50:202
2162099220,19cyclictest8938-21find10:35:132
2162099220,19cyclictest8938-21find10:35:122
2161299223,12cyclictest17721-21ssh12:25:171
21612992212,7cyclictest13027-21cron09:35:021
2161299221,15cyclictest17544-21ls12:05:021
2162899219,7cyclictest0-21swapper/312:28:423
2162899216,9cyclictest29566irq/58-eth009:50:133
2162899215,13cyclictest29666irq/59-eth011:25:143
2162899214,12cyclictest29566irq/58-eth010:35:143
2162899214,12cyclictest29566irq/58-eth010:35:133
2162899212,10cyclictest0-21swapper/312:15:133
21628992113,5cyclictest29566irq/58-eth009:15:133
2162099212,9cyclictest19872-21kworker/u8:211:25:142
2162099211,8cyclictest27043-21ssh11:50:162
2162099211,17cyclictest0-21swapper/207:50:142
2162099211,16cyclictest13435-21wc08:05:212
2162099211,16cyclictest13435-21wc08:05:212
2162099211,11cyclictest22243-21sed07:10:182
2162099211,10cyclictest4282-21sed07:25:182
2162099211,10cyclictest2817-21sh10:10:142
2161299211,13cyclictest19760-21find08:15:121
2161299211,10cyclictest0-21swapper/110:25:011
2162899205,13cyclictest0-21swapper/310:05:143
2162899204,9cyclictest0-21swapper/310:25:153
21628992011,6cyclictest0-21swapper/311:50:303
2161299209,8cyclictest0-21swapper/108:30:181
21612992011,6cyclictest27640-21grep09:20:301
2161299201,13cyclictest24821-21ssh11:25:291
21612992010,7cyclictest19047-21cron10:00:011
2162899191,13cyclictest0-21swapper/308:00:193
2162899191,13cyclictest0-21swapper/307:50:173
2161299198,8cyclictest31672-21cat10:05:311
2161299197,9cyclictest15661-21ps08:10:181
2161299193,11cyclictest8107-21ssh09:10:141
2161299191,4cyclictest53046usb-storage07:55:051
21612991911,5cyclictest0-21swapper/111:05:191
21612991911,5cyclictest0-21swapper/111:05:181
2161299191,11cyclictest4346-21irqcore09:50:161
2161299191,10cyclictest21479-21kworker/1:207:10:191
2162899189,7cyclictest29566irq/58-eth011:15:133
2162899189,6cyclictest29566irq/58-eth010:40:143
2162899189,6cyclictest29566irq/58-eth008:45:143
2162899189,4cyclictest0-21swapper/311:10:113
2162899183,10cyclictest29566irq/58-eth011:00:143
2162899182,14cyclictest0-21swapper/309:40:133
21628991811,4cyclictest0-21swapper/310:45:273
2162899181,13cyclictest0-21swapper/311:40:133
2162899181,13cyclictest0-21swapper/311:40:133
2162899181,12cyclictest0-21swapper/309:30:173
2162899181,11cyclictest0-21swapper/308:30:193
2161299188,7cyclictest17737-21find12:05:151
2161299187,7cyclictest21-21ksoftirqd/110:50:141
2161299187,7cyclictest0-21swapper/111:20:141
2161299184,11cyclictest31569-21irqcore09:25:191
2161299183,12cyclictest2827-21kthreadcore12:15:221
2161299183,11cyclictest11699-21munin-run12:40:011
2161299183,10cyclictest0-21swapper/107:25:131
2161299182,3cyclictest9650irq/52-mmc008:20:151
2161299182,14cyclictest13143-21kthreadcore11:40:211
2161299182,14cyclictest13143-21kthreadcore11:40:201
2161299181,9cyclictest16392-21tr07:35:231
2161299181,8cyclictest20290-21cut11:45:221
21612991812,3cyclictest21-21ksoftirqd/111:10:131
2161299181,14cyclictest29618-21cut09:45:211
21612991810,6cyclictest0-21swapper/107:45:151
21612991810,5cyclictest3999-21kthreadcore11:55:221
2161299180,12cyclictest10231-21ls08:05:131
2161299180,12cyclictest10231-21ls08:05:121
2162899179,6cyclictest0-21swapper/311:07:323
2162899179,6cyclictest0-21swapper/311:07:313
2162899179,6cyclictest0-21swapper/310:52:293
2162899179,6cyclictest0-21swapper/310:33:543
2162899179,6cyclictest0-21swapper/310:15:483
2162899179,6cyclictest0-21swapper/309:24:023
2162899179,6cyclictest0-21swapper/309:10:543
2162899179,5cyclictest29566irq/58-eth012:00:153
2162899178,5cyclictest29566irq/58-eth010:55:113
2162899177,6cyclictest0-21swapper/309:35:543
2162899172,11cyclictest0-21swapper/307:35:143
2162899171,11cyclictest0-21swapper/309:55:313
2162899171,10cyclictest0-21swapper/309:30:003
2161299179,6cyclictest3423-21wc09:05:161
2161299178,7cyclictest21-21ksoftirqd/110:25:151
2161299178,6cyclictest30558-21munin-plugin-st09:00:001
2161299178,6cyclictest21-21ksoftirqd/109:00:161
2161299175,10cyclictest8041-21kthreadcore08:35:211
2161299174,10cyclictest31008-21kthreadcore08:25:211
2161299172,12cyclictest19135-21kthreadcore07:40:201
21612991711,4cyclictest0-21swapper/108:40:191
2161299171,12cyclictest27342-21irqstats12:30:191
21612991710,4cyclictest26193-21kthreadcore12:10:201
21612991710,4cyclictest26193-21kthreadcore12:10:201
2162899162,11cyclictest0-21swapper/308:10:123
2162899162,10cyclictest0-21swapper/309:00:143
2162899162,10cyclictest0-21swapper/308:55:183
2162899162,10cyclictest0-21swapper/308:40:163
2162899162,10cyclictest0-21swapper/308:25:153
2162899162,10cyclictest0-21swapper/307:55:153
2162899162,10cyclictest0-21swapper/307:30:143
2162899162,10cyclictest0-21swapper/307:30:133
2162899162,10cyclictest0-21swapper/307:25:143
2162899162,10cyclictest0-21swapper/307:20:133
2162899162,10cyclictest0-21swapper/307:15:163
2162899161,12cyclictest0-21swapper/308:50:293
21628991610,4cyclictest0-21swapper/311:55:193
2161299163,10cyclictest13942-21irqrtprio09:35:191
2161299162,10cyclictest0-21swapper/108:00:131
2162899151,7cyclictest0-21swapper/309:05:133
2162899151,12cyclictest0-21swapper/307:40:283
2162899146,3cyclictest0-21swapper/308:15:243
2161299141,10cyclictest21502-21latency_hist07:10:021
2162899133,8cyclictest0-21swapper/307:10:273
2162899132,9cyclictest0-21swapper/308:05:123
2162899132,9cyclictest0-21swapper/308:05:113
2162899121,9cyclictest0-21swapper/308:35:253
2162899121,8cyclictest0-21swapper/308:20:283
2162899101,6cyclictest0-21swapper/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional