You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-03 - 01:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Thu Apr 02, 2026 12:45:11)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
596399673,48cyclictest27271-21ssh09:45:121
5967996028,18cyclictest0-21swapper/209:20:112
5975995219,20cyclictest28366irq/58-eth009:20:133
595899522,40cyclictest330-21ssh09:30:100
5958995127,18cyclictest12-21ksoftirqd/010:20:120
595899503,42cyclictest3581-21ssh12:15:110
595899488,7cyclictest131rcu_preempt12:05:150
595899484,40cyclictest21603-21ssh10:00:120
595899473,34cyclictest31616-21ssh11:00:140
595899473,28cyclictest23908-21ssh09:25:140
595899473,28cyclictest23908-21ssh09:25:130
595899472,41cyclictest2500-21ssh11:20:120
5967994636,2cyclictest29331-21diskmemload12:25:122
597599456,23cyclictest28366irq/58-eth011:45:133
596799453,3cyclictest131rcu_preempt12:15:102
595899452,3cyclictest131rcu_preempt08:40:120
596399443,34cyclictest23585-21ssh11:50:111
595899437,32cyclictest9323-21ssh09:35:120
5958994126,8cyclictest14649-21ssh11:45:130
596799403,29cyclictest0-21swapper/212:30:192
595899401,32cyclictest25954-21ssh11:15:120
597599384,19cyclictest28366irq/58-eth009:50:123
597599384,19cyclictest28366irq/58-eth009:50:113
5967993829,6cyclictest10525-21sh10:30:112
5967993829,6cyclictest10525-21sh10:30:112
5958993825,9cyclictest0-21swapper/010:25:120
5958993825,9cyclictest0-21swapper/010:25:110
595899382,26cyclictest29331-21diskmemload09:20:110
5975993717,15cyclictest28366irq/58-eth010:20:113
596399373,25cyclictest10527-21ssh10:30:121
596399373,25cyclictest10527-21ssh10:30:111
595899374,24cyclictest28350-21ssh10:40:110
595899373,22cyclictest18315-21ssh09:40:100
595899371,30cyclictest3827-21ssh09:50:110
595899371,30cyclictest3827-21ssh09:50:110
596799352,28cyclictest924-21snmpd08:45:132
596399351,24cyclictest5663-21rm11:40:121
595899333,21cyclictest11433-21ssh11:25:140
595899332,15cyclictest5670-21ssh11:40:130
597599323,16cyclictest28366irq/58-eth010:50:123
596799324,19cyclictest22346irq/40-dwc2_hso08:15:102
5967993210,17cyclictest27-21ksoftirqd/209:40:102
596399326,16cyclictest30622-21ssh10:05:121
595899322,22cyclictest32003-21grep12:30:190
5975993112,8cyclictest28366irq/58-eth010:15:133
596799317,17cyclictest27-21ksoftirqd/209:30:112
596799312,21cyclictest22346irq/40-dwc2_hso11:30:132
5967993119,9cyclictest5950-21cyclictest09:25:132
5967993119,9cyclictest5950-21cyclictest09:25:122
596399312,17cyclictest21-21ksoftirqd/110:35:111
5963993119,8cyclictest21579-21apt-get10:00:131
595899312,23cyclictest23959-21cut12:25:200
597599305,15cyclictest0-21swapper/311:00:143
596799302,23cyclictest1625-21ssh10:25:142
596799302,23cyclictest1625-21ssh10:25:132
596799301,25cyclictest25128-21rm10:20:122
596399302,22cyclictest23958-21kthreadcore12:25:191
596399302,22cyclictest20717-21ssh11:47:031
597599294,15cyclictest0-21swapper/309:30:123
5975992911,11cyclictest28466irq/59-eth010:00:123
595899294,18cyclictest13756-21ssh10:50:120
597599283,14cyclictest28366irq/58-eth010:45:123
596799285,20cyclictest22346irq/40-dwc2_hso08:30:132
596799284,13cyclictest22346irq/40-dwc2_hso07:35:082
596799283,19cyclictest22346irq/40-dwc2_hso07:45:082
596799283,18cyclictest22346irq/40-dwc2_hso09:00:132
596799283,16cyclictest22346irq/40-dwc2_hso08:35:122
5967992818,6cyclictest261rcuc/208:40:122
5967992816,7cyclictest261rcuc/210:35:052
596399289,12cyclictest25945-21sh11:15:121
596399285,14cyclictest4820-1kworker/u9:011:05:121
596399282,18cyclictest12499-21latency_hist09:55:021
596399282,18cyclictest12499-21latency_hist09:55:011
597599273,16cyclictest28366irq/58-eth009:55:123
597599271,21cyclictest28366irq/58-eth012:35:123
5975992710,11cyclictest28366irq/58-eth010:05:133
596799274,17cyclictest22346irq/40-dwc2_hso08:05:082
596799272,8cyclictest0-21swapper/209:55:022
596799272,8cyclictest0-21swapper/209:55:012
596399279,12cyclictest7043-21ssh12:35:111
596399272,18cyclictest4804-21ssh10:45:121
5963992719,3cyclictest744-21apt-get08:40:131
5963992712,13cyclictest21-21ksoftirqd/109:10:151
595899272,19cyclictest32211-21ssh09:45:350
595899272,19cyclictest29188-21ssh11:35:130
595899272,18cyclictest22694-21ssh10:55:140
597599263,19cyclictest28366irq/58-eth010:10:143
597599263,14cyclictest0-21swapper/312:30:203
596799263,16cyclictest22346irq/40-dwc2_hso09:55:112
596799263,15cyclictest22346irq/40-dwc2_hso09:15:122
596799262,11cyclictest13750-21ssh10:50:122
5967992613,10cyclictest12167-21sshd10:10:372
596799261,14cyclictest14652-21sh11:45:132
596799261,14cyclictest12608-21ssh12:20:122
596399263,18cyclictest7248-21ssh10:10:141
5963992619,4cyclictest633-21Async12:11:531
595899262,17cyclictest17061-21ssh11:10:120
5958992612,10cyclictest29331-21diskmemload11:05:130
596799254,7cyclictest0-21swapper/210:15:132
596799253,13cyclictest22346irq/40-dwc2_hso07:15:102
596799252,20cyclictest0-21swapper/212:00:142
596399255,5cyclictest13724-21cat12:00:301
596399254,5cyclictest21-21ksoftirqd/111:10:281
596399252,16cyclictest6029-21kworker/u8:209:15:121
5975992411,6cyclictest0-21swapper/309:25:233
5975992411,6cyclictest0-21swapper/309:25:223
596799244,16cyclictest22346irq/40-dwc2_hso10:40:112
596799244,13cyclictest22346irq/40-dwc2_hso09:05:132
596799243,15cyclictest22346irq/40-dwc2_hso09:10:122
596799243,13cyclictest22346irq/40-dwc2_hso08:25:122
596799242,20cyclictest31323-21ssh11:54:032
596799241,6cyclictest32633-21ls11:35:232
5967992411,9cyclictest18022-21/usr/sbin/munin12:05:322
596399247,3cyclictest0-21swapper/110:59:541
596399245,5cyclictest0-21swapper/107:45:201
596399244,8cyclictest21-21ksoftirqd/111:36:111
5963992416,5cyclictest32505-21apt-get11:55:141
5963992415,6cyclictest331-21apt-get09:30:131
597599234,12cyclictest28366irq/58-eth010:30:123
597599234,12cyclictest28366irq/58-eth010:30:113
597599232,12cyclictest28366irq/58-eth011:50:123
596799237,8cyclictest26786-21unixbench_singl10:55:302
596799233,11cyclictest30021-21timerwakeupswit11:15:282
596799232,6cyclictest0-21swapper/208:20:052
596799232,16cyclictest0-21swapper/210:03:012
596799232,16cyclictest0-21swapper/209:36:022
596799232,13cyclictest20842-21grep11:10:272
596799231,18cyclictest3571-21latency_hist09:50:022
596799231,12cyclictest13857-21wc08:50:262
596799231,12cyclictest1019-21cut11:00:212
5967992310,6cyclictest5530-21ps10:45:182
596399238,3cyclictest0-21swapper/112:24:221
596399237,4cyclictest0-21swapper/112:18:591
596399234,5cyclictest21-21ksoftirqd/110:25:021
596399234,5cyclictest21-21ksoftirqd/110:25:011
596399233,5cyclictest21-21ksoftirqd/111:26:441
596399233,5cyclictest21-21ksoftirqd/109:29:551
596399233,5cyclictest21-21ksoftirqd/109:29:541
596399233,5cyclictest21-21ksoftirqd/109:25:001
596399233,13cyclictest21-21ksoftirqd/111:20:121
5963992318,3cyclictest16499-21apt-get07:35:081
5963992316,3cyclictest12656-21apt-get09:55:121
5963992315,5cyclictest0-21swapper/107:15:081
596399231,16cyclictest18076-21ssh12:05:171
596399230,9cyclictest31833-21cat12:10:301
596399230,5cyclictest19740-21munin-run09:00:011
595899232,14cyclictest12-21ksoftirqd/007:35:070
597599226,10cyclictest28366irq/58-eth011:05:133
597599226,10cyclictest0-21swapper/309:10:143
597599223,15cyclictest0-21swapper/312:15:123
5975992214,5cyclictest0-21swapper/311:30:293
596799228,7cyclictest27-21ksoftirqd/208:10:182
596799227,12cyclictest3560-21kthreadcore11:20:192
596799223,10cyclictest8641-21kthreadcore11:40:232
596799222,10cyclictest31677-21latency_hist08:05:022
596799221,9cyclictest27074-21ls12:10:112
596799221,18cyclictest2155-21timerandwakeup10:05:282
5967992211,8cyclictest15006-21netstat11:25:232
5967992210,9cyclictest6133-21idleruntime-cro07:15:012
5967992210,3cyclictest131rcu_preempt11:05:172
596399227,11cyclictest0-21swapper/109:00:121
596399225,4cyclictest0-21swapper/109:36:441
596399225,3cyclictest0-21swapper/110:19:021
596399223,6cyclictest21-21ksoftirqd/111:01:291
596399223,5cyclictest21-21ksoftirqd/109:40:081
596399223,4cyclictest21-21ksoftirqd/110:41:511
596399223,4cyclictest21-21ksoftirqd/110:20:101
596399223,14cyclictest0-21swapper/112:30:141
596399222,4cyclictest21-21ksoftirqd/110:53:271
595899222,12cyclictest151rcuc/012:10:100
5958992213,6cyclictest12665-21ssh09:55:120
595899221,17cyclictest10365-21apt-get08:50:120
597599219,9cyclictest0-21swapper/310:26:423
597599219,9cyclictest0-21swapper/310:26:413
597599212,14cyclictest0-21swapper/309:15:133
5975992111,7cyclictest0-21swapper/310:35:203
596799217,12cyclictest7610-21ps12:35:182
596799212,9cyclictest15176-21timerandwakeup07:25:232
596799211,9cyclictest21493-21latency_hist07:45:022
596799211,17cyclictest26555-21latency_hist07:55:022
596799211,10cyclictest30540-21head07:55:242
596799211,10cyclictest16026-21kthreadcore08:55:192
596399214,12cyclictest0-21swapper/108:05:081
5963992112,6cyclictest26679-21apt-get07:55:081
596399211,14cyclictest28346-21find08:35:111
595899212,16cyclictest12-21ksoftirqd/011:30:130
595899211,15cyclictest21304-21ls12:25:010
597599209,8cyclictest0-21swapper/309:43:363
597599209,6cyclictest0-21swapper/312:10:263
5975992012,5cyclictest0-21swapper/311:10:303
5975992011,6cyclictest0-21swapper/312:25:153
596799201,16cyclictest1889-21kthreadcore11:55:202
596799201,15cyclictest16467-21latency_hist07:35:022
596399208,9cyclictest6127-21cron07:15:011
596399205,9cyclictest0-21swapper/109:05:231
596399204,3cyclictest201rcuc/108:20:151
596399203,4cyclictest21-21ksoftirqd/107:25:011
5963992014,3cyclictest8918-21apt-get08:15:111
5963992012,5cyclictest0-21swapper/107:25:201
595899202,11cyclictest18506-21ls08:55:220
5958992012,5cyclictest5799-21ssh09:15:010
595899200,16cyclictest28516-21cut08:35:160
595899200,16cyclictest11073-21ls07:20:000
597599198,6cyclictest0-21swapper/310:59:423
597599194,11cyclictest0-21swapper/312:20:123
597599194,10cyclictest0-21swapper/311:35:133
597599193,11cyclictest0-21swapper/309:36:013
597599192,10cyclictest0-21swapper/308:25:053
597599191,14cyclictest0-21swapper/311:15:143
597599191,12cyclictest0-21swapper/307:25:233
597599191,11cyclictest0-21swapper/307:35:223
596399196,4cyclictest0-21swapper/108:30:141
596399191,11cyclictest7785-21switchtime08:10:271
595899198,7cyclictest11242-21cron07:25:020
595899198,3cyclictest131rcu_preempt10:35:210
595899192,9cyclictest22724-21kthreadcore07:45:150
595899191,9cyclictest21207-21kthreadcore08:25:210
595899191,8cyclictest30165-21apt-get10:05:050
595899191,4cyclictest0-21swapper/012:00:500
5958991913,4cyclictest12-21ksoftirqd/008:25:010
5958991911,5cyclictest19028-21idleruntime-cro10:35:010
5958991911,5cyclictest19028-21idleruntime-cro10:35:000
595899191,13cyclictest9687-21ssh10:45:330
597599182,9cyclictest0-21swapper/308:45:133
597599182,11cyclictest0-21swapper/309:49:013
597599182,10cyclictest28366irq/58-eth012:00:113
597599182,10cyclictest0-21swapper/308:15:123
597599182,10cyclictest0-21swapper/307:55:103
5975991812,4cyclictest0-21swapper/311:20:293
5975991810,5cyclictest28366irq/58-eth012:05:173
596799189,7cyclictest11240-21cron07:25:012
596399188,2cyclictest131rcu_preempt08:25:111
596399182,11cyclictest0-21swapper/108:50:141
5963991810,5cyclictest21343-21cron07:45:001
595899189,7cyclictest9704-21ssh09:15:250
595899187,3cyclictest131rcu_preempt10:15:010
595899183,10cyclictest0-21swapper/008:15:120
595899181,9cyclictest16144-21/usr/sbin/munin10:15:190
595899181,5cyclictest26256-21cut11:50:200
595899181,12cyclictest7105-21/usr/sbin/munin12:35:130
597599179,6cyclictest0-21swapper/311:58:463
597599179,6cyclictest0-21swapper/311:40:593
597599179,6cyclictest0-21swapper/310:40:053
597599177,8cyclictest0-21swapper/311:25:423
597599173,11cyclictest0-21swapper/308:20:043
597599172,9cyclictest0-21swapper/308:50:133
597599172,9cyclictest0-21swapper/308:40:133
597599172,10cyclictest0-21swapper/308:55:123
597599172,10cyclictest0-21swapper/308:35:123
596799173,10cyclictest5981-21latency_hist07:10:022
596399176,4cyclictest0-21swapper/108:45:161
595899176,3cyclictest131rcu_preempt07:15:020
595899175,9cyclictest27059-21irqcore07:55:130
595899173,11cyclictest16030-21idleruntime-cro07:30:010
595899172,12cyclictest2076-21kthreadcore11:55:220
597599162,9cyclictest0-21swapper/307:15:043
596399165,6cyclictest21-21ksoftirqd/107:34:481
596399161,12cyclictest26453-21grep07:55:001
595899163,10cyclictest6062-21cat07:10:020
595899163,10cyclictest25130-21irqcore09:05:180
595899162,11cyclictest32259-21irqrtprio08:05:140
595899162,11cyclictest23643-21wc09:00:270
595899161,12cyclictest9366-21grep08:45:280
595899161,12cyclictest6322-21tr08:10:200
595899161,12cyclictest26374-21tr08:30:210
595899161,12cyclictest26125-21apt-get07:50:050
597599152,9cyclictest0-21swapper/309:00:133
597599151,10cyclictest0-21swapper/308:30:133
5963991510,3cyclictest201rcuc/108:05:001
595899152,10cyclictest16407-21cat07:35:020
5958991510,3cyclictest21348-21munin-plugin-st07:45:010
597599143,7cyclictest0-21swapper/307:45:093
597599142,10cyclictest0-21swapper/307:50:043
597599141,7cyclictest0-21swapper/308:05:123
596399141,10cyclictest6016-21latency_hist07:10:021
595899141,10cyclictest31508-21sh08:05:000
597599132,9cyclictest0-21swapper/309:05:133
597599131,6cyclictest0-21swapper/307:35:013
597599131,10cyclictest0-21swapper/308:10:183
597599123,6cyclictest0-21swapper/308:00:173
597599122,7cyclictest0-21swapper/307:15:023
597599116,3cyclictest0-21swapper/307:43:493
597599111,7cyclictest0-21swapper/307:20:093
597599101,6cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional