You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-09 - 08:10

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack7slot4s.osadl.org (updated Sat May 09, 2026 00:45:16)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3890997554,15cyclictest35966irq/58-eth000:15:143
387399642,39cyclictest6039-21ssh21:55:122
387399642,39cyclictest6039-21ssh21:55:112
385399636,10cyclictest131rcu_preempt21:40:120
387399602,34cyclictest26115-21ssh23:00:142
385399591,4cyclictest131rcu_preempt23:05:130
3890995622,21cyclictest35966irq/58-eth000:00:113
387399549,21cyclictest27-21ksoftirqd/221:40:122
387399543,26cyclictest10232-21ssh23:45:122
385399522,37cyclictest29584-21ssh21:50:120
389099505,28cyclictest35966irq/58-eth023:50:133
385399506,4cyclictest131rcu_preempt00:20:120
385899493,36cyclictest73-21kswapd022:25:111
3890994824,16cyclictest35966irq/58-eth021:10:123
385899481,37cyclictest31363-21ssh21:15:131
385399461,2cyclictest131rcu_preempt20:20:130
385399454,24cyclictest844-21munin-node00:30:140
3858994423,17cyclictest21-21ksoftirqd/100:35:131
3858994320,14cyclictest26026-21diskmemload21:30:131
385399434,5cyclictest131rcu_preempt22:00:130
385399431,34cyclictest22901-21ssh00:10:130
385399431,31cyclictest24008-21ssh22:05:120
387399417,22cyclictest27-21ksoftirqd/200:00:132
385899391,31cyclictest17599-21ssh00:25:131
385399394,25cyclictest528-21ssh22:10:110
389099386,20cyclictest35966irq/58-eth023:10:123
387399382,27cyclictest930-21snmpd22:45:132
385399380,30cyclictest10237-21ssh23:45:120
387399372,18cyclictest22531-21ssh22:56:132
387399371,30cyclictest26018-21ssh21:30:122
385899374,25cyclictest15505-21ssh23:30:141
389099362,22cyclictest35966irq/58-eth000:35:123
3853993615,11cyclictest12-21ksoftirqd/021:45:110
389099352,23cyclictest35966irq/58-eth023:40:123
389099351,21cyclictest35966irq/58-eth020:10:123
385399352,24cyclictest4974-21ssh00:00:120
389099341,19cyclictest35966irq/58-eth023:00:143
387399346,18cyclictest27-21ksoftirqd/200:05:122
387399341,27cyclictest13477-21ssh22:35:142
385899341,9cyclictest29845-21ssh23:20:111
385399340,4cyclictest131rcu_preempt22:15:110
387399332,21cyclictest27772-21ssh22:25:122
385899333,18cyclictest550-21ssh22:10:121
385399332,23cyclictest19298-21ssh23:50:140
387399326,15cyclictest22960-21kworker/u8:100:35:132
387399322,18cyclictest27346irq/40-dwc2_hso23:55:102
385399322,23cyclictest3083-21ssh23:58:170
3853993215,11cyclictest12-21ksoftirqd/022:20:110
389099312,19cyclictest35966irq/58-eth022:55:123
389099312,13cyclictest35966irq/58-eth020:30:133
389099312,13cyclictest35966irq/58-eth020:30:133
387399318,19cyclictest27-21ksoftirqd/200:10:122
387399312,15cyclictest542-21sh22:10:102
3873993120,6cyclictest0-21swapper/221:25:132
3873993110,18cyclictest27-21ksoftirqd/221:35:132
3873993110,18cyclictest27-21ksoftirqd/221:35:122
3858993115,12cyclictest21-21ksoftirqd/122:55:131
387399305,18cyclictest27346irq/40-dwc2_hso22:40:112
387399303,19cyclictest3843-21cyclictest21:00:132
387399302,7cyclictest0-21swapper/200:27:242
387399302,12cyclictest6615-21ssh23:41:142
3873993019,8cyclictest261rcuc/223:15:122
3873993019,8cyclictest261rcuc/223:15:112
385899303,8cyclictest21-21ksoftirqd/123:10:111
3858993020,8cyclictest21-21ksoftirqd/122:50:111
385399303,21cyclictest12-21ksoftirqd/019:35:120
389099298,10cyclictest35966irq/58-eth022:10:113
389099295,17cyclictest35966irq/58-eth023:05:143
387399293,14cyclictest27346irq/40-dwc2_hso20:50:112
387399292,24cyclictest12794-21ssh23:27:152
387399292,20cyclictest0-21swapper/219:15:122
387399292,11cyclictest2772-21sh23:05:142
385899292,16cyclictest13462-21ssh22:35:131
385899291,22cyclictest4486-21ssh22:30:151
385399292,21cyclictest17063-21ssh21:25:130
389099289,11cyclictest0-21swapper/323:22:153
389099283,16cyclictest0-21swapper/300:26:253
387399283,9cyclictest0-21swapper/221:20:122
387399283,9cyclictest0-21swapper/221:20:112
387399283,18cyclictest0-21swapper/222:00:132
387399283,10cyclictest0-21swapper/223:53:142
387399282,21cyclictest18908-21ssh23:13:152
387399282,17cyclictest27346irq/40-dwc2_hso20:35:112
3858992812,10cyclictest16697-21ssh00:24:251
385399283,18cyclictest8059-21ssh22:50:130
385399282,19cyclictest804-21ssh23:03:140
389099274,13cyclictest35966irq/58-eth000:05:123
387399272,17cyclictest27346irq/40-dwc2_hso19:45:132
387399272,14cyclictest22391-21ssh21:10:132
387399272,10cyclictest4296-21ssh23:22:522
385899271,19cyclictest1665-21ssh00:33:411
385399272,19cyclictest3747-21ssh23:22:150
385399272,19cyclictest23217-21rm00:26:250
3890992613,9cyclictest35966irq/58-eth023:45:133
387399264,9cyclictest27-21ksoftirqd/221:45:112
387399262,9cyclictest32036-21ssh00:15:152
387399262,9cyclictest15852-21ssh00:23:252
387399262,18cyclictest24639-21rm23:35:142
387399262,14cyclictest0-21swapper/220:20:132
387399261,20cyclictest930-21snmpd19:35:132
387399260,20cyclictest26634-21ssh00:30:142
385899263,6cyclictest21-21ksoftirqd/123:50:131
3858992611,4cyclictest21-21ksoftirqd/122:01:011
385399262,19cyclictest11737-21ssh23:10:130
385399262,16cyclictest26814-1kworker/0:1H21:20:110
385399262,16cyclictest26814-1kworker/0:1H21:20:100
385399261,3cyclictest131rcu_preempt00:15:130
3853992613,6cyclictest0-21swapper/023:17:520
3853992613,6cyclictest0-21swapper/023:17:520
387399253,18cyclictest27346irq/40-dwc2_hso20:05:142
387399253,18cyclictest27346irq/40-dwc2_hso20:05:142
387399252,8cyclictest15493-21apt-get23:30:132
385899254,13cyclictest21997-21diskmemload23:40:111
3858992512,4cyclictest0-21swapper/123:04:591
385399252,15cyclictest13957-21ssh00:05:140
387399243,11cyclictest27346irq/40-dwc2_hso19:40:112
387399241,7cyclictest819266ssh22:50:152
385899249,5cyclictest21-21ksoftirqd/123:29:121
385899243,14cyclictest18722-21ssh22:20:121
385899241,19cyclictest29391-21apt-get20:10:111
385899241,15cyclictest24492-21ssh23:35:111
3858992411,4cyclictest0-21swapper/122:17:301
385899240,7cyclictest28260-21apt-get23:55:111
385399242,17cyclictest21997-21diskmemload23:26:150
387399237,12cyclictest7683-21apt-key21:20:022
387399232,6cyclictest0-21swapper/222:05:142
387399232,15cyclictest0-21swapper/219:10:052
3873992311,9cyclictest0-21swapper/222:15:172
385899235,2cyclictest131rcu_preempt21:42:461
385899232,15cyclictest32038-21diskstats00:15:161
385399232,12cyclictest17051-21diskmemload22:55:110
389099223,13cyclictest0-21swapper/323:58:173
389099223,12cyclictest0-21swapper/323:27:533
387399228,10cyclictest20693-21kthreadcore22:20:182
387399226,12cyclictest32699-21wc20:10:212
387399222,6cyclictest0-21swapper/219:30:132
387399221,15cyclictest0-21swapper/220:00:132
387399221,12cyclictest10821-21kthreadcore19:50:192
387399221,12cyclictest10821-21kthreadcore19:50:182
385899229,7cyclictest21-21ksoftirqd/100:00:141
385899228,7cyclictest0-21swapper/120:45:281
385899225,3cyclictest131rcu_preempt21:39:441
385899225,3cyclictest131rcu_preempt21:39:431
385899221,8cyclictest21-21ksoftirqd/121:46:071
385899221,17cyclictest18774-21ls19:25:151
385399229,4cyclictest131rcu_preempt19:45:020
385399229,3cyclictest131rcu_preempt23:40:190
385399221,17cyclictest22436-21ssh22:40:110
385399221,16cyclictest28444-21ls23:35:260
389099212,12cyclictest35966irq/58-eth000:10:123
389099211,13cyclictest0-21swapper/323:30:143
3890992110,7cyclictest35966irq/58-eth000:20:133
3890992110,6cyclictest35966irq/58-eth021:20:113
3890992110,6cyclictest35966irq/58-eth021:20:103
387399215,9cyclictest16255-21kthreadcore19:20:202
387399215,13cyclictest20437-21kthreadcore21:05:212
387399212,16cyclictest31854-21kthreadcore21:50:212
387399211,11cyclictest29008-21kthreadcore20:40:202
387399211,11cyclictest18712-21grep19:55:282
385899216,5cyclictest21-21ksoftirqd/119:15:201
385899216,4cyclictest21-21ksoftirqd/119:30:281
385899215,5cyclictest21-21ksoftirqd/119:10:171
385899214,10cyclictest21-21ksoftirqd/121:11:041
385899213,5cyclictest131rcu_preempt20:50:111
385899213,3cyclictest29205-21kworker/1:022:06:481
3858992112,5cyclictest0-21swapper/120:05:131
3858992112,5cyclictest0-21swapper/120:05:121
3858992112,3cyclictest0-21swapper/121:50:161
385899211,14cyclictest21-21ksoftirqd/120:30:141
385899211,14cyclictest21-21ksoftirqd/120:30:131
385899211,13cyclictest21-21ksoftirqd/121:21:571
385899211,13cyclictest21-21ksoftirqd/121:21:571
3858992110,5cyclictest0-21swapper/121:59:421
3858992110,5cyclictest0-21swapper/121:59:411
385399214,5cyclictest16527-21irqcore20:30:180
385399214,5cyclictest16527-21irqcore20:30:180
385399212,14cyclictest22353-21ssh23:32:550
389099206,7cyclictest0-21swapper/322:50:123
389099205,7cyclictest0-21swapper/322:30:143
3890992014,4cyclictest36066irq/59-eth023:17:483
3890992014,4cyclictest36066irq/59-eth023:17:473
389099201,13cyclictest0-21swapper/321:05:143
3890992010,8cyclictest0-21swapper/321:37:033
3890992010,8cyclictest0-21swapper/321:37:033
387399209,8cyclictest20186-21kthreadcore19:25:202
387399201,9cyclictest6477-21latency_hist20:20:022
387399201,9cyclictest4869-21sh22:30:192
387399201,16cyclictest30766-21cut20:45:152
387399201,10cyclictest20963-21grep20:35:022
387399201,10cyclictest20963-21grep20:35:012
385899208,4cyclictest21-21ksoftirqd/123:46:151
385899208,4cyclictest21-21ksoftirqd/123:05:151
385899206,9cyclictest201rcuc/120:55:121
385899205,8cyclictest21-21ksoftirqd/123:16:131
385899205,8cyclictest21-21ksoftirqd/123:16:121
385899204,3cyclictest131rcu_preempt20:25:181
385899204,10cyclictest21-21ksoftirqd/121:25:381
3858992014,4cyclictest0-21swapper/120:15:131
3858992013,4cyclictest201rcuc/100:10:111
3858992012,6cyclictest0-21swapper/122:40:251
385899201,15cyclictest2629-21ssh22:45:241
385899200,17cyclictest28366-21ls19:35:151
385399209,8cyclictest8083-21cat00:35:310
385399204,11cyclictest25876-21ls20:40:130
385399203,7cyclictest0-21swapper/021:55:120
385399203,7cyclictest0-21swapper/021:55:120
385399202,15cyclictest31598-21ssh22:45:140
385399201,8cyclictest4579-21df22:30:160
385399201,8cyclictest25604-21sendmail-msp20:40:010
3853992012,6cyclictest0-21swapper/019:30:310
385399201,16cyclictest5094-21ls20:15:210
385399201,11cyclictest32511-21kthreadcore20:45:200
385399201,10cyclictest710-21cron21:00:010
389099199,8cyclictest0-21swapper/321:58:563
389099199,8cyclictest0-21swapper/321:58:553
389099199,8cyclictest0-21swapper/321:54:513
389099198,8cyclictest0-21swapper/322:20:203
389099193,9cyclictest0-21swapper/300:33:413
389099192,6cyclictest0-21swapper/323:35:133
389099191,11cyclictest35966irq/58-eth022:35:133
387399191,9cyclictest4007-21latency_hist19:10:022
387399191,15cyclictest11537-21fschecks_count20:25:142
387399191,10cyclictest8656-21kthreadcore20:55:192
385899199,2cyclictest21-21ksoftirqd/100:05:031
385899197,3cyclictest131rcu_preempt21:00:191
385899195,4cyclictest131rcu_preempt19:55:151
3858991913,4cyclictest0-21swapper/119:45:181
3858991913,4cyclictest0-21swapper/119:40:301
385399199,6cyclictest0-21swapper/019:10:270
385399192,13cyclictest29304-21kthreadcore22:25:180
385399191,6cyclictest16606-21kthreadcore22:35:210
385399191,15cyclictest20131-21kthreadcore19:25:200
385399191,14cyclictest2965-21sed21:35:170
385399191,14cyclictest2965-21sed21:35:160
385399191,13cyclictest17540-21sshd21:05:130
389099189,6cyclictest0-21swapper/321:46:383
389099182,13cyclictest0-21swapper/322:40:123
389099182,10cyclictest0-21swapper/321:15:043
389099182,10cyclictest0-21swapper/320:05:053
389099182,10cyclictest0-21swapper/320:05:053
389099182,10cyclictest0-21swapper/319:20:143
389099181,9cyclictest0-21swapper/319:40:023
389099181,12cyclictest0-21swapper/320:45:023
389099181,11cyclictest0-21swapper/322:15:213
389099181,11cyclictest0-21swapper/320:20:213
3890991810,6cyclictest0-21swapper/322:05:153
3890991810,5cyclictest35966irq/58-eth021:40:293
3890991810,3cyclictest0-21swapper/322:00:583
3858991812,4cyclictest0-21swapper/120:40:231
3858991812,4cyclictest0-21swapper/120:20:161
385399188,7cyclictest2036-21kthreadcore21:15:210
385399185,9cyclictest0-21swapper/021:10:130
385399183,11cyclictest30354-21kthreadcore20:10:180
385399183,11cyclictest13022-21kthreadcore20:25:190
385399181,9cyclictest13761-21find19:50:280
385399181,9cyclictest13761-21find19:50:270
385399181,8cyclictest3679-21kthreadcore20:50:180
385399181,14cyclictest26031-21sh21:30:130
3853991811,4cyclictest19453-21sendmail20:00:010
3853991810,5cyclictest24334-21apt-key20:05:010
385399180,11cyclictest9053-21cut19:15:140
389099179,6cyclictest0-21swapper/322:26:133
389099176,6cyclictest0-21swapper/321:25:133
389099172,9cyclictest0-21swapper/319:55:143
385899179,6cyclictest24289-21sshd20:02:201
385899173,10cyclictest753-21sendmail-mta20:35:121
3858991712,3cyclictest0-21swapper/121:05:141
3858991712,3cyclictest0-21swapper/119:50:151
3858991712,3cyclictest0-21swapper/119:50:151
3858991712,3cyclictest0-21swapper/119:20:161
385399176,8cyclictest3982-21sort19:10:020
385399172,12cyclictest25374-21kthreadcore20:05:190
385399172,12cyclictest25374-21kthreadcore20:05:180
385399171,5cyclictest12822-21cut21:00:170
389099169,5cyclictest0-21swapper/321:30:203
389099168,3cyclictest0-21swapper/322:47:233
385399162,9cyclictest0-21swapper/019:20:130
385399162,11cyclictest7380-21kthreadcore19:45:210
389099152,10cyclictest0-21swapper/319:40:133
389099151,8cyclictest0-21swapper/319:15:143
389099151,10cyclictest0-21swapper/319:10:143
385899151,10cyclictest3747-21latency_hist19:10:011
389099149,3cyclictest0-21swapper/320:50:153
389099149,3cyclictest0-21swapper/320:15:143
389099146,3cyclictest0-21swapper/320:35:143
389099141,7cyclictest0-21swapper/319:50:123
389099141,7cyclictest0-21swapper/319:50:123
389099138,3cyclictest0-21swapper/320:25:553
389099138,3cyclictest0-21swapper/320:03:153
389099138,3cyclictest0-21swapper/319:28:383
389099131,9cyclictest0-21swapper/319:10:023
389099127,3cyclictest0-21swapper/319:48:123
389099121,9cyclictest0-21swapper/320:55:273
389099121,8cyclictest0-21swapper/321:00:163
389099111,7cyclictest0-21swapper/320:45:163
389099111,7cyclictest0-21swapper/319:30:283
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional