You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-01-03 - 02:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot4s.osadl.org (updated Sat Jan 03, 2026 00:45:13)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
85499627,14cyclictest21-21ksoftirqd/123:15:131
863995926,18cyclictest131rcu_preempt21:20:122
863995318,27cyclictest27-21ksoftirqd/222:45:132
87499486,24cyclictest28366irq/58-eth022:05:143
85499451,32cyclictest9089-21ssh22:55:141
838994419,21cyclictest12-21ksoftirqd/023:25:140
85499431,31cyclictest27673-21ssh00:20:141
86399422,28cyclictest0-21swapper/220:25:132
854994211,19cyclictest21-21ksoftirqd/121:10:131
87499403,24cyclictest28366irq/58-eth000:00:133
86399403,26cyclictest2777-21ssh23:10:122
86399403,26cyclictest2777-21ssh23:10:112
863994012,13cyclictest131rcu_preempt00:10:152
85499405,25cyclictest7702-21ssh23:50:121
863993912,17cyclictest27-21ksoftirqd/223:35:152
85499391,33cyclictest28926-21ssh21:15:131
87499383,24cyclictest28366irq/58-eth000:10:153
838993823,9cyclictest19704-21diskmemload21:10:120
87499373,18cyclictest28366irq/58-eth021:15:133
87499373,17cyclictest28366irq/58-eth020:45:133
86399372,28cyclictest11148-21sh00:28:372
85499373,6cyclictest21-21ksoftirqd/123:35:131
86399363,25cyclictest0-21swapper/221:36:472
863993613,17cyclictest0-21swapper/200:08:332
85499354,5cyclictest21-21ksoftirqd/123:25:121
85499351,23cyclictest22709-21ssh23:40:131
87499333,25cyclictest28366irq/58-eth023:50:143
87499333,17cyclictest28366irq/58-eth022:25:143
874993323,6cyclictest321rcuc/320:05:133
87499332,17cyclictest28366irq/58-eth023:20:143
863993214,13cyclictest0-21swapper/219:45:142
87499314,14cyclictest28366irq/58-eth023:10:123
87499314,14cyclictest28366irq/58-eth023:10:123
86399314,20cyclictest0-21swapper/223:05:142
86399313,20cyclictest22346irq/40-dwc2_hso00:15:142
86399313,20cyclictest22346irq/40-dwc2_hso00:15:142
86399313,19cyclictest22346irq/40-dwc2_hso21:00:142
85499312,21cyclictest27689-21/usr/sbin/munin22:10:251
854993115,8cyclictest21-21ksoftirqd/123:35:021
85499311,25cyclictest19084-21ssh22:05:151
87499303,15cyclictest28366irq/58-eth022:30:113
87499302,15cyclictest28366irq/58-eth022:00:133
87499301,16cyclictest28366irq/58-eth022:40:143
86399302,22cyclictest22346irq/40-dwc2_hso20:15:162
86399302,18cyclictest22346irq/40-dwc2_hso22:40:132
83899302,6cyclictest12-21ksoftirqd/000:20:120
838993022,5cyclictest0-21swapper/022:10:110
86399292,21cyclictest17458-21ssh22:03:252
86399292,21cyclictest11408-21ntp_192.168.11423:50:262
86399292,20cyclictest0-21swapper/219:35:152
86399292,11cyclictest20678-21ssh22:24:252
854992912,5cyclictest21-21ksoftirqd/123:25:021
83899292,20cyclictest2607-21ssh23:45:250
86399283,17cyclictest22346irq/40-dwc2_hso20:55:122
86399283,17cyclictest22346irq/40-dwc2_hso19:30:122
86399282,20cyclictest0-21swapper/220:10:152
86399282,19cyclictest0-21swapper/220:45:132
86399282,17cyclictest22346irq/40-dwc2_hso20:20:142
86399282,11cyclictest7379-21ssh22:53:252
86399281,23cyclictest27724-21rm22:10:122
85499285,12cyclictest21-21ksoftirqd/119:15:241
85499284,5cyclictest131rcu_preempt21:25:121
854992814,5cyclictest21-21ksoftirqd/121:56:381
854992813,9cyclictest0-21swapper/120:40:131
854992813,5cyclictest21-21ksoftirqd/121:24:451
83899285,8cyclictest131rcu_preempt21:20:150
83899284,6cyclictest12-21ksoftirqd/000:05:240
83899284,16cyclictest19704-21diskmemload22:30:110
83899284,13cyclictest12-21ksoftirqd/022:05:220
83899282,4cyclictest12-21ksoftirqd/023:50:270
83899281,8cyclictest12-21ksoftirqd/022:20:260
87499273,16cyclictest0-21swapper/323:45:253
87499272,12cyclictest28366irq/58-eth021:40:123
86399273,19cyclictest0-21swapper/200:04:262
86399273,17cyclictest22346irq/40-dwc2_hso23:45:142
86399273,14cyclictest0-21swapper/222:55:152
85499279,8cyclictest21-21ksoftirqd/120:20:231
85499278,5cyclictest21-21ksoftirqd/122:37:401
85499278,12cyclictest21-21ksoftirqd/122:00:121
85499276,7cyclictest131rcu_preempt19:45:301
85499273,12cyclictest21-21ksoftirqd/120:10:171
854992714,7cyclictest0-21swapper/100:04:541
85499271,20cyclictest30162-21sh22:30:131
854992711,7cyclictest21-21ksoftirqd/122:15:411
85499271,16cyclictest12821-21ssh22:20:141
83899273,12cyclictest12-21ksoftirqd/000:01:150
83899271,10cyclictest12-21ksoftirqd/021:30:020
87499264,13cyclictest0-21swapper/300:20:143
87499263,14cyclictest0-21swapper/322:10:243
87499262,15cyclictest0-21swapper/322:50:133
86399263,17cyclictest25372-21kworker/u8:223:30:132
86399262,16cyclictest22346irq/40-dwc2_hso20:35:152
86399261,16cyclictest22668-21ssh21:30:132
85499269,9cyclictest21-21ksoftirqd/123:13:561
85499269,9cyclictest21-21ksoftirqd/123:13:551
85499269,8cyclictest21-21ksoftirqd/123:07:431
85499268,9cyclictest21-21ksoftirqd/122:25:291
85499265,12cyclictest21-21ksoftirqd/119:40:171
85499262,16cyclictest21276-21ssh00:35:121
854992615,4cyclictest0-21swapper/121:52:201
854992612,8cyclictest21-21ksoftirqd/121:45:251
854992612,4cyclictest21-21ksoftirqd/119:15:021
854992611,8cyclictest21-21ksoftirqd/121:10:011
854992610,8cyclictest21-21ksoftirqd/122:41:241
83899267,7cyclictest12-21ksoftirqd/021:55:020
83899265,7cyclictest12-21ksoftirqd/023:30:170
83899264,8cyclictest12-21ksoftirqd/020:00:290
83899264,6cyclictest12-21ksoftirqd/021:15:130
83899264,4cyclictest12-21ksoftirqd/023:01:430
83899262,11cyclictest12-21ksoftirqd/021:30:210
838992616,7cyclictest15322-21ssh22:40:140
83899261,5cyclictest25360-21ssh22:25:290
83899261,5cyclictest12-21ksoftirqd/022:15:250
83899261,5cyclictest12-21ksoftirqd/021:45:160
838992612,4cyclictest131rcu_preempt00:13:050
874992513,8cyclictest28366irq/58-eth023:55:143
87499251,16cyclictest0-21swapper/322:24:243
863992511,11cyclictest26113-21grep23:40:212
863992510,12cyclictest3089-21sshd00:24:252
85499259,4cyclictest21-21ksoftirqd/123:00:361
85499258,8cyclictest21-21ksoftirqd/122:50:031
85499258,10cyclictest21-21ksoftirqd/123:48:551
85499255,8cyclictest21-21ksoftirqd/100:34:251
85499252,13cyclictest21-21ksoftirqd/100:10:221
85499251,18cyclictest4851-21rm21:36:461
854992511,8cyclictest0-21swapper/100:17:301
854992511,8cyclictest0-21swapper/100:17:301
854992510,4cyclictest21-21ksoftirqd/120:35:201
83899254,4cyclictest131rcu_preempt23:14:340
83899254,4cyclictest131rcu_preempt23:14:330
83899253,5cyclictest12-21ksoftirqd/022:50:110
83899253,5cyclictest12-21ksoftirqd/019:45:280
83899253,4cyclictest12-21ksoftirqd/023:55:250
83899252,4cyclictest12-21ksoftirqd/022:35:170
83899251,4cyclictest12-21ksoftirqd/000:15:270
83899251,4cyclictest12-21ksoftirqd/000:15:270
83899251,10cyclictest12-21ksoftirqd/019:15:230
87499249,10cyclictest0-21swapper/323:38:243
874992411,10cyclictest28366irq/58-eth021:50:133
86399243,18cyclictest633-21Async12:11:532
86399243,16cyclictest22346irq/40-dwc2_hso00:35:132
86399243,13cyclictest0-21swapper/222:25:132
86399241,10cyclictest7813-21ssh21:40:112
863992410,10cyclictest3588-21kthreadcore21:55:202
86399240,21cyclictest20369-21switchtime23:55:272
85499249,9cyclictest21-21ksoftirqd/120:55:011
85499249,6cyclictest21-21ksoftirqd/119:25:151
85499249,5cyclictest21-21ksoftirqd/123:55:221
85499249,4cyclictest21-21ksoftirqd/100:25:461
854992413,7cyclictest13401-21sshd21:41:261
854992410,6cyclictest0-21swapper/100:09:041
83899245,5cyclictest12-21ksoftirqd/023:09:250
83899245,5cyclictest12-21ksoftirqd/020:40:170
83899245,4cyclictest12-21ksoftirqd/021:43:260
83899244,5cyclictest12-21ksoftirqd/022:45:140
83899244,5cyclictest12-21ksoftirqd/019:40:170
83899244,4cyclictest12-21ksoftirqd/023:00:020
83899244,12cyclictest0-21swapper/022:00:140
83899243,4cyclictest12-21ksoftirqd/020:00:010
83899242,4cyclictest12-21ksoftirqd/023:20:300
838992418,4cyclictest151rcuc/019:35:300
838992418,4cyclictest151rcuc/019:10:200
838992418,3cyclictest8767-21apt-get20:25:150
83899241,7cyclictest12-21ksoftirqd/000:30:230
83899241,5cyclictest12-21ksoftirqd/023:15:320
83899241,14cyclictest12-21ksoftirqd/020:50:300
838992410,4cyclictest12-21ksoftirqd/021:55:410
838992410,3cyclictest131rcu_preempt00:25:030
86399233,11cyclictest11969-21irqcore23:15:202
86399232,16cyclictest0-21swapper/222:06:242
86399231,18cyclictest0-21swapper/219:55:132
86399231,11cyclictest20264-21grep21:10:152
86399231,10cyclictest2523266ssh21:50:132
85499239,8cyclictest21-21ksoftirqd/122:45:111
85499238,3cyclictest131rcu_preempt20:25:201
85499236,9cyclictest21-21ksoftirqd/120:00:021
85499236,8cyclictest21-21ksoftirqd/119:50:121
85499235,8cyclictest21-21ksoftirqd/120:05:011
85499234,9cyclictest21-21ksoftirqd/120:30:231
85499234,10cyclictest21-21ksoftirqd/119:21:291
85499234,10cyclictest21-21ksoftirqd/119:21:281
85499233,11cyclictest21-21ksoftirqd/121:30:201
854992310,5cyclictest21-21ksoftirqd/121:00:301
83899239,7cyclictest131rcu_preempt00:37:540
83899234,6cyclictest12-21ksoftirqd/021:05:240
83899234,6cyclictest12-21ksoftirqd/021:00:260
83899234,4cyclictest12-21ksoftirqd/021:37:380
83899234,4cyclictest12-21ksoftirqd/020:35:190
83899233,9cyclictest12-21ksoftirqd/020:30:210
83899233,4cyclictest12-21ksoftirqd/020:55:300
83899233,4cyclictest12-21ksoftirqd/020:10:180
83899232,8cyclictest12-21ksoftirqd/023:44:370
83899231,5cyclictest12-21ksoftirqd/023:35:280
83899230,4cyclictest12-21ksoftirqd/019:25:100
87499223,13cyclictest0-21swapper/321:36:463
87499222,11cyclictest28366irq/58-eth000:25:113
86399226,3cyclictest131rcu_preempt00:30:212
86399222,6cyclictest0-21swapper/221:25:152
86399222,16cyclictest7484-21ls22:15:212
86399221,9cyclictest15486-21irqcore21:05:202
863992217,2cyclictest0-21swapper/221:45:132
863992215,4cyclictest9123-21ssh22:35:222
863992211,8cyclictest0-21swapper/219:15:002
86399221,11cyclictest6123-21apt-get22:35:032
86399221,10cyclictest24386-21ssh23:20:302
86399221,10cyclictest17942-21sort23:00:142
85499224,9cyclictest21-21ksoftirqd/120:15:321
85499221,10cyclictest21-21ksoftirqd/119:35:171
854992210,4cyclictest21-21ksoftirqd/119:30:271
83899224,4cyclictest12-21ksoftirqd/020:15:330
83899222,6cyclictest12-21ksoftirqd/020:45:130
83899222,4cyclictest12-21ksoftirqd/019:50:190
83899220,8cyclictest6460-21cut20:20:210
874992116,3cyclictest28466irq/59-eth023:40:133
874992116,2cyclictest0-21swapper/300:30:173
874992111,6cyclictest28366irq/58-eth000:35:133
87499211,11cyclictest28366irq/58-eth020:55:133
874992110,7cyclictest28366irq/58-eth023:05:133
86399215,9cyclictest27226-21unixbench_singl20:40:282
86399211,17cyclictest17003-21ls20:00:152
86399211,11cyclictest13799-21tune2fs20:30:182
85499210,10cyclictest5393-21sort20:55:131
83899213,4cyclictest12-21ksoftirqd/019:30:210
83899212,4cyclictest12-21ksoftirqd/019:10:010
83899211,4cyclictest12-21ksoftirqd/020:05:210
87499209,6cyclictest0-21swapper/321:30:143
87499202,13cyclictest0-21swapper/323:15:143
874992010,8cyclictest0-21swapper/322:46:333
86399209,9cyclictest0-21swapper/220:05:152
86399202,15cyclictest6470-21kthreadcore19:15:182
86399201,9cyclictest608-21cpuspeed20:50:152
86399201,9cyclictest134-21systemd-journal19:26:292
86399201,10cyclictest29733-21kernelversion23:25:202
86399201,10cyclictest15266-21idleruntime-cro19:25:012
86399201,10cyclictest15266-21idleruntime-cro19:25:002
86399200,15cyclictest30267-21hwlatdetect19:40:162
85499206,8cyclictest21-21ksoftirqd/120:45:131
85499201,12cyclictest0-21swapper/120:07:311
83899202,4cyclictest12-21ksoftirqd/019:20:160
83899202,4cyclictest12-21ksoftirqd/019:20:150
87499199,8cyclictest0-21swapper/323:33:073
87499199,6cyclictest0-21swapper/321:24:053
87499198,8cyclictest0-21swapper/321:46:153
87499192,11cyclictest0-21swapper/321:10:143
874991912,5cyclictest28366irq/58-eth023:25:143
874991911,6cyclictest0-21swapper/300:06:243
87499191,13cyclictest0-21swapper/319:55:213
87499191,12cyclictest0-21swapper/320:30:013
86399191,15cyclictest7330-21cpuspeed19:50:162
87499189,6cyclictest0-21swapper/322:19:413
87499182,10cyclictest0-21swapper/321:55:123
87499182,10cyclictest0-21swapper/320:35:043
87499182,10cyclictest0-21swapper/320:20:033
87499182,10cyclictest0-21swapper/319:35:143
87499181,13cyclictest0-21swapper/321:00:153
87499181,11cyclictest28366irq/58-eth022:35:153
874991810,6cyclictest0-21swapper/300:16:473
874991810,6cyclictest0-21swapper/300:16:463
87499179,6cyclictest0-21swapper/323:01:553
87499179,6cyclictest0-21swapper/321:25:403
87499178,6cyclictest28366irq/58-eth022:55:133
87499172,9cyclictest0-21swapper/320:15:173
87499172,10cyclictest0-21swapper/319:25:113
87499171,12cyclictest0-21swapper/319:30:143
87499171,10cyclictest0-21swapper/320:10:143
85499173,2cyclictest131rcu_preempt19:10:021
87499162,10cyclictest0-21swapper/320:50:143
87499162,10cyclictest0-21swapper/319:10:153
87499161,12cyclictest0-21swapper/319:50:173
87499152,9cyclictest0-21swapper/320:00:143
87499152,10cyclictest0-21swapper/320:40:123
87499152,10cyclictest0-21swapper/320:30:163
86399141,11cyclictest864-21latency_hist19:10:022
87499136,5cyclictest28366irq/58-eth019:40:143
87499121,9cyclictest0-21swapper/321:05:223
87499121,9cyclictest0-21swapper/319:20:223
87499121,9cyclictest0-21swapper/319:20:213
87499121,9cyclictest0-21swapper/319:15:283
87499121,6cyclictest0-21swapper/319:45:133
87499101,6cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional