You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-09 - 14:56

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Thu Jul 09, 2026 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2397021820,5sleep31451199cyclictest11:06:153
2228621250,1sleep00-21swapper/011:05:200
1450599889,51cyclictest25630-21apt-get09:10:280
301692850,2sleep30-21swapper/311:15:053
1450599847,61cyclictest0-21swapper/007:40:290
213402830,5sleep21451099cyclictest10:25:082
1450599839,50cyclictest0-21swapper/007:10:160
1450599839,50cyclictest0-21swapper/007:10:160
24452820,2sleep20-21swapper/212:00:012
62432800,2sleep3381ktimersoftd/310:45:343
1451099802,54cyclictest0-21swapper/207:40:292
14505998014,39cyclictest9-21ksoftirqd/012:25:290
14510997735,18cyclictest8050irq/56-dwc_otg_09:10:262
230762760,8sleep00-21swapper/009:47:170
14505997458,6cyclictest0-21swapper/009:25:260
14510997320,12cyclictest8050irq/56-dwc_otg_09:40:252
244802720,2sleep31451199cyclictest12:25:383
14505997111,29cyclictest0-21swapper/011:50:290
14505997111,29cyclictest0-21swapper/011:50:290
14511997024,30cyclictest7950irq/56-dwc_otg_09:10:273
1450599704,55cyclictest0-21swapper/007:30:260
1450599696,60cyclictest101ktimersoftd/009:30:280
1450599692,56cyclictest0-21swapper/007:50:280
14505996820,29cyclictest9-21ksoftirqd/011:20:150
1451099668,11cyclictest7850irq/56-dwc_otg09:45:292
1450599662,3cyclictest0-21swapper/010:30:270
252322650,4sleep325229-21latency_hist07:40:163
252322650,4sleep325229-21latency_hist07:40:163
1451099658,21cyclictest7850irq/56-dwc_otg09:30:212
278892640,7sleep2301ktimersoftd/212:30:282
14509996410,18cyclictest21-21rcuc/109:10:261
1450599632,46cyclictest0-21swapper/009:40:150
1450599631,45cyclictest0-21swapper/007:35:440
1450599631,45cyclictest0-21swapper/007:35:440
1450599631,17cyclictest8365-21rm11:26:480
1451199628,8cyclictest0-21swapper/311:00:263
1450599625,41cyclictest13-21rcuc/008:43:480
1450599625,41cyclictest13-21rcuc/008:43:480
1451099613,14cyclictest7850irq/56-dwc_otg09:15:292
1451099612,7cyclictest7850irq/56-dwc_otg07:30:262
1450599611,45cyclictest0-21swapper/008:30:320
1450999608,37cyclictest0-21swapper/107:45:281
14505996033,5cyclictest17176-21ls10:20:140
1451099598,18cyclictest7850irq/56-dwc_otg09:25:262
14505995940,5cyclictest13-21rcuc/008:25:340
14505995928,16cyclictest0-21swapper/008:10:310
14505995927,20cyclictest0-21swapper/007:15:350
1450599591,25cyclictest0-21swapper/007:50:150
14511995810,8cyclictest7950irq/56-dwc_otg_08:25:273
1451099588,11cyclictest7950irq/56-dwc_otg_09:50:272
14505995832,15cyclictest18824-21grep07:20:380
14505995831,17cyclictest7089-21grep10:45:440
1450599582,46cyclictest9-21ksoftirqd/010:10:380
1450599582,40cyclictest0-21swapper/009:40:350
1450599575,40cyclictest9-21ksoftirqd/012:34:200
1450599575,11cyclictest0-21swapper/007:10:160
14505995737,6cyclictest7950irq/56-dwc_otg_10:40:150
1450599572,39cyclictest0-21swapper/012:18:550
1451099561,4cyclictest0-21swapper/207:50:272
1450599564,50cyclictest8100-21kworker/0:109:54:150
1450599564,38cyclictest0-21swapper/011:30:330
1450599562,46cyclictest0-21swapper/012:40:080
1450599562,46cyclictest0-21swapper/012:40:080
1450599561,44cyclictest794-21sh09:20:150
68192550,3sleep16760-21ssh12:05:151
14505995527,3cyclictest0-21swapper/011:45:290
1450599552,40cyclictest32456-21latency_hist08:00:150
1450599552,37cyclictest18594-21fschecks_time11:00:330
1450599551,39cyclictest1921-21ntp_offset09:20:400
1450599544,46cyclictest0-21swapper/009:05:270
14505995432,4cyclictest2637-21grep11:20:310
1450599542,33cyclictest0-21swapper/012:23:160
1450599541,40cyclictest0-21swapper/010:20:420
1450599541,35cyclictest0-21swapper/011:35:400
14505995413,21cyclictest0-21swapper/012:00:280
1450599541,27cyclictest0-21swapper/008:00:280
221012530,2sleep20-21swapper/209:00:302
1451199539,27cyclictest0-21swapper/307:25:283
1451099538,29cyclictest0-21swapper/207:45:282
1450999538,28cyclictest0-21swapper/109:45:301
1450999537,28cyclictest0-21swapper/107:40:291
14505995330,14cyclictest0-21swapper/008:50:370
14505995317,19cyclictest8915-21munin-run10:10:150
1450599531,30cyclictest29505-21fschecks_time09:55:320
1450599531,30cyclictest29505-21fschecks_time09:55:320
281412520,3sleep228138-21ssh11:50:432
281412520,3sleep228138-21ssh11:50:432
1451199526,8cyclictest7950irq/56-dwc_otg_09:15:273
14505995230,9cyclictest20878-21/usr/sbin/munin07:25:420
1450599522,37cyclictest0-21swapper/008:15:290
14509995115,9cyclictest0-21swapper/107:50:271
1450599512,38cyclictest0-21swapper/012:08:520
1450599511,38cyclictest0-21swapper/010:00:420
1450599511,38cyclictest0-21swapper/008:20:410
1451099508,28cyclictest0-21swapper/208:20:282
1450999507,30cyclictest23-21ksoftirqd/109:30:281
1450599502,35cyclictest0-21swapper/010:55:330
1450599502,35cyclictest0-21swapper/010:55:330
1450599501,24cyclictest0-21swapper/010:40:280
14511994923,6cyclictest15684-21fschecks_time12:15:343
14511994916,17cyclictest0-21swapper/308:30:283
1451099498,25cyclictest15359-21ssh12:15:292
1450999498,31cyclictest0-21swapper/108:20:281
1450999492,9cyclictest0-21swapper/109:50:281
1450999492,33cyclictest8050irq/56-dwc_otg_09:15:471
1450599493,34cyclictest21940-21aten_rbpower_cu09:00:280
1450599492,34cyclictest0-21swapper/008:36:170
14505994921,4cyclictest13-21rcuc/010:25:400
14505994921,4cyclictest13-21rcuc/010:25:400
1450599491,35cyclictest727-21runrttasks11:58:000
1450599491,34cyclictest21178-21unixbench-2d08:55:410
132062490,4sleep3381ktimersoftd/307:05:353
203402480,6sleep31451199cyclictest09:44:513
1451099482,7cyclictest8050irq/56-dwc_otg_10:30:262
1450599482,35cyclictest0-21swapper/012:10:350
14505994823,14cyclictest0-21swapper/010:54:290
1450599481,37cyclictest0-21swapper/008:45:430
1450999476,23cyclictest13027-21ssh09:35:271
14505994726,12cyclictest0-21swapper/011:10:290
1450599471,34cyclictest0-21swapper/008:05:390
1450599461,31cyclictest20590-21ssh11:41:300
14511994520,15cyclictest8050irq/56-dwc_otg_10:50:293
1451099452,9cyclictest7950irq/56-dwc_otg_10:35:282
1451199446,23cyclictest0-21swapper/308:45:283
1451199441,6cyclictest7850irq/56-dwc_otg10:25:293
1451199441,6cyclictest7850irq/56-dwc_otg10:25:293
1451099443,7cyclictest7850irq/56-dwc_otg12:05:242
1450999442,26cyclictest0-21swapper/110:55:151
14509994420,6cyclictest7432-21sh12:05:311
24972431,2sleep30-21swapper/311:20:293
1451099437,23cyclictest0-21swapper/208:55:272
14509994322,5cyclictest727-21runrttasks11:39:571
1451199427,25cyclictest0-21swapper/308:50:293
1451099421,12cyclictest0-21swapper/208:05:262
14509994220,9cyclictest23-21ksoftirqd/108:30:451
35392411,32sleep30-21swapper/312:00:353
1451199417,24cyclictest0-21swapper/311:15:293
1451199417,18cyclictest8050irq/56-dwc_otg_07:10:163
1451199417,18cyclictest8050irq/56-dwc_otg_07:10:163
1451199415,21cyclictest8748-21kworker/u8:008:55:223
1451199411,5cyclictest29920-21timerandwakeup07:50:413
1451099417,7cyclictest8050irq/56-dwc_otg_11:15:332
1451099415,10cyclictest7850irq/56-dwc_otg07:25:252
14510994118,5cyclictest17954-21kworker/u8:110:00:222
1451099411,7cyclictest0-21swapper/208:10:262
14510994112,13cyclictest301ktimersoftd/212:25:162
14510994110,4cyclictest0-21swapper/211:45:282
1450999416,25cyclictest0-21swapper/109:05:291
14509994121,5cyclictest23-21ksoftirqd/111:40:331
1450999411,26cyclictest16547-21ls07:15:301
307832400,8sleep1221ktimersoftd/111:55:051
307832400,8sleep1221ktimersoftd/111:55:051
257212400,1sleep20-21swapper/212:26:582
1451199408,14cyclictest7950irq/56-dwc_otg_08:20:443
1451199407,22cyclictest0-21swapper/312:20:283
1451199406,23cyclictest0-21swapper/309:55:283
1451199406,23cyclictest0-21swapper/309:55:283
1451199404,17cyclictest8050irq/56-dwc_otg_09:20:473
1451099408,14cyclictest7950irq/56-dwc_otg_08:25:462
1451099407,23cyclictest0-21swapper/209:05:292
258292390,4sleep325827-21ssh09:50:393
1451199391,5cyclictest0-21swapper/311:25:263
1451099391,15cyclictest301ktimersoftd/209:35:412
14510993910,4cyclictest0-21swapper/207:25:162
1450999397,25cyclictest0-21swapper/110:30:271
1450999396,19cyclictest0-21swapper/112:15:291
14509993923,9cyclictest8050irq/56-dwc_otg_09:25:271
14509993920,8cyclictest19007-21sh09:42:131
14509993919,5cyclictest14372-21latency_hist11:35:151
1450999390,17cyclictest8050irq/56-dwc_otg_07:25:151
1451199387,14cyclictest14723-21ssh11:35:263
1451199381,3cyclictest8050irq/56-dwc_otg_09:45:273
1451199381,24cyclictest27076-21ls07:45:153
1451099387,7cyclictest8050irq/56-dwc_otg_07:20:152
1451099386,19cyclictest8050irq/56-dwc_otg_10:15:362
1451099384,18cyclictest8050irq/56-dwc_otg_09:20:302
1451099383,18cyclictest31-21ksoftirqd/210:50:352
14510993818,4cyclictest23045-21unixbench_singl10:25:442
14510993818,4cyclictest23045-21unixbench_singl10:25:442
1450999388,12cyclictest23-21ksoftirqd/110:55:371
1450999388,12cyclictest23-21ksoftirqd/110:55:371
1450999381,24cyclictest22515-21missed_timers09:00:361
314552371,31sleep10-21swapper/111:55:301
311982370,1sleep20-21swapper/209:57:022
311982370,1sleep20-21swapper/209:57:022
1451199375,8cyclictest8050irq/56-dwc_otg_10:35:453
1451199375,19cyclictest895-21ssh10:00:223
1451199374,18cyclictest18218-21wget07:20:293
1451199371,25cyclictest28089-21timerandwakeup07:45:423
1451199371,23cyclictest9043-21ssh09:30:223
1451099378,7cyclictest8050irq/56-dwc_otg_08:50:442
14510993719,5cyclictest23660-21aten_rbpower_vo07:35:292
14510993719,5cyclictest23660-21aten_rbpower_vo07:35:292
1451099371,4cyclictest0-21swapper/211:05:352
1450999378,6cyclictest21-21rcuc/110:50:151
1450999377,8cyclictest7950irq/56-dwc_otg_07:10:171
1450999377,8cyclictest7950irq/56-dwc_otg_07:10:171
14509993717,4cyclictest15142-21latency_hist12:15:161
1450999371,5cyclictest8050irq/56-dwc_otg_09:25:151
14509993711,6cyclictest0-21swapper/112:20:321
139382370,9sleep31451199cyclictest09:35:403
1451199362,15cyclictest7850irq/56-dwc_otg12:30:323
1451199361,25cyclictest10780-21ls11:30:303
1451199361,24cyclictest7950irq/56-dwc_otg_10:20:363
1451199361,24cyclictest22656-21latency_hist11:45:163
1451199361,22cyclictest17346-21runrttasks07:15:433
14511993610,14cyclictest0-21swapper/309:28:293
1451099367,9cyclictest29-21rcuc/211:20:282
1451099365,18cyclictest31-21ksoftirqd/208:15:412
1451099365,14cyclictest8050irq/56-dwc_otg_07:10:272
1451099365,14cyclictest8050irq/56-dwc_otg_07:10:272
1451099361,24cyclictest457-21ls08:00:332
1451099361,19cyclictest6531-21aten_rbpower_en11:25:292
1450999362,12cyclictest0-21swapper/108:10:261
14509993614,4cyclictest23-21ksoftirqd/111:15:151
1450999361,24cyclictest2442-21ls08:05:341
1450999361,13cyclictest8050irq/56-dwc_otg_08:00:151
14509993610,10cyclictest19383-21grep08:50:441
1451199355,20cyclictest23012-21ssh11:45:293
1451099355,17cyclictest31-21ksoftirqd/210:47:332
1451099351,15cyclictest8050irq/56-dwc_otg_11:40:262
14510993510,6cyclictest7850irq/56-dwc_otg08:35:322
14509993517,6cyclictest32596-21aten_rbpower_cu08:00:291
14509993515,5cyclictest3350-21idleruntime-cro12:40:151
14509993515,5cyclictest3350-21idleruntime-cro12:40:151
14509993514,7cyclictest26140-21cron11:10:151
1451199342,24cyclictest22208-21cut09:00:323
14511993415,4cyclictest2292-21ls10:40:353
1451099343,18cyclictest0-21swapper/211:13:182
1450999347,4cyclictest13001-21/usr/sbin/munin08:35:301
1450999347,16cyclictest0-21swapper/110:35:291
1450999343,19cyclictest9764-21ssh10:10:351
14509993417,5cyclictest28968-21timerwakeupswit12:30:421
14509993411,10cyclictest23-21ksoftirqd/108:25:441
14511993316,6cyclictest29240-21sh11:52:133
14511993316,6cyclictest29240-21sh11:52:133
1451199331,22cyclictest9833-21ls10:10:353
14511993310,12cyclictest8050irq/56-dwc_otg_08:00:323
1451099339,5cyclictest0-21swapper/212:00:272
1451099337,9cyclictest31-21ksoftirqd/212:35:392
1451099337,9cyclictest31-21ksoftirqd/212:35:392
1451099337,9cyclictest14728-21ssh11:35:272
14510993326,4cyclictest18438-21ls11:00:302
14510993318,12cyclictest8050irq/56-dwc_otg_12:10:262
14510993310,10cyclictest0-21swapper/211:33:162
1450999339,6cyclictest0-21swapper/110:05:251
1450999336,5cyclictest0-21swapper/107:25:441
1450999335,13cyclictest2638-21cut11:20:311
1450999332,4cyclictest7850irq/56-dwc_otg08:45:271
1450999332,12cyclictest0-21swapper/111:25:411
14509993316,9cyclictest17380-21latency_hist10:20:151
1450999331,25cyclictest5841-21cut08:15:331
1450999331,17cyclictest25710-21ls10:30:161
1450999331,17cyclictest25710-21ls10:30:161
14509993310,10cyclictest0-21swapper/110:22:221
63662320,3sleep212691-21kworker/u8:010:05:432
1451199322,6cyclictest14924-21cut08:40:323
1451199322,6cyclictest14924-21cut08:40:323
1451199321,23cyclictest24013-21cut09:05:323
1451199321,21cyclictest7349-21uniq12:05:313
1451099328,6cyclictest8050irq/56-dwc_otg_10:55:412
1451099328,6cyclictest8050irq/56-dwc_otg_10:55:412
1451099328,11cyclictest301ktimersoftd/210:44:372
1451099326,6cyclictest31-21ksoftirqd/208:30:342
1450999329,4cyclictest0-21swapper/111:45:391
1450999326,12cyclictest7950irq/56-dwc_otg_11:15:261
1450999323,17cyclictest0-21swapper/109:55:341
1450999323,17cyclictest0-21swapper/109:55:341
1450999322,21cyclictest21680-21latency_hist09:00:151
1450999321,5cyclictest24114-21idleruntime12:25:341
1450999321,20cyclictest18734-21ssh11:00:341
1451199316,5cyclictest7850irq/56-dwc_otg08:15:323
1451199312,6cyclictest7950irq/56-dwc_otg_08:05:313
14511993123,5cyclictest28063-21ssh10:32:183
1451199312,13cyclictest8050irq/56-dwc_otg_07:30:293
14511993110,4cyclictest0-21swapper/310:15:283
1451099318,4cyclictest7850irq/56-dwc_otg10:15:162
1451099314,6cyclictest7950irq/56-dwc_otg_07:55:372
139022313,21sleep10-21swapper/107:05:541
1451199302,6cyclictest0-21swapper/312:10:393
14511993024,4cyclictest6363-21grep10:05:433
1451199302,13cyclictest8050irq/56-dwc_otg_12:35:283
1451199302,13cyclictest8050irq/56-dwc_otg_12:35:283
1451099304,6cyclictest29-21rcuc/208:49:082
14509993013,5cyclictest727-21runrttasks07:39:011
14509993013,5cyclictest727-21runrttasks07:39:011
1450999301,18cyclictest14958-21ls08:40:321
1450999301,18cyclictest14958-21ls08:40:321
1451199295,4cyclictest0-21swapper/311:55:403
1451199293,5cyclictest7950irq/56-dwc_otg_10:58:193
1451199293,5cyclictest7950irq/56-dwc_otg_10:58:193
14510992911,4cyclictest8050irq/56-dwc_otg_08:41:242
14510992911,4cyclictest8050irq/56-dwc_otg_08:41:242
1450999297,4cyclictest7950irq/56-dwc_otg_10:00:181
1450999291,16cyclictest0-21swapper/110:40:191
1450999282,6cyclictest21969-21df07:30:301
1451199272,10cyclictest7850irq/56-dwc_otg08:00:153
14511992720,5cyclictest3782-21aten_rbpower_cu08:10:273
1451199261,4cyclictest12778-21/usr/sbin/munin08:35:403
139442253,14sleep20-21swapper/207:06:282
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional