You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-29 - 16:55

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Sun Mar 29, 2026 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2148122530,4sleep121337-21ls07:10:121
21570991156,69cyclictest0-21swapper/012:30:250
82652950,5sleep18269-21unixbench-2d08:00:401
21570999326,45cyclictest13-21rcuc/009:00:240
2157099905,49cyclictest19529-21ssh12:05:230
2157199882,37cyclictest7750irq/56-dwc_otg10:55:231
21570998420,31cyclictest0-21swapper/007:10:230
4642820,2sleep30-21swapper/311:04:113
4642820,2sleep30-21swapper/311:04:113
273502780,2sleep30-21swapper/309:40:413
258402780,2sleep30-21swapper/310:17:213
2157199786,21cyclictest27183-21ssh11:35:251
2157099782,30cyclictest0-21swapper/009:25:230
21571997510,23cyclictest14243-21ssh11:20:231
2157299741,57cyclictest27622-21/usr/sbin/munin08:55:302
2157099731,40cyclictest0-21swapper/007:55:240
2157099722,39cyclictest0-21swapper/011:50:230
21570997016,8cyclictest1444-21ssh11:05:250
2157099696,49cyclictest0-21swapper/011:35:250
315742680,1sleep10-21swapper/111:40:281
2157099686,56cyclictest0-21swapper/008:25:250
2157299672,52cyclictest0-21swapper/212:33:232
2157099674,23cyclictest0-21swapper/010:40:240
21570996719,46cyclictest9-21ksoftirqd/012:25:240
2157299668,41cyclictest3625-21aten_rbpower_cu07:50:232
21570996635,7cyclictest0-21swapper/011:10:240
2157299653,44cyclictest7850irq/56-dwc_otg_11:15:302
2157299652,50cyclictest3017-21ssh09:50:372
2157299652,48cyclictest7750irq/56-dwc_otg07:45:322
2157099655,37cyclictest0-21swapper/011:30:260
108992650,2sleep20-21swapper/210:38:012
276052640,3sleep027607-21rm09:41:060
2157299643,37cyclictest23443-21rm09:36:182
21570996324,5cyclictest7950irq/56-dwc_otg_11:55:240
21570996321,17cyclictest0-21swapper/009:15:210
2157299627,48cyclictest24047-21sh10:53:352
2157299625,42cyclictest7950irq/56-dwc_otg_11:30:272
2157299622,36cyclictest7950irq/56-dwc_otg_10:32:382
2157099622,48cyclictest0-21swapper/010:20:210
193282620,2sleep3381ktimersoftd/311:25:363
21572996118,40cyclictest3995-21fschecks_count12:25:292
2157299611,43cyclictest0-21swapper/209:10:342
2157299611,40cyclictest32450-21rm09:47:052
2157299601,4cyclictest7750irq/56-dwc_otg12:05:392
2157299601,44cyclictest26816-21ssh12:14:002
125592600,2sleep012557-21sh09:24:520
311642590,2sleep10-21swapper/112:19:211
2157299591,46cyclictest0-21swapper/211:57:102
2157299591,44cyclictest6546-21unixbench_singl07:55:392
2157199594,10cyclictest32718-21ssh09:10:251
21570995928,4cyclictest31877-21grep09:05:390
2157099592,30cyclictest0-21swapper/010:50:170
141532590,2sleep10-21swapper/110:41:141
221802580,3sleep20-21swapper/208:40:302
2157299582,3cyclictest7950irq/56-dwc_otg_11:07:362
2157299581,5cyclictest18129-21/usr/sbin/munin08:30:272
2157299581,46cyclictest0-21swapper/209:56:412
2157299581,46cyclictest0-21swapper/209:56:412
2157299581,40cyclictest0-21swapper/209:33:212
2157099585,39cyclictest0-21swapper/010:05:230
2157099581,54cyclictest10874-21aten_rbpower_en08:10:250
2157299573,39cyclictest31-21ksoftirqd/210:40:152
2157299571,51cyclictest30779-21apt-get09:05:232
2157299571,45cyclictest15384-21taskset12:00:212
2157299571,42cyclictest7950irq/56-dwc_otg_09:24:042
2157299571,42cyclictest0-21swapper/209:45:122
2157299571,41cyclictest25237-21latency_hist08:50:112
2157299571,3cyclictest7750irq/56-dwc_otg10:28:302
2157299571,38cyclictest29694-21seq10:21:362
2157199574,10cyclictest7750irq/56-dwc_otg07:50:211
2157099573,30cyclictest21569-21cyclictest08:40:230
2157099572,31cyclictest6123-21latency_hist09:55:120
2157299564,32cyclictest3678-21wc11:45:332
2157299562,40cyclictest0-21swapper/211:04:352
2157299562,40cyclictest0-21swapper/211:04:352
2157299562,36cyclictest0-21swapper/210:56:182
2157299562,35cyclictest7750irq/56-dwc_otg10:20:102
2157299562,14cyclictest0-21swapper/207:40:212
2157299561,36cyclictest7950irq/56-dwc_otg_11:40:322
2157099569,23cyclictest7874-21ssh10:35:110
2157099563,5cyclictest9-21ksoftirqd/010:25:280
2157099563,24cyclictest0-21swapper/007:25:220
2157099563,24cyclictest0-21swapper/007:25:220
21570995631,3cyclictest7950irq/56-dwc_otg_09:45:230
2157099561,32cyclictest25680-21cron09:40:110
2157299554,41cyclictest7950irq/56-dwc_otg_11:21:032
2157299552,45cyclictest7750irq/56-dwc_otg10:15:112
2157299552,33cyclictest0-21swapper/212:22:262
2157299552,27cyclictest0-21swapper/209:18:032
2157399542,5cyclictest0-21swapper/311:05:243
2157299543,38cyclictest7950irq/56-dwc_otg_12:19:422
2157299541,5cyclictest149-21systemd-journal08:10:112
2157299541,42cyclictest9522-21ssh11:15:022
2157299541,42cyclictest0-21swapper/212:36:502
2157299541,42cyclictest0-21swapper/212:36:502
2157299541,41cyclictest10493-21ssh11:54:202
2157299541,38cyclictest0-21swapper/209:26:342
2157299541,35cyclictest7850irq/56-dwc_otg_10:01:412
2157299541,35cyclictest0-21swapper/211:35:162
2157099547,23cyclictest0-21swapper/012:15:290
2157099542,31cyclictest1090-21unixbench_multi07:40:380
2157099541,30cyclictest19018-21cat08:30:380
2157299532,48cyclictest29893-21grep07:30:392
21572995314,37cyclictest16478-21grep08:25:282
2157299531,42cyclictest0-21swapper/211:29:192
2157199537,6cyclictest7950irq/56-dwc_otg_11:30:261
21571995312,7cyclictest7850irq/56-dwc_otg_11:50:231
2157099532,26cyclictest32713-21grep12:20:330
2157099531,31cyclictest11455-21ntpq10:00:330
2157099531,30cyclictest23469-21aten_rbpower_en07:15:250
2157299522,38cyclictest0-21swapper/207:29:002
2157299522,38cyclictest0-21swapper/207:29:002
2157299521,47cyclictest23154-21cron07:15:112
2157299521,34cyclictest0-21swapper/207:15:362
2157199525,6cyclictest0-21swapper/107:45:251
2157099529,26cyclictest0-21swapper/012:35:380
2157099529,26cyclictest0-21swapper/012:35:380
2157099526,31cyclictest0-21swapper/008:05:260
21570995212,25cyclictest13-21rcuc/008:03:100
21572995111,23cyclictest30018-21unixbench-2d09:00:382
2157199517,12cyclictest7750irq/56-dwc_otg09:55:211
2157199517,12cyclictest7750irq/56-dwc_otg09:55:211
2157199513,7cyclictest0-21swapper/111:15:221
2157099512,44cyclictest0-21swapper/012:04:140
21570995124,14cyclictest1068-21modprobe11:05:120
21570995124,14cyclictest1068-21modprobe11:05:120
2157099512,32cyclictest8270-21ssh10:35:250
2157099512,29cyclictest23751-21aten_rbpower_po12:10:250
21570995122,11cyclictest101ktimersoftd/011:15:240
2157099511,27cyclictest0-21swapper/007:30:220
21570995112,36cyclictest101ktimersoftd/009:30:330
2157099511,15cyclictest18239-21latency_hist11:25:120
2157399502,6cyclictest0-21swapper/307:35:263
2157299508,39cyclictest13647-21sed08:15:382
2157299508,39cyclictest13647-21sed08:15:382
2157299504,33cyclictest7850irq/56-dwc_otg_08:50:342
2157299503,43cyclictest10902-21wget08:10:252
2157299502,44cyclictest0-21swapper/207:35:242
2157299501,3cyclictest0-21swapper/210:45:382
2157299501,3cyclictest0-21swapper/210:05:262
2157099506,7cyclictest21569-21cyclictest11:48:320
21570995027,3cyclictest0-21swapper/007:45:300
2157099501,21cyclictest0-21swapper/009:56:310
2157099501,21cyclictest0-21swapper/009:56:310
2157099501,15cyclictest14185-21latency_hist08:20:120
2157099501,15cyclictest14185-21latency_hist08:20:120
211562503,11sleep00-21swapper/007:08:220
2157199493,8cyclictest0-21swapper/108:35:261
2157199493,8cyclictest0-21swapper/108:35:261
2157099495,24cyclictest9-21ksoftirqd/010:11:510
21570994925,6cyclictest25952-21missed_timers08:50:320
21570994910,20cyclictest9-21ksoftirqd/009:10:330
2157399483,17cyclictest7950irq/56-dwc_otg_08:25:253
2157399482,4cyclictest7950irq/56-dwc_otg_12:15:233
2157299481,3cyclictest7950irq/56-dwc_otg_07:21:012
2157199482,8cyclictest7950irq/56-dwc_otg_11:25:251
21571994825,5cyclictest2530250wget07:20:251
2157199481,28cyclictest7850irq/56-dwc_otg_10:35:341
21570994818,15cyclictest0-21swapper/011:40:250
2157299472,42cyclictest7325-21wget08:00:262
2157299472,41cyclictest19990-21aten_rbpower_en08:35:272
2157299472,41cyclictest19990-21aten_rbpower_en08:35:272
2157299471,43cyclictest14766-21fschecks_time08:20:282
21570994729,12cyclictest0-21swapper/008:45:220
21570994723,12cyclictest0-21swapper/011:00:120
21570994715,8cyclictest0-21swapper/007:50:210
2157199463,6cyclictest7750irq/56-dwc_otg11:45:231
2157099469,17cyclictest0-21swapper/008:20:350
2157099466,19cyclictest23558-21ssh10:15:240
321762450,2sleep10-21swapper/111:02:521
321762450,2sleep10-21swapper/111:02:521
2157199458,22cyclictest0-21swapper/109:00:241
2157199457,24cyclictest0-21swapper/108:40:251
2157199456,27cyclictest0-21swapper/109:05:251
21571994538,5cyclictest7750irq/56-dwc_otg11:55:241
21571994515,7cyclictest395-21grep10:25:331
21570994526,4cyclictest0-21swapper/010:45:400
21570994517,18cyclictest0-21swapper/007:36:190
21570994516,20cyclictest0-21swapper/008:59:590
2157199447,24cyclictest0-21swapper/110:15:241
2157199447,20cyclictest7850irq/56-dwc_otg_10:05:291
2157199441,33cyclictest11136-21cut08:10:291
2157099442,21cyclictest0-21swapper/011:25:260
2157199437,25cyclictest0-21swapper/108:25:251
21570994318,14cyclictest0-21swapper/008:35:410
21570994318,14cyclictest0-21swapper/008:35:410
2157099431,23cyclictest0-21swapper/007:20:330
45072420,5sleep12157199cyclictest11:08:441
2157399417,26cyclictest0-21swapper/308:10:253
2157399415,9cyclictest0-21swapper/312:05:233
21573994120,4cyclictest15683-21/usr/sbin/munin12:00:273
2157199416,9cyclictest7750irq/56-dwc_otg10:10:251
21571994110,22cyclictest0-21swapper/108:30:161
21573994019,5cyclictest3369-21sh12:25:113
2157199408,3cyclictest7750irq/56-dwc_otg10:00:401
2157199405,5cyclictest7850irq/56-dwc_otg_08:20:231
2157199402,27cyclictest221ktimersoftd/109:45:321
2157199401,9cyclictest23062-21grep09:35:421
2157399397,24cyclictest0-21swapper/307:50:233
2157399397,23cyclictest0-21swapper/308:00:253
2157399397,22cyclictest0-21swapper/308:55:243
2157399396,6cyclictest7850irq/56-dwc_otg_11:45:403
2157199396,24cyclictest16782-21ssh10:45:251
188962391,3sleep10-21swapper/112:04:411
2157399381,4cyclictest0-21swapper/312:35:223
2157399381,4cyclictest0-21swapper/312:35:223
21573993814,22cyclictest0-21swapper/307:55:243
2157399381,22cyclictest12356-21ls10:40:123
2157199389,13cyclictest7950irq/56-dwc_otg_09:30:121
2157199388,10cyclictest7850irq/56-dwc_otg_12:25:321
2157199384,6cyclictest21-21rcuc/109:45:111
2157199384,4cyclictest7950irq/56-dwc_otg_07:35:411
2157199384,11cyclictest0-21swapper/107:40:211
2157199381,24cyclictest9209-21ls08:05:281
71032370,1sleep10-21swapper/111:10:491
2157399378,6cyclictest0-21swapper/310:45:403
2157399373,24cyclictest7950irq/56-dwc_otg_09:10:233
21573993713,5cyclictest12612-21apt-get08:15:233
21573993713,5cyclictest12612-21apt-get08:15:233
2157399371,26cyclictest29319-21ls09:00:283
2157399371,25cyclictest26851-21ls07:25:123
2157399371,25cyclictest12890-21cut10:40:303
2157199377,15cyclictest7950irq/56-dwc_otg_08:45:241
2157199371,25cyclictest0-21swapper/112:10:291
2157199371,15cyclictest221ktimersoftd/110:20:331
21571993711,4cyclictest0-21swapper/112:20:321
2157399367,4cyclictest7750irq/56-dwc_otg11:20:343
2157399361,7cyclictest15352-21sort08:20:373
21573993616,13cyclictest381ktimersoftd/311:40:253
2157199367,5cyclictest7750irq/56-dwc_otg10:50:241
2157199367,5cyclictest6998-21latency_hist08:00:111
2157199362,14cyclictest7850irq/56-dwc_otg_07:10:281
21571993612,6cyclictest221ktimersoftd/112:05:301
21571993612,11cyclictest221ktimersoftd/108:55:241
2157399359,18cyclictest0-21swapper/309:22:283
2157399357,16cyclictest0-21swapper/310:53:473
2157399356,20cyclictest0-21swapper/311:50:253
2157399355,7cyclictest7850irq/56-dwc_otg_11:30:423
2157399354,7cyclictest7850irq/56-dwc_otg_09:10:113
2157399353,15cyclictest7850irq/56-dwc_otg_11:10:373
2157399352,19cyclictest7950irq/56-dwc_otg_08:30:263
21573993513,6cyclictest102252chrt12:32:403
2157399351,16cyclictest7950irq/56-dwc_otg_09:55:273
2157399351,16cyclictest7950irq/56-dwc_otg_09:55:273
2157199355,16cyclictest7950irq/56-dwc_otg_08:50:391
21571993529,4cyclictest11922-21sh12:35:231
21571993529,4cyclictest11922-21sh12:35:231
2157399348,5cyclictest7850irq/56-dwc_otg_08:40:263
2157399346,6cyclictest7950irq/56-dwc_otg_10:20:283
2157399345,20cyclictest15015-21ssh10:05:253
2157399342,7cyclictest7850irq/56-dwc_otg_07:20:113
21573993416,11cyclictest908-21runrttasks07:25:553
21573993416,11cyclictest908-21runrttasks07:25:553
2157199349,12cyclictest221ktimersoftd/109:34:451
2157199348,9cyclictest0-21swapper/109:15:221
2157199341,6cyclictest2444-21ssh09:50:291
2157199341,23cyclictest0-21swapper/109:20:321
2157399334,14cyclictest7950irq/56-dwc_otg_10:30:393
2157399332,9cyclictest3988-21fschecks_count12:25:293
2157399332,6cyclictest7750irq/56-dwc_otg09:15:233
21573993314,4cyclictest10848-21/usr/sbin/munin11:15:353
2157399331,21cyclictest32669-21cut07:40:263
2157399331,15cyclictest7750irq/56-dwc_otg09:45:253
2157199339,5cyclictest23-21ksoftirqd/112:30:401
2157199337,14cyclictest0-21swapper/107:15:241
21571993316,5cyclictest23-21ksoftirqd/110:32:441
199822336,14sleep320093-21/usr/sbin/munin07:05:293
2157399327,15cyclictest0-21swapper/312:10:253
2157399327,15cyclictest0-21swapper/307:45:263
2157399327,11cyclictest13566-21ssh10:03:213
2157399326,14cyclictest0-21swapper/307:30:253
2157399324,6cyclictest7850irq/56-dwc_otg_08:50:253
2157399323,7cyclictest7850irq/56-dwc_otg_09:30:293
19842320,3sleep321569-21cyclictest10:27:233
2157399317,15cyclictest0-21swapper/309:50:253
2157399316,4cyclictest7850irq/56-dwc_otg_10:10:383
2157399316,15cyclictest0-21swapper/308:45:243
2157399312,6cyclictest15068-21cron12:00:113
2157399312,10cyclictest29333-21ssh11:37:113
21571993112,10cyclictest27433-21iwlist07:25:281
21571993112,10cyclictest27433-21iwlist07:25:281
2157399309,5cyclictest7850irq/56-dwc_otg_07:10:253
2157399303,11cyclictest7850irq/56-dwc_otg_08:07:073
2157399301,20cyclictest14202-21ssh09:25:383
2157399295,12cyclictest7950irq/56-dwc_otg_08:35:323
2157399295,12cyclictest7950irq/56-dwc_otg_08:35:323
2157399292,8cyclictest26190-21wc10:55:373
2157399292,16cyclictest7950irq/56-dwc_otg_09:40:113
2157199291,6cyclictest29129-21grep07:30:291
21571992913,5cyclictest12873-21fschecks_count08:15:281
21571992913,5cyclictest12873-21fschecks_count08:15:281
197302273,14sleep20-21swapper/207:05:162
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional