You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-19 - 11:11

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Wed Aug 19, 2026 00:43:42)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2931721340,4sleep30-21swapper/319:05:303
30488991318,81cyclictest13770-21ssh00:30:360
30488991293,47cyclictest0-21swapper/021:30:470
304889912480,8cyclictest7850irq/56-dwc_otg_22:55:260
30488991215,48cyclictest0-21swapper/000:15:390
30488991175,44cyclictest0-21swapper/021:55:320
30488991175,44cyclictest0-21swapper/021:55:320
30488991162,33cyclictest8618-21/usr/sbin/munin00:25:350
30488991143,16cyclictest19518-21grep22:00:390
30488991143,16cyclictest19518-21grep22:00:390
134721070,4sleep121-21rcuc/122:19:011
304889910333,21cyclictest0-21swapper/022:12:470
30488991004,14cyclictest17084-21diskstats00:35:250
3050699973,70cyclictest382-21apt-get00:15:233
3050699973,67cyclictest27857-21ls22:50:293
3048899972,74cyclictest0-21swapper/022:06:470
3050699953,70cyclictest19351-21cat22:00:363
3050699953,70cyclictest19351-21cat22:00:363
3050699933,62cyclictest16825-21apt-get00:35:203
3048899927,48cyclictest0-21swapper/021:50:170
3050699902,58cyclictest7850irq/56-dwc_otg_21:55:313
3050699902,58cyclictest7850irq/56-dwc_otg_21:55:313
30492999017,49cyclictest27278-21sh21:30:481
30488999043,25cyclictest7850irq/56-dwc_otg_00:05:250
30488998829,54cyclictest14007-21cat21:15:280
3050699872,60cyclictest10563-21ssh22:30:123
3050699863,54cyclictest0-21swapper/321:15:093
30492998622,37cyclictest19424-21grep22:00:381
30492998622,37cyclictest19424-21grep22:00:381
3050699833,56cyclictest24632-21ssh00:05:233
3048899838,34cyclictest0-21swapper/019:10:120
30488998311,38cyclictest27888-21ssh22:50:310
3049299823,50cyclictest0-21swapper/100:15:351
30492998217,24cyclictest27873-21memory22:50:301
30492998210,36cyclictest0-21swapper/100:25:231
3048899826,26cyclictest0-21swapper/020:35:220
3050699814,48cyclictest0-21swapper/321:30:473
3050699813,72cyclictest24312-21ssh22:06:473
3050699813,71cyclictest28975-21ssh22:12:473
30503998112,47cyclictest18010-21sed00:35:392
30492998118,42cyclictest14798-21sh21:55:321
30492998118,42cyclictest14798-21sh21:55:321
3050699803,55cyclictest13987-21sed21:15:283
3050699802,72cyclictest13741-21ls00:30:353
3050699794,68cyclictest10188-21fschecks_count21:50:253
3048899795,17cyclictest23970-21ps22:45:340
30488997914,39cyclictest13157-21ls21:15:080
157552790,4sleep123-21ksoftirqd/121:17:251
3048899782,38cyclictest0-21swapper/020:10:190
3050699778,47cyclictest8748-21aten_rbpower_po00:25:263
3050699773,67cyclictest31437-21/usr/sbin/munin22:55:233
3050699773,67cyclictest23906-21ntp_states22:45:323
243352760,2sleep00-21swapper/021:27:580
3050399754,44cyclictest15290-21sed21:55:402
3050399754,44cyclictest15290-21sed21:55:402
95402740,3sleep00-21swapper/023:45:520
3049299743,42cyclictest21-21rcuc/100:35:391
30492997412,40cyclictest7850irq/56-dwc_otg_22:45:331
3050399715,32cyclictest0-21swapper/221:15:272
3050399704,43cyclictest13127-21ls00:30:262
30503997036,18cyclictest7950irq/56-dwc_otg_22:50:312
30488996955,3cyclictest0-21swapper/023:15:180
30488996919,26cyclictest29009-21fschecks_count00:10:260
3050399675,43cyclictest31-21ksoftirqd/200:15:202
30503996732,9cyclictest301ktimersoftd/222:00:382
30503996732,9cyclictest301ktimersoftd/222:00:382
30503996717,10cyclictest7950irq/56-dwc_otg_22:35:202
30503996715,22cyclictest0-21swapper/200:25:352
30488996714,26cyclictest10215-21apt-get22:30:100
30488996711,41cyclictest13706-21unixbench_singl19:50:370
30488996711,41cyclictest13706-21unixbench_singl19:50:370
39592660,4sleep013-21rcuc/021:42:240
30503996611,26cyclictest29-21rcuc/222:06:462
30492996615,9cyclictest0-21swapper/122:55:251
30492996614,25cyclictest7850irq/56-dwc_otg_00:30:371
3048899654,13cyclictest7750irq/56-dwc_otg20:55:190
30488996523,20cyclictest0-21swapper/020:05:240
30488996520,28cyclictest4476-21grep23:00:370
30506996423,24cyclictest11783-21fschecks_count23:10:253
30488996411,29cyclictest15131-21ntp_kernel_pll_19:55:310
3050699633,33cyclictest7950irq/56-dwc_otg_23:55:073
3050699631,51cyclictest4354-21ssh23:00:363
3048899633,28cyclictest0-21swapper/020:15:190
3048899631,32cyclictest0-21swapper/019:15:210
3048899631,27cyclictest0-21swapper/023:20:170
20252630,2sleep20-21swapper/221:40:242
3050699625,44cyclictest7950irq/56-dwc_otg_00:20:333
3050699621,46cyclictest0-21swapper/300:10:253
3050699621,45cyclictest0-21swapper/323:55:183
3050699621,44cyclictest0-21swapper/300:03:533
3049299625,25cyclictest7750irq/56-dwc_otg21:15:091
30492996214,8cyclictest7750irq/56-dwc_otg21:50:241
3050699611,44cyclictest7950irq/56-dwc_otg_23:10:073
3050699611,43cyclictest5907-21wget21:45:243
3050699611,3cyclictest0-21swapper/321:05:303
3049299611,14cyclictest3844-21ssh23:40:181
30506996026,20cyclictest0-21swapper/323:30:193
3050699602,44cyclictest7950irq/56-dwc_otg_22:20:233
3050699601,45cyclictest4618-21ssh23:40:303
3050699601,43cyclictest21882-21df_inode20:15:243
30506996010,8cyclictest7950irq/56-dwc_otg_20:45:183
30488996015,27cyclictest16089-21sed22:35:360
3048899601,33cyclictest7233-21latency_hist21:05:080
3050699593,51cyclictest60-21kswapd022:25:193
3050699593,37cyclictest7950irq/56-dwc_otg_23:29:443
3050699593,37cyclictest7950irq/56-dwc_otg_23:29:443
3050399593,41cyclictest0-21swapper/200:05:232
30488995922,8cyclictest7750irq/56-dwc_otg23:10:190
3050699588,32cyclictest0-21swapper/321:20:193
3049299583,20cyclictest0-21swapper/100:05:251
3048899581,33cyclictest0-21swapper/023:55:180
3050699572,40cyclictest7950irq/56-dwc_otg_20:35:263
3050699572,38cyclictest7950irq/56-dwc_otg_19:35:213
3050699571,41cyclictest7950irq/56-dwc_otg_23:35:253
3050399574,27cyclictest0-21swapper/221:50:252
3050399573,29cyclictest0-21swapper/221:15:092
3050399572,40cyclictest31-21ksoftirqd/222:55:132
30492995711,14cyclictest0-21swapper/122:30:101
30488995722,4cyclictest0-21swapper/000:00:210
30488995718,15cyclictest0-21swapper/019:40:200
3048899571,7cyclictest4615-21aten_rbpower_vo00:20:210
3050699561,39cyclictest0-21swapper/322:37:073
30488995631,5cyclictest0-21swapper/020:30:360
3048899561,32cyclictest24019-21grep23:25:210
3048899561,32cyclictest24019-21grep23:25:210
30488995612,29cyclictest7451-21fschecks_time19:35:250
30488995610,23cyclictest0-21swapper/021:48:320
3050699553,35cyclictest7950irq/56-dwc_otg_23:18:303
3050699551,38cyclictest16206-21date20:00:083
30492995515,12cyclictest23-21ksoftirqd/122:12:471
30488995534,8cyclictest7950irq/56-dwc_otg_19:50:070
30488995533,7cyclictest7850irq/56-dwc_otg_20:25:070
30488995526,7cyclictest2026-21latency_hist22:20:070
3050699542,38cyclictest3395-21latency_hist19:25:073
3050699541,4cyclictest5709-21/usr/sbin/munin21:00:233
3050699541,38cyclictest0-21swapper/320:25:273
3050699541,38cyclictest0-21swapper/320:25:273
30492995410,12cyclictest0-21swapper/122:06:461
3048899544,27cyclictest0-21swapper/020:50:190
30488995422,5cyclictest30251-21fschecks_count21:35:250
3050699531,36cyclictest0-21swapper/321:27:513
3050399537,24cyclictest1180-21runrttasks22:30:112
3050399536,27cyclictest29-21rcuc/221:30:472
3050399532,9cyclictest23114-21ssh22:45:192
3048899534,19cyclictest7950irq/56-dwc_otg_20:40:200
3048899534,10cyclictest0-21swapper/021:20:240
30488995327,13cyclictest7850irq/56-dwc_otg_23:33:460
3048899532,30cyclictest3522-21ssh22:20:380
30488995310,7cyclictest9450irq/48-DMA08:56:170
3050699525,35cyclictest0-21swapper/322:17:043
3050699522,35cyclictest7950irq/56-dwc_otg_21:40:243
3050699521,5cyclictest18746-21/usr/sbin/munin20:05:343
3050699521,47cyclictest30742-21wget20:40:223
3050699521,45cyclictest23491-21apt-get20:20:183
3050699521,38cyclictest7950irq/56-dwc_otg_20:13:313
3050699521,34cyclictest7950irq/56-dwc_otg_19:41:083
30488995231,6cyclictest7750irq/56-dwc_otg22:30:070
3048899521,27cyclictest32617-21/usr/sbin/munin23:35:260
3050699512,46cyclictest0-21swapper/319:30:193
3050699512,30cyclictest0-21swapper/323:24:243
3050699511,3cyclictest7850irq/56-dwc_otg_19:27:313
3050699511,38cyclictest0-21swapper/323:46:563
3050399513,3cyclictest0-21swapper/222:25:202
3048899515,34cyclictest3874-21ssh23:40:200
3048899511,24cyclictest3313-21latency_hist19:25:070
3050699502,3cyclictest7950irq/56-dwc_otg_21:37:573
3050699501,3cyclictest0-21swapper/322:41:323
3050699501,3cyclictest0-21swapper/322:41:323
3048899501,41cyclictest0-21swapper/023:52:380
3050699493,33cyclictest7950irq/56-dwc_otg_19:19:233
3050699492,42cyclictest31066-21latency19:10:273
3050699491,45cyclictest16344-21cut20:00:223
3050699491,45cyclictest13618-21unixbench-2d19:50:363
3050699491,45cyclictest13618-21unixbench-2d19:50:363
3050699491,34cyclictest0-21swapper/320:31:493
3050399497,24cyclictest28975-21ssh22:12:472
3049299492,8cyclictest7850irq/56-dwc_otg_21:00:201
30492994926,12cyclictest7750irq/56-dwc_otg00:00:391
30492994911,12cyclictest7950irq/56-dwc_otg_23:35:191
30488994924,14cyclictest0-21swapper/019:30:330
3050399487,26cyclictest0-21swapper/219:10:132
3050399486,18cyclictest7750irq/56-dwc_otg20:50:212
3049299486,8cyclictest11510-21ssh23:10:201
30488994820,5cyclictest8847-21cron21:10:070
3050699471,4cyclictest4488-21ps20:55:333
3050399472,15cyclictest31-21ksoftirqd/221:05:212
3048899472,27cyclictest16750-21latency20:00:280
3048899471,24cyclictest0-21swapper/020:45:230
3050699461,42cyclictest1967-21aten_rbpower_po20:50:223
3049299466,30cyclictest0-21swapper/100:20:171
30492994611,21cyclictest0-21swapper/121:40:191
3050699451,40cyclictest0-21swapper/319:45:223
3050399451,3cyclictest0-21swapper/220:25:192
3050399451,3cyclictest0-21swapper/220:25:192
30492994525,9cyclictest7950irq/56-dwc_otg_22:25:291
299062452,36sleep00-21swapper/019:07:050
3050399441,15cyclictest0-21swapper/219:50:202
3050399441,15cyclictest0-21swapper/219:50:202
3049299447,22cyclictest0-21swapper/119:10:121
30492994413,18cyclictest221ktimersoftd/123:15:351
3048899446,25cyclictest0-21swapper/019:25:180
30488994420,4cyclictest19124-21aten_rbpower_vo22:40:210
30488994420,4cyclictest19124-21aten_rbpower_vo22:40:210
3050399436,7cyclictest31-21ksoftirqd/220:05:232
3050399433,23cyclictest31-21ksoftirqd/200:10:212
30503994320,5cyclictest11522-21sh23:10:212
3050399431,6cyclictest0-21swapper/219:40:202
3050399427,22cyclictest0-21swapper/220:40:222
3050399421,6cyclictest7950irq/56-dwc_otg_20:30:182
3049299425,25cyclictest14803-21ssh22:35:131
3049299425,13cyclictest7950irq/56-dwc_otg_23:55:081
3049299425,12cyclictest30349-21ssh23:32:271
3049299424,4cyclictest7950irq/56-dwc_otg_20:20:201
30492994218,14cyclictest7750irq/56-dwc_otg20:35:201
3050399417,19cyclictest0-21swapper/219:15:212
30492994122,5cyclictest509-21cron22:45:071
30492994122,5cyclictest509-21cron22:45:071
30492994121,6cyclictest7750irq/56-dwc_otg23:49:241
30492994120,4cyclictest7850irq/56-dwc_otg_21:36:061
3049299411,21cyclictest9551-21ssh21:50:061
3048899412,21cyclictest0-21swapper/020:27:500
3048899412,21cyclictest0-21swapper/020:27:500
3050399407,23cyclictest0-21swapper/220:20:202
3049299406,23cyclictest0-21swapper/121:20:241
3049299403,5cyclictest17329-21ls23:55:341
30492994023,7cyclictest7850irq/56-dwc_otg_21:05:271
30492994020,7cyclictest7750irq/56-dwc_otg20:10:381
30492994019,6cyclictest7750irq/56-dwc_otg19:48:481
30492994015,13cyclictest7950irq/56-dwc_otg_20:00:071
3049299400,29cyclictest1180-21runrttasks19:32:301
3050399399,5cyclictest6894-21apt19:35:072
30492993920,7cyclictest7850irq/56-dwc_otg_23:21:141
30492993915,7cyclictest0-21swapper/120:40:291
3050399388,6cyclictest31-21ksoftirqd/200:20:202
3050399381,6cyclictest31-21ksoftirqd/223:35:072
3049299387,12cyclictest8183-21ls19:35:351
3049299386,18cyclictest2236-21ssh22:20:131
3049299383,4cyclictest7850irq/56-dwc_otg_23:00:241
30492993818,6cyclictest7750irq/56-dwc_otg00:11:571
3049299381,5cyclictest25608-21cut20:25:251
3049299381,5cyclictest25608-21cut20:25:251
30492993813,11cyclictest221ktimersoftd/120:05:301
3050399375,5cyclictest7850irq/56-dwc_otg_23:25:352
3050399375,5cyclictest7850irq/56-dwc_otg_23:25:352
30503993713,14cyclictest0-21swapper/221:45:322
3050399371,24cyclictest30939-21ls21:35:352
3049299375,8cyclictest0-21swapper/119:15:201
30492993719,8cyclictest7950irq/56-dwc_otg_21:27:501
3050399367,20cyclictest0-21swapper/223:50:202
30503993616,7cyclictest7150-21aten_rbpower_cu19:35:212
3050399361,4cyclictest18193-21rm23:17:512
3049299365,6cyclictest7750irq/56-dwc_otg23:05:281
3049299364,11cyclictest0-21swapper/120:32:351
3049299363,10cyclictest0-21swapper/121:00:001
30492993623,8cyclictest221ktimersoftd/119:40:221
30492993616,8cyclictest7750irq/56-dwc_otg20:01:121
30492993611,13cyclictest0-21swapper/123:25:341
30492993611,13cyclictest0-21swapper/123:25:341
30503993522,4cyclictest11877-21sh23:50:072
3050399351,15cyclictest289322aten_rbpower_cu20:35:222
3049299356,25cyclictest0-21swapper/120:45:201
3049299351,14cyclictest7750irq/56-dwc_otg19:20:361
30503993411,5cyclictest1180-21runrttasks23:08:402
30503993410,14cyclictest0-21swapper/222:15:212
3049299344,6cyclictest0-21swapper/119:25:241
3050399337,14cyclictest0-21swapper/219:20:212
3050399337,12cyclictest7950irq/56-dwc_otg_22:20:192
3050399336,3cyclictest0-21swapper/223:01:532
30503993313,3cyclictest7850irq/56-dwc_otg_00:00:202
30503993312,5cyclictest1689-21kworker/2:023:40:202
3050399331,15cyclictest0-21swapper/221:25:262
30503993310,6cyclictest0-21swapper/222:42:152
30503993310,6cyclictest0-21swapper/222:42:152
3049299337,16cyclictest0-21swapper/119:50:211
3049299337,16cyclictest0-21swapper/119:50:211
289522334,13sleep10-21swapper/119:05:241
3050399322,7cyclictest5732-21grep21:00:252
3050399322,4cyclictest0-21swapper/220:45:352
3050399322,15cyclictest7950irq/56-dwc_otg_19:45:262
3050399321,13cyclictest7750irq/56-dwc_otg23:20:192
3049299322,4cyclictest7950irq/56-dwc_otg_20:15:351
3050399311,7cyclictest3535-21basename19:25:182
3050399311,22cyclictest16016-21latency_hist20:00:072
3050399308,11cyclictest7950irq/56-dwc_otg_20:10:322
3050399301,4cyclictest0-21swapper/220:15:282
30503993010,4cyclictest31-21ksoftirqd/223:35:262
3049299302,17cyclictest0-21swapper/120:52:031
292932305,15sleep229316-21/usr/sbin/munin19:05:302
30503992916,4cyclictest16311-21/usr/sbin/munin23:55:252
3050399291,18cyclictest4013-21grep20:55:262
3050399282,11cyclictest7850irq/56-dwc_otg_21:20:322
3050399281,17cyclictest1191-21snmpd20:01:122
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional