You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-26 - 05:04

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Wed Aug 26, 2026 00:43:42)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
35629910646,16cyclictest4910-21taskset23:35:230
3562991021,53cyclictest0-21swapper/021:15:240
3564991004,69cyclictest7950irq/56-dwc_otg_21:20:372
356499964,85cyclictest15362-21fschecks_time21:10:332
356499962,76cyclictest22230-21sh00:35:282
234552960,5sleep131517-21systemd-journal22:00:111
96932950,5sleep0356299cyclictest20:55:320
3562999423,14cyclictest9-21ksoftirqd/000:35:230
3562999415,49cyclictest0-21swapper/000:05:370
3562999339,25cyclictest15028-21taskset21:10:260
3562999138,20cyclictest0-21swapper/000:10:280
356299883,50cyclictest0-21swapper/021:40:280
356499873,78cyclictest1705-21sh00:10:302
119792840,1sleep30-21swapper/321:00:343
90312830,3sleep29010-21ssh23:00:302
356499833,73cyclictest7604-21sh21:40:282
356499832,74cyclictest30439-21ssh00:05:392
356299815,33cyclictest0-21swapper/023:15:220
356299815,33cyclictest0-21swapper/023:15:220
356299796,20cyclictest0-21swapper/023:20:240
356299785,16cyclictest7950irq/56-dwc_otg_21:20:350
3562997837,24cyclictest0-21swapper/019:50:240
356299773,11cyclictest0-21swapper/022:55:230
284952770,2sleep20-21swapper/200:03:472
356299736,46cyclictest0-21swapper/020:40:240
356299736,46cyclictest0-21swapper/020:40:240
356299732,32cyclictest0-21swapper/021:45:220
356399724,16cyclictest30384-21ntp_states00:05:361
356399708,9cyclictest15319-21ssh21:10:321
3562997025,4cyclictest0-21swapper/022:50:230
3565996924,28cyclictest0-21swapper/321:10:333
3562996947,13cyclictest101ktimersoftd/000:00:100
356299677,29cyclictest12796-21sh23:45:110
356299671,31cyclictest0-21swapper/000:30:250
356399665,30cyclictest7750irq/56-dwc_otg21:20:351
356299661,24cyclictest0-21swapper/020:20:240
3565996519,22cyclictest0-21swapper/300:05:373
356299651,10cyclictest0-21swapper/022:05:230
356299651,10cyclictest0-21swapper/022:05:230
356499644,46cyclictest26927-21ssh22:03:592
356499643,5cyclictest7850irq/56-dwc_otg_23:20:122
356499643,5cyclictest7850irq/56-dwc_otg_23:20:122
3563996414,27cyclictest0-21swapper/121:40:281
356299646,5cyclictest0-21swapper/022:00:230
212932630,5sleep2356499cyclictest21:56:132
3562996231,18cyclictest14646-21diskmemload22:30:250
3562996223,27cyclictest25453-21/usr/sbin/munin22:40:370
356499612,47cyclictest7850irq/56-dwc_otg_20:30:112
356499611,43cyclictest0-21swapper/221:25:222
3562996136,8cyclictest7750irq/56-dwc_otg21:35:230
3562996136,8cyclictest7750irq/56-dwc_otg21:35:230
356299613,34cyclictest0-21swapper/019:45:340
3562996039,4cyclictest7950irq/56-dwc_otg_21:50:240
3562996033,6cyclictest10729-21grep00:20:400
3562996031,7cyclictest7850irq/56-dwc_otg_20:30:110
356299601,41cyclictest9-21ksoftirqd/000:20:110
356299601,41cyclictest9-21ksoftirqd/000:20:110
3562996012,8cyclictest0-21swapper/021:25:230
356499594,4cyclictest5272-21/usr/sbin/munin22:55:362
356499593,5cyclictest15553-21awk21:50:222
356499592,41cyclictest3316-21sed20:35:402
356499591,41cyclictest7750irq/56-dwc_otg22:52:032
356399594,25cyclictest0-21swapper/100:35:271
3562995949,4cyclictest0-21swapper/020:05:250
3562995938,14cyclictest101ktimersoftd/000:00:380
3562995937,10cyclictest3653-21aten_rbpower_en19:10:250
3562995917,4cyclictest0-21swapper/020:10:230
3562995916,25cyclictest20324-21fschecks_time19:55:280
17352593,6sleep20-21swapper/219:05:192
168912590,5sleep216877-21ssh23:10:252
356599582,31cyclictest7950irq/56-dwc_otg_21:20:353
356499584,44cyclictest7750irq/56-dwc_otg00:35:002
356499583,4cyclictest9617-21aten_rbpower_po00:20:262
356299585,14cyclictest23408-21latency_hist20:05:110
30522580,2sleep00-21swapper/023:32:250
356499576,5cyclictest1180-21runrttasks23:54:562
356399575,33cyclictest7850irq/56-dwc_otg_00:10:291
356299574,29cyclictest13-21rcuc/021:55:230
356499566,19cyclictest7950irq/56-dwc_otg_19:10:242
356499562,5cyclictest9772-21ntpq23:40:332
356499561,45cyclictest0-21swapper/223:34:282
3564995612,40cyclictest5659-21ls20:45:122
3564995612,40cyclictest5659-21ls20:45:122
3562995631,5cyclictest17278-21runrttasks23:50:250
356299561,29cyclictest3311-21seq20:35:400
3565995514,22cyclictest22235-21ssh00:35:283
3565995510,9cyclictest27030-21kworker/3:100:10:283
356499554,5cyclictest7850irq/56-dwc_otg_21:05:422
356499554,40cyclictest7950irq/56-dwc_otg_23:35:322
356499552,5cyclictest0-21swapper/222:40:362
356499551,43cyclictest0-21swapper/220:05:262
3564995514,38cyclictest3712-21acpi22:15:222
3562995528,7cyclictest12246-21cron23:05:100
3562995518,4cyclictest0-21swapper/021:30:230
356299551,30cyclictest15442-21cat19:40:380
356299551,27cyclictest4066-21fschecks_time22:15:290
177062550,1sleep30-21swapper/300:30:183
356499543,42cyclictest7950irq/56-dwc_otg_23:20:352
356499541,5cyclictest3065-21latency_hist21:35:122
356299546,32cyclictest0-21swapper/020:15:160
3562995427,7cyclictest29762-21ssh22:45:390
3562995427,15cyclictest13139-21basename21:05:330
356299541,33cyclictest5682-21grep19:15:290
356299541,33cyclictest5682-21grep19:15:290
356299541,29cyclictest414-21munin-plugin-st23:30:100
356299541,29cyclictest21058-21chrt22:35:320
277972540,2sleep3356599cyclictest22:05:123
3565995315,19cyclictest7950irq/56-dwc_otg_21:40:293
356499531,4cyclictest0-21swapper/223:29:022
356499531,45cyclictest0-21swapper/222:32:142
3564995311,39cyclictest31517-21systemd-journal20:00:102
356499531,11cyclictest15130-21ssh21:50:022
356299533,31cyclictest9-21ksoftirqd/022:20:290
356299532,25cyclictest3218150ssh22:10:260
3562995318,9cyclictest7950irq/56-dwc_otg_00:25:230
87232520,17sleep09-21ksoftirqd/020:50:450
356499529,28cyclictest0-21swapper/200:16:412
356499529,28cyclictest0-21swapper/200:16:412
356499525,4cyclictest7850irq/56-dwc_otg_22:13:062
356499524,4cyclictest7850irq/56-dwc_otg_22:35:272
356499523,3cyclictest7950irq/56-dwc_otg_22:25:262
356499521,8cyclictest0-21swapper/222:45:582
356499521,5cyclictest7492-21latency_hist20:50:112
356499521,5cyclictest16452-21ssh00:28:252
3564995212,37cyclictest7684-21cut19:20:292
3564995210,32cyclictest14646-21diskmemload23:45:512
356299521,37cyclictest0-21swapper/022:25:300
356499515,38cyclictest7950irq/56-dwc_otg_21:19:292
356499514,37cyclictest7950irq/56-dwc_otg_23:06:332
356499512,6cyclictest29796-21ssh22:06:422
356499512,6cyclictest29796-21ssh22:06:422
356499512,6cyclictest14632-21aten_rbpower_vo19:40:252
356499511,40cyclictest0-21swapper/223:57:292
356499511,3cyclictest7850irq/56-dwc_otg_22:20:452
356399512,12cyclictest0-21swapper/123:05:221
3562995116,24cyclictest9299-21cut19:25:280
356499504,43cyclictest0-21swapper/220:30:282
356499502,8cyclictest7950irq/56-dwc_otg_21:00:112
356499501,5cyclictest19923-21latency_hist19:55:112
3562995014,25cyclictest12381-21latency_hist19:35:110
356299501,37cyclictest0-21swapper/023:13:080
356499498,26cyclictest0-21swapper/219:30:252
356499494,37cyclictest7850irq/56-dwc_otg_20:02:402
356499491,7cyclictest11385-21aten_rbpower_vo21:00:252
356499491,5cyclictest25741-21fschecks_time20:10:292
3564994910,36cyclictest29252-21aten_rbpower_po20:20:252
356399497,5cyclictest7750irq/56-dwc_otg20:25:231
356399496,8cyclictest7950irq/56-dwc_otg_20:30:221
3563994919,5cyclictest7850irq/56-dwc_otg_23:20:241
3562994928,5cyclictest101ktimersoftd/020:35:110
356499482,6cyclictest0-21swapper/219:35:252
356499480,8cyclictest7950irq/56-dwc_otg_19:48:342
356399482,8cyclictest7750irq/56-dwc_otg00:20:231
356299481,44cyclictest0-21swapper/020:45:240
356499472,7cyclictest3979-21grep21:35:332
356499472,7cyclictest3979-21grep21:35:332
356499471,8cyclictest7881-21fschecks_time20:50:342
356299471,25cyclictest0-21swapper/019:20:230
3562994711,5cyclictest9450irq/48-DMA08:56:170
356499467,24cyclictest0-21swapper/220:15:162
356499462,5cyclictest0-21swapper/219:15:382
356499462,5cyclictest0-21swapper/219:15:382
356399467,21cyclictest7950irq/56-dwc_otg_21:40:121
356399467,21cyclictest7950irq/56-dwc_otg_21:40:121
356399463,5cyclictest7750irq/56-dwc_otg22:45:221
356299467,30cyclictest0-21swapper/023:45:310
3562994619,7cyclictest14372-21latency_hist19:40:110
356499457,24cyclictest0-21swapper/219:25:242
356399451,7cyclictest7750irq/56-dwc_otg00:15:331
356399451,7cyclictest7750irq/56-dwc_otg00:15:331
3562994523,4cyclictest101ktimersoftd/023:05:270
356399446,5cyclictest0-21swapper/121:30:241
30642432,35sleep00-21swapper/019:07:110
356399428,4cyclictest0-21swapper/122:50:331
356599412,8cyclictest7950irq/56-dwc_otg_20:25:233
356599401,32cyclictest0-21swapper/322:19:113
356399406,27cyclictest7950irq/56-dwc_otg_23:35:211
356399404,26cyclictest0-21swapper/122:12:351
277042400,1sleep30-21swapper/323:23:183
201482400,1sleep10-21swapper/100:32:371
356399395,5cyclictest7850irq/56-dwc_otg_22:30:171
356399393,5cyclictest0-21swapper/121:50:241
356399392,8cyclictest14201-21tail21:05:471
356399392,28cyclictest0-21swapper/120:00:351
356399391,9cyclictest0-21swapper/123:35:101
3563993912,6cyclictest7750irq/56-dwc_otg22:55:361
356399386,6cyclictest0-21swapper/100:25:401
356399383,11cyclictest0-21swapper/121:15:241
3563993819,5cyclictest27573-21ssh22:05:111
356399381,18cyclictest0-21swapper/123:48:091
3565993725,4cyclictest7950irq/56-dwc_otg_22:45:313
3565993723,5cyclictest24665-21ssh23:59:193
3565993716,13cyclictest19401-21ssh23:52:133
356399377,26cyclictest0-21swapper/121:00:161
3563993721,4cyclictest9018-21sh23:40:221
3563993717,9cyclictest30437-21sh21:28:471
356399371,24cyclictest24650-21ls22:40:251
356599363,20cyclictest37-21rcuc/322:20:213
356599363,15cyclictest0-21swapper/321:35:113
3565993619,8cyclictest7850irq/56-dwc_otg_23:25:243
3565993617,4cyclictest27440-21wget20:15:253
3565993611,13cyclictest0-21swapper/300:25:293
356399368,6cyclictest15800-21gpgv22:30:111
356399366,5cyclictest7850irq/56-dwc_otg_20:10:111
356599352,27cyclictest0-21swapper/321:49:563
356599351,26cyclictest9021-21ls23:00:303
356399359,4cyclictest0-21swapper/122:20:281
356399356,24cyclictest0-21swapper/119:45:251
356399355,7cyclictest7850irq/56-dwc_otg_20:40:281
356399355,7cyclictest7850irq/56-dwc_otg_20:40:281
356399355,21cyclictest11468-21ssh21:45:241
356399351,7cyclictest20029-21/usr/sbin/munin19:55:351
356399351,7cyclictest0-21swapper/122:35:221
3563993514,4cyclictest22554-21unixbench-2d23:55:391
3563993510,4cyclictest7850irq/56-dwc_otg_20:50:241
356599342,6cyclictest7950irq/56-dwc_otg_22:25:243
3565993419,4cyclictest11692-21switchtime19:30:383
3565993414,12cyclictest6001-21ssh23:35:383
3565993413,7cyclictest381ktimersoftd/321:55:293
3565993413,14cyclictest298392chrt21:27:403
356599341,24cyclictest26074-21latency00:00:323
356599341,23cyclictest0-21swapper/320:05:253
3565993412,11cyclictest381ktimersoftd/321:35:283
3565993412,11cyclictest381ktimersoftd/321:35:283
356599341,16cyclictest0-21swapper/323:31:373
356399343,24cyclictest14178-21latency_hist19:40:111
356399341,5cyclictest25797-21fschecks_count00:00:291
3563993414,4cyclictest221ktimersoftd/119:40:121
356599338,14cyclictest7850irq/56-dwc_otg_20:05:103
3565993327,4cyclictest22994-21latency_hist21:20:113
3565993324,6cyclictest27243-21latency_hist20:15:123
356599331,23cyclictest28327-21ls22:45:113
3565993310,15cyclictest3561-21cyclictest23:06:293
356399339,4cyclictest0-21swapper/123:52:441
356399338,3cyclictest0-21swapper/123:01:561
356399337,12cyclictest7950irq/56-dwc_otg_22:15:401
356399335,4cyclictest0-21swapper/120:15:401
3563993316,5cyclictest22954-21ssh23:17:101
3563993316,5cyclictest22954-21ssh23:17:101
3563993312,9cyclictest14646-21diskmemload23:10:251
356399331,22cyclictest28339-21ls22:05:301
356399331,22cyclictest28339-21ls22:05:301
3563993310,13cyclictest1213-21lldpd20:55:391
21402335,18sleep12216-21/usr/sbin/munin19:05:311
356599325,11cyclictest7850irq/56-dwc_otg_19:20:243
356599322,16cyclictest7850irq/56-dwc_otg_19:45:113
3565993212,4cyclictest21272-21/usr/sbin/munin23:15:293
3565993212,4cyclictest21272-21/usr/sbin/munin23:15:293
356399327,11cyclictest0-21swapper/123:28:421
356399323,13cyclictest7950irq/56-dwc_otg_19:20:121
356399323,13cyclictest7950irq/56-dwc_otg_19:20:121
356399322,5cyclictest30316-21unixbench_singl20:20:391
356399321,6cyclictest4683-21unixbench_multi19:10:391
3563993215,3cyclictest0-21swapper/119:30:251
356599319,4cyclictest7850irq/56-dwc_otg_23:15:113
356599319,3cyclictest0-21swapper/322:07:353
356599319,3cyclictest0-21swapper/322:07:353
356599319,14cyclictest0-21swapper/319:55:393
356599316,6cyclictest1517-21sed22:50:413
356599315,4cyclictest7950irq/56-dwc_otg_22:40:113
356599312,15cyclictest0-21swapper/321:10:113
3565993117,11cyclictest0-21swapper/320:40:113
3565993112,4cyclictest14189-21awk19:40:103
356599311,24cyclictest0-21swapper/300:19:433
356599311,24cyclictest0-21swapper/300:19:433
3565993111,14cyclictest10105-21/usr/sbin/munin20:55:393
356599307,11cyclictest0-21swapper/322:10:263
356599303,13cyclictest7950irq/56-dwc_otg_22:55:353
356599302,20cyclictest0-21swapper/321:50:363
356599302,18cyclictest0-21swapper/322:30:403
3565993018,4cyclictest7950irq/56-dwc_otg_20:20:363
356599301,15cyclictest7950irq/56-dwc_otg_19:25:373
3565993010,4cyclictest0-21swapper/300:20:233
356399307,5cyclictest4750irq/17-3f00b88019:25:371
356399304,7cyclictest7850irq/56-dwc_otg_19:50:211
3563993012,10cyclictest25775-21perl20:10:291
356599299,6cyclictest31517-21systemd-journal19:11:083
356599297,19cyclictest0-21swapper/319:45:253
356599291,20cyclictest0-21swapper/320:41:183
356599291,20cyclictest0-21swapper/320:41:183
356599291,14cyclictest7950irq/56-dwc_otg_20:50:433
356599291,14cyclictest0-21swapper/319:19:043
356599291,14cyclictest0-21swapper/319:19:043
356599291,12cyclictest0-21swapper/323:40:413
356399291,4cyclictest8865-21sed19:25:101
356599282,4cyclictest0-21swapper/323:46:043
356399282,13cyclictest2136-21/usr/sbin/munin20:35:291
3563992819,6cyclictest6009-21fschecks_count20:45:291
30322283,15sleep30-21swapper/319:06:463
356599271,19cyclictest0-21swapper/320:46:273
356599271,15cyclictest0-21swapper/320:30:283
356599271,15cyclictest0-21swapper/319:51:123
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional