You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-11 - 04:57

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Thu Dec 11, 2025 00:43:35)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2084121680,5sleep22138599cyclictest22:19:032
2138399857,44cyclictest0-21swapper/019:35:210
21383998241,5cyclictest7950irq/56-dwc_otg_22:35:280
21385998117,23cyclictest7750irq/56-dwc_otg20:30:302
21383997936,31cyclictest0-21swapper/023:00:290
2138399781,14cyclictest0-21swapper/020:30:300
49542750,2sleep20-21swapper/221:58:142
21383996957,5cyclictest13-21rcuc/023:40:290
2138599685,5cyclictest7750irq/56-dwc_otg23:35:162
21383996815,38cyclictest0-21swapper/022:15:220
2138399671,42cyclictest0-21swapper/023:50:320
2138399665,48cyclictest0-21swapper/022:10:470
2138599651,51cyclictest7850irq/56-dwc_otg_21:40:392
2138399656,37cyclictest1120-21runrttasks23:20:160
2138399652,6cyclictest8697-21ssh22:45:290
21383996521,28cyclictest0-21swapper/020:45:280
21383996444,11cyclictest1120-21runrttasks00:10:300
137412640,5sleep32138699cyclictest23:34:013
21385996312,38cyclictest32101-21interrupts23:15:362
2138399624,30cyclictest22462-21aten_rbpower_cu23:45:290
2138399621,33cyclictest29857-21unixbench_multi19:30:450
2138599614,43cyclictest7950irq/56-dwc_otg_21:10:332
2138399619,28cyclictest11163-21timerandwakeup22:05:450
102782610,4sleep210279-21timerandwakeup00:10:442
2138599601,45cyclictest0-21swapper/222:14:242
209022603,13sleep10-21swapper/119:07:331
96512590,2sleep10-21swapper/120:05:371
2138699595,15cyclictest7850irq/56-dwc_otg_20:20:263
2138599597,3cyclictest0-21swapper/200:07:482
21385995910,31cyclictest0-21swapper/223:20:362
21385995910,31cyclictest0-21swapper/223:20:362
2138399595,9cyclictest0-21swapper/019:40:310
2138699583,9cyclictest7850irq/56-dwc_otg_23:20:303
2138699583,9cyclictest7850irq/56-dwc_otg_23:20:303
2138599586,4cyclictest7850irq/56-dwc_otg_20:20:372
2138599585,3cyclictest7950irq/56-dwc_otg_00:25:442
2138599583,4cyclictest7950irq/56-dwc_otg_19:50:382
2138599583,4cyclictest7950irq/56-dwc_otg_19:50:382
2138599583,43cyclictest7950irq/56-dwc_otg_22:25:162
2138599581,2cyclictest0-21swapper/222:38:222
2138399584,29cyclictest15231-21latency_hist21:30:160
2138399582,34cyclictest11336-21ssh21:25:150
2138399582,31cyclictest7763-21ssh21:20:170
21383995821,4cyclictest31286-21ssh23:15:160
21383995818,28cyclictest4747-21ssh00:04:320
21383995818,28cyclictest4747-21ssh00:04:320
2138599571,3cyclictest0-21swapper/223:13:412
2138399577,27cyclictest24585-21unixbench_singl21:40:450
2138599564,41cyclictest7950irq/56-dwc_otg_23:07:362
2138599564,37cyclictest7750irq/56-dwc_otg22:42:232
2138599562,4cyclictest7950irq/56-dwc_otg_21:35:282
2138599562,42cyclictest7950irq/56-dwc_otg_23:49:182
2138599562,42cyclictest0-21swapper/200:20:272
2138599562,3cyclictest0-21swapper/222:51:032
2138399562,32cyclictest4846-21ssh22:40:280
2138399561,44cyclictest17688-21timerwakeupswit00:20:450
21383995612,9cyclictest0-21swapper/019:55:290
2138599554,5cyclictest140-21systemd-journal21:05:552
2138599552,6cyclictest0-21swapper/220:45:162
2138599552,44cyclictest7950irq/56-dwc_otg_22:25:362
2138599552,3cyclictest0-21swapper/221:26:322
2138599551,6cyclictest0-21swapper/222:05:352
2138599551,3cyclictest7750irq/56-dwc_otg00:00:272
2138599551,3cyclictest7750irq/56-dwc_otg00:00:272
21383995527,9cyclictest0-21swapper/021:30:480
2138399552,33cyclictest0-21swapper/000:15:450
65132540,3sleep30-21swapper/322:00:323
2138699543,10cyclictest7950irq/56-dwc_otg_00:20:293
2138599545,7cyclictest7950irq/56-dwc_otg_23:44:012
2138599541,9cyclictest0-21swapper/220:45:382
2138599541,5cyclictest1881-21aten_rbpower_en19:45:332
2138599541,5cyclictest13754-21ntpq00:15:402
2138599541,3cyclictest0-21swapper/222:45:442
2138599541,10cyclictest7950irq/56-dwc_otg_19:10:342
2138399549,23cyclictest2992-21apt-key23:20:170
2138399549,23cyclictest2992-21apt-key23:20:170
21383995446,5cyclictest13-21rcuc/020:50:280
21383995430,6cyclictest7950irq/56-dwc_otg_00:05:400
2138399541,29cyclictest19947-21aten_rbpower_po20:35:310
2138599532,10cyclictest7850irq/56-dwc_otg_21:30:362
2138599531,5cyclictest7850irq/56-dwc_otg_21:21:162
2138599531,4cyclictest15268-21latency23:35:362
2138599531,10cyclictest7750irq/56-dwc_otg00:37:182
21383995330,5cyclictest7850irq/56-dwc_otg_20:00:420
2138399532,7cyclictest15595-21grep20:20:430
21383995326,10cyclictest7950irq/56-dwc_otg_19:15:430
2138599524,40cyclictest7950irq/56-dwc_otg_00:34:082
2138599524,40cyclictest7950irq/56-dwc_otg_00:34:082
2138599523,11cyclictest28867-21ssh21:46:302
2138599521,5cyclictest23557-21/usr/sbin/munin19:15:332
21383995236,4cyclictest7750irq/56-dwc_otg00:30:160
21383995226,8cyclictest30510-21cut23:55:340
2138599513,7cyclictest7050-21latency_hist20:00:162
2138599512,5cyclictest0-21swapper/221:51:522
2138599511,41cyclictest0-21swapper/223:57:592
21385995112,36cyclictest20062-21/usr/sbin/munin23:00:422
21385995112,35cyclictest20990-21unixbench_singl20:35:452
21385995111,3cyclictest27781-21ssh23:51:102
2138599511,10cyclictest7750irq/56-dwc_otg23:29:432
21383995128,12cyclictest0-21swapper/022:33:470
21383995126,9cyclictest7850irq/56-dwc_otg_21:40:160
2138399512,5cyclictest3338-21taskset21:55:420
2138399511,8cyclictest12456-21latency_hist20:15:160
21383995115,23cyclictest0-21swapper/021:07:010
2138599502,8cyclictest4038-21chrt21:15:302
2138599502,5cyclictest28806-21aten_rbpower_en19:30:312
2138399504,11cyclictest13-21rcuc/022:55:290
21383995017,11cyclictest0-21swapper/020:05:290
2138399501,27cyclictest25145-21wget19:20:320
21383995011,22cyclictest0-21swapper/021:50:470
2138599492,7cyclictest8911-21seq20:05:162
2138599492,7cyclictest31640-21grep19:35:422
2138599491,6cyclictest1757-21latency_hist19:45:172
2138599491,40cyclictest0-21swapper/222:30:492
2138599491,10cyclictest32499-1kworker/u9:122:00:212
21383994933,8cyclictest0-21swapper/021:00:440
21383994917,16cyclictest1120-21runrttasks23:26:470
2138399491,29cyclictest21707-21wget20:40:290
2138399491,29cyclictest0-21swapper/022:50:290
51682480,2sleep10-21swapper/121:58:411
2138699482,8cyclictest19965-21ssh00:25:283
2138599486,38cyclictest0-21swapper/220:25:392
2138599481,6cyclictest10817-21/usr/sbin/munin20:10:412
2138599481,3cyclictest7850irq/56-dwc_otg_22:58:482
21385994811,4cyclictest29877-21sort21:00:442
2138599481,13cyclictest0-21swapper/220:50:492
21383994824,5cyclictest7850irq/56-dwc_otg_19:30:150
2138399481,10cyclictest32263-21diskmemload21:15:170
2138699475,8cyclictest7850irq/56-dwc_otg_21:30:303
21386994725,6cyclictest26896-21latency_hist21:45:163
2138599471,9cyclictest10020-21timerwakeupswit20:05:432
2138599471,8cyclictest26177-21grep19:20:452
2138599471,7cyclictest27393-21fschecks_time20:55:362
21383994724,12cyclictest7950irq/56-dwc_otg_22:00:440
21383994721,13cyclictest7950irq/56-dwc_otg_19:50:160
2138399471,31cyclictest16913-21netstat20:25:400
2138399471,30cyclictest2469750ssh23:05:410
2138599466,5cyclictest7950irq/56-dwc_otg_20:15:312
2138599462,8cyclictest0-21swapper/219:26:162
21383994630,4cyclictest7750irq/56-dwc_otg23:30:340
269012450,5sleep32138699cyclictest23:09:133
2138699457,24cyclictest0-21swapper/319:55:303
21386994522,16cyclictest39-21ksoftirqd/320:50:283
2138499453,34cyclictest0-21swapper/119:50:261
2138499453,34cyclictest0-21swapper/119:50:261
21383994524,3cyclictest0-21swapper/023:35:590
21383994516,13cyclictest30559-21latency_hist00:40:160
2138399451,24cyclictest0-21swapper/000:32:020
2138399451,24cyclictest0-21swapper/000:32:020
2138699444,7cyclictest0-21swapper/319:45:323
2138499448,9cyclictest15610-21unixbench_singl20:20:431
2138499448,23cyclictest0-21swapper/119:25:311
2138499447,25cyclictest0-21swapper/123:20:221
2138499447,25cyclictest0-21swapper/123:20:221
2138499444,24cyclictest13696-21ls22:10:161
2138699437,24cyclictest0-21swapper/322:15:223
21384994317,5cyclictest29863-21unixbench_multi19:30:451
21384994312,7cyclictest0-21swapper/121:40:451
21384994310,23cyclictest23620-21latency_hist23:05:161
2138399431,22cyclictest0-21swapper/022:25:180
63512420,2sleep30-21swapper/322:41:113
243602420,2sleep10-21swapper/100:30:401
243602420,2sleep10-21swapper/100:30:401
2138699427,24cyclictest0-21swapper/319:35:283
2138699427,21cyclictest0-21swapper/320:10:303
2138699425,9cyclictest7750irq/56-dwc_otg19:20:303
2138699421,6cyclictest7950irq/56-dwc_otg_19:50:263
2138699421,6cyclictest7950irq/56-dwc_otg_19:50:263
2138499426,23cyclictest0-21swapper/119:40:311
21384994219,5cyclictest17877-21latency_hist20:30:161
21383994217,12cyclictest27078-21/usr/sbin/munin20:55:450
2138699417,21cyclictest39-21ksoftirqd/322:55:293
2138699413,10cyclictest0-21swapper/323:50:303
2138699412,9cyclictest7993-21aten_rbpower_po21:20:323
2138499419,8cyclictest0-21swapper/100:05:301
2138499418,23cyclictest0-21swapper/120:45:301
2138499418,23cyclictest0-21swapper/100:15:311
2138499417,24cyclictest0-21swapper/121:26:401
2138499416,24cyclictest1120-21runrttasks20:35:301
21384994129,4cyclictest7750irq/56-dwc_otg23:40:291
21384994114,6cyclictest0-21swapper/119:45:471
21383994123,4cyclictest7750irq/56-dwc_otg22:20:300
2138399411,19cyclictest28088-21/usr/sbin/munin21:45:400
2138699408,22cyclictest0-21swapper/300:05:333
2138699406,24cyclictest27779-21ssh23:10:303
2138499404,31cyclictest7950irq/56-dwc_otg_23:45:271
2138399407,19cyclictest13-21rcuc/019:50:320
2138399407,19cyclictest13-21rcuc/019:50:320
21383994017,17cyclictest0-21swapper/019:11:240
21383994016,14cyclictest0-21swapper/020:18:350
2138499399,5cyclictest0-21swapper/122:54:131
2138499394,26cyclictest4756-21kworker/1:223:25:301
2138699387,23cyclictest0-21swapper/320:15:303
2138699386,4cyclictest0-21swapper/300:31:403
2138699386,4cyclictest0-21swapper/300:31:403
2138699386,18cyclictest7950irq/56-dwc_otg_22:25:343
2138699386,13cyclictest0-21swapper/323:25:393
2138699382,5cyclictest1219150ssh00:14:143
2138499386,5cyclictest435-21seq23:15:461
2138499386,22cyclictest0-21swapper/120:00:321
2138499384,21cyclictest7750irq/56-dwc_otg00:20:401
2138499383,24cyclictest7750irq/56-dwc_otg22:46:011
2138499382,7cyclictest9966-21ssh00:10:401
21384993820,5cyclictest32240-21cron21:10:161
21384993820,11cyclictest0-21swapper/122:35:461
21384993813,4cyclictest0-21swapper/100:00:421
21384993813,4cyclictest0-21swapper/100:00:421
2138699371,22cyclictest2850-21ls21:55:353
2138499379,6cyclictest24311-21unixbench_multi19:15:431
2138499375,4cyclictest23-21ksoftirqd/120:50:281
2138499375,22cyclictest7750irq/56-dwc_otg21:20:161
2138499375,22cyclictest7750irq/56-dwc_otg00:40:161
21384993713,6cyclictest24242-21cut23:05:351
2138499371,24cyclictest0-21swapper/122:16:141
21384993710,6cyclictest17497-21awk22:15:161
2138699361,8cyclictest7750irq/56-dwc_otg22:45:283
2138499362,25cyclictest7750irq/56-dwc_otg20:45:151
2138699352,23cyclictest7750irq/56-dwc_otg22:10:473
2138699352,14cyclictest7850irq/56-dwc_otg_22:30:373
21386993520,4cyclictest39-21ksoftirqd/300:05:163
21386993520,4cyclictest39-21ksoftirqd/300:05:163
2138699351,6cyclictest19203-21grep20:30:453
2138699351,22cyclictest27421-21ssh00:35:353
2138499359,4cyclictest0-21swapper/122:30:371
2138499359,13cyclictest25727-21/usr/sbin/munin22:25:341
2138499355,18cyclictest7750irq/56-dwc_otg00:29:261
2138499354,11cyclictest7750irq/56-dwc_otg23:56:331
2138499353,23cyclictest7750irq/56-dwc_otg22:20:351
2138499352,2cyclictest0-21swapper/122:59:321
2138499352,25cyclictest7750irq/56-dwc_otg22:45:161
2138499352,12cyclictest0-21swapper/121:00:291
2138499351,22cyclictest19650-21ls20:35:161
21384993511,4cyclictest712-21sh21:10:361
160632351,2sleep10-21swapper/121:30:401
2138699345,5cyclictest7950irq/56-dwc_otg_21:25:273
2138699344,14cyclictest7850irq/56-dwc_otg_21:48:433
2138699343,13cyclictest0-21swapper/323:45:263
2138699341,9cyclictest7950irq/56-dwc_otg_23:40:383
21386993410,5cyclictest0-21swapper/322:20:363
2138499344,23cyclictest0-21swapper/119:55:301
2138499343,4cyclictest0-21swapper/123:14:051
2138499343,22cyclictest7750irq/56-dwc_otg23:50:471
2138499342,25cyclictest7750irq/56-dwc_otg23:31:361
2138499341,9cyclictest22735-21mkdir19:12:261
21384993414,10cyclictest9710-21ssh22:05:061
2138699337,23cyclictest0-21swapper/323:55:293
2138699337,11cyclictest7950irq/56-dwc_otg_21:10:303
2138699332,22cyclictest0-21swapper/320:43:453
2138699332,16cyclictest7850irq/56-dwc_otg_23:00:353
2138499336,19cyclictest7750irq/56-dwc_otg20:10:441
2138499335,20cyclictest7750irq/56-dwc_otg23:36:251
2138499333,21cyclictest7750irq/56-dwc_otg21:39:391
2138499332,8cyclictest25147-21aten_rbpower_vo19:20:321
2138499332,21cyclictest7750irq/56-dwc_otg21:45:401
21384993315,11cyclictest31801-21ntpq21:50:401
2138499331,21cyclictest0-21swapper/121:25:161
17282330,2sleep30-21swapper/322:35:393
306232321,4sleep10-21swapper/119:35:191
2138699323,17cyclictest7950irq/56-dwc_otg_22:55:113
2138699322,20cyclictest0-21swapper/319:19:383
2138699321,4cyclictest7850irq/56-dwc_otg_19:25:343
2138699321,3cyclictest7950irq/56-dwc_otg_21:15:303
2138699321,25cyclictest8240-21timerwakeupswit20:00:453
2138699319,5cyclictest0-21swapper/323:15:353
2138699319,10cyclictest0-21swapper/321:55:073
2138699314,5cyclictest7850irq/56-dwc_otg_21:05:333
2138699314,18cyclictest7950irq/56-dwc_otg_20:35:303
2138699312,19cyclictest0-21swapper/320:25:383
2138699311,7cyclictest15199-21/usr/sbin/munin23:35:353
21386993113,4cyclictest11862-1kworker/u9:021:35:293
2138699306,15cyclictest0-21swapper/319:10:303
2138699305,5cyclictest7950irq/56-dwc_otg_19:35:163
2138699302,21cyclictest7950irq/56-dwc_otg_19:40:303
21386993012,12cyclictest381ktimersoftd/322:10:123
2138699301,19cyclictest0-21swapper/300:15:313
2138699301,17cyclictest9021-21/usr/sbin/munin20:05:393
210612303,15sleep30-21swapper/319:09:373
2138699291,6cyclictest27179-21aten_rbpower_po20:55:333
2138699291,4cyclictest7950irq/56-dwc_otg_20:45:443
136162290,3sleep10-21swapper/120:15:441
2138699282,5cyclictest7750irq/56-dwc_otg21:00:353
2138499283,9cyclictest23-21ksoftirqd/120:55:301
195632273,16sleep00-21swapper/019:05:250
208482253,14sleep20-21swapper/219:06:492
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional