You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-25 - 10:14

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Wed Mar 25, 2026 00:43:39)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2703621740,5sleep2571299cyclictest23:19:042
155492960,30sleep30-21swapper/321:45:453
149532860,5sleep2571299cyclictest21:05:092
5710998232,11cyclictest7850irq/56-dwc_otg_23:35:230
5710997910,47cyclictest15982-21grep19:35:390
571299783,11cyclictest0-21swapper/219:10:122
571299783,11cyclictest0-21swapper/219:10:122
571099787,57cyclictest28648-21grep22:40:390
65742770,2sleep10-21swapper/121:35:321
324082740,2sleep20-21swapper/200:04:542
5712997211,11cyclictest7850irq/56-dwc_otg_22:45:222
571099727,27cyclictest0-21swapper/023:05:230
571099727,27cyclictest0-21swapper/023:05:230
571099725,46cyclictest0-21swapper/023:40:210
571099719,42cyclictest12363-21sed23:00:350
5710997062,6cyclictest0-21swapper/021:42:550
571099702,47cyclictest149-21systemd-journal00:00:090
571099697,45cyclictest13015-21wget19:30:220
571099694,14cyclictest0-21swapper/022:15:200
571099684,30cyclictest0-21swapper/019:40:200
5710996813,18cyclictest7750irq/56-dwc_otg21:45:150
571299678,41cyclictest0-21swapper/223:25:502
571099676,49cyclictest149-21systemd-journal23:22:240
571299666,6cyclictest7950irq/56-dwc_otg_21:30:372
571099664,47cyclictest562-21aten_rbpower_cu00:05:230
571099664,46cyclictest0-21swapper/020:35:280
5710996610,36cyclictest318-21ssh23:25:320
229532660,6sleep0571099cyclictest21:55:280
5712996510,37cyclictest0-21swapper/221:54:372
571099655,20cyclictest25537-21ssh21:20:220
571099655,20cyclictest25537-21ssh21:20:220
571099654,44cyclictest0-21swapper/023:54:540
5710996512,10cyclictest0-21swapper/019:15:220
186592650,2sleep10-21swapper/123:47:301
5710996413,32cyclictest15587-21ls21:05:310
571099640,46cyclictest18566-21ssh21:11:080
100962640,2sleep20-21swapper/221:40:242
571299632,4cyclictest7850irq/56-dwc_otg_21:22:192
571299632,4cyclictest7850irq/56-dwc_otg_21:22:192
571099635,41cyclictest29086-21fschecks_time00:00:250
571099634,42cyclictest0-21swapper/000:36:120
571099632,10cyclictest0-21swapper/022:05:230
571099632,10cyclictest0-21swapper/022:05:230
571299629,42cyclictest7950irq/56-dwc_otg_00:25:262
571099629,49cyclictest0-21swapper/021:30:260
571099625,44cyclictest0-21swapper/023:48:560
571099624,47cyclictest0-21swapper/022:34:130
571099621,43cyclictest0-21swapper/000:19:470
571299618,5cyclictest7950irq/56-dwc_otg_20:30:092
571299613,10cyclictest0-21swapper/220:50:212
5712996117,29cyclictest25172-21cron21:20:092
571099617,36cyclictest23224-21ssh22:35:200
571099617,36cyclictest23224-21ssh22:35:200
571099616,40cyclictest13483-21fschecks_count21:00:270
5710996114,27cyclictest0-21swapper/000:30:280
5710996114,27cyclictest0-21swapper/000:30:280
571099606,40cyclictest0-21swapper/021:36:220
571099603,41cyclictest13733-21netstat00:20:320
571299594,5cyclictest7850irq/56-dwc_otg_23:40:342
571299593,10cyclictest7435-21runrttasks23:34:522
571099597,36cyclictest0-21swapper/020:00:270
571099597,36cyclictest0-21swapper/020:00:270
571099597,28cyclictest21844-21rm23:12:100
571099596,36cyclictest0-21swapper/023:31:520
571099596,36cyclictest0-21swapper/021:25:200
571099595,34cyclictest22209-21cut19:55:210
5710995921,6cyclictest7850irq/56-dwc_otg_22:50:230
571099591,43cyclictest25778-21/usr/sbin/munin20:05:310
5710995912,43cyclictest11045-21cron23:00:090
231542590,6sleep1571199cyclictest22:35:151
231542590,6sleep1571199cyclictest22:35:151
5713995826,10cyclictest7850irq/56-dwc_otg_21:20:193
5713995826,10cyclictest7850irq/56-dwc_otg_21:20:193
571299583,9cyclictest7950irq/56-dwc_otg_22:18:142
571299581,7cyclictest4992-21ssh00:10:282
571099583,45cyclictest0-21swapper/019:24:590
5710995830,22cyclictest5709-21cyclictest19:10:120
5710995830,22cyclictest5709-21cyclictest19:10:120
571099582,53cyclictest149-21systemd-journal20:21:470
571099581,36cyclictest0-21swapper/022:20:190
571299572,46cyclictest0-21swapper/223:03:342
571099578,37cyclictest18173-21threads00:25:370
5710995726,8cyclictest7750irq/56-dwc_otg00:10:220
571099572,41cyclictest26431-21ssh23:17:580
571099572,13cyclictest0-21swapper/019:50:210
571099571,34cyclictest0-21swapper/022:25:220
52792573,12sleep10-21swapper/119:08:151
571299568,4cyclictest0-21swapper/222:23:122
571299563,8cyclictest917-21snmpd22:50:242
571299562,11cyclictest25848-21wget20:05:232
571299561,4cyclictest7750irq/56-dwc_otg22:09:462
571299561,4cyclictest7750irq/56-dwc_otg22:09:462
571099565,41cyclictest2389-21taskset20:30:220
571099563,30cyclictest1725-21grep20:25:370
5710995612,34cyclictest3842-21sshd22:10:400
38392560,2sleep10-21swapper/121:32:141
571299556,8cyclictest7750irq/56-dwc_otg23:35:132
571299555,8cyclictest7950irq/56-dwc_otg_00:30:542
571299555,8cyclictest7950irq/56-dwc_otg_00:30:542
571299555,4cyclictest7850irq/56-dwc_otg_21:58:492
571299554,5cyclictest7950irq/56-dwc_otg_19:25:082
571299552,5cyclictest23407-21/usr/sbin/munin22:35:242
571299552,5cyclictest23407-21/usr/sbin/munin22:35:242
571299552,45cyclictest0-21swapper/221:47:342
571299551,10cyclictest0-21swapper/221:36:462
571099554,42cyclictest0-21swapper/021:52:440
571099551,40cyclictest0-21swapper/020:16:460
571099551,14cyclictest27954-21/usr/sbin/munin22:00:390
571299546,7cyclictest561-21aten_rbpower_cu00:05:232
571299543,8cyclictest7950irq/56-dwc_otg_22:10:222
571299541,6cyclictest32377-21ssh21:27:492
5712995410,40cyclictest0-21swapper/222:00:362
5712995410,3cyclictest0-21swapper/222:31:402
571099549,31cyclictest0-21swapper/022:49:530
571099542,41cyclictest0-21swapper/019:27:410
571299535,8cyclictest7950irq/56-dwc_otg_19:30:282
571299533,6cyclictest0-21swapper/220:20:202
571299533,3cyclictest7750irq/56-dwc_otg22:43:172
571299532,5cyclictest29179-21/usr/sbin/munin23:20:372
571299531,3cyclictest0-21swapper/200:35:312
5710995341,3cyclictest0-21swapper/021:15:210
571099533,37cyclictest0-21swapper/020:46:410
571099533,37cyclictest0-21swapper/020:46:410
5710995323,6cyclictest11175-21ls20:55:080
571099532,34cyclictest0-21swapper/020:40:200
5710995317,20cyclictest13029-21latency_hist21:00:090
571299525,7cyclictest7950irq/56-dwc_otg_23:06:252
571299525,7cyclictest7950irq/56-dwc_otg_23:06:252
571299523,5cyclictest0-21swapper/223:55:212
571299521,5cyclictest10000-21ssh22:58:152
571299521,3cyclictest7950irq/56-dwc_otg_23:46:152
571099526,33cyclictest0-21swapper/020:10:290
5713995124,14cyclictest19664-21/usr/sbin/munin23:10:343
571299515,6cyclictest0-21swapper/220:10:252
571299511,7cyclictest0-21swapper/221:05:312
571299511,6cyclictest23350-21runrttasks23:14:552
571299511,5cyclictest15417-21ssh00:22:392
571299511,4cyclictest17018-21aten_rbpower_en21:10:232
571299511,2cyclictest0-21swapper/200:19:532
5710995113,23cyclictest0-21swapper/019:45:220
53632513,12sleep00-21swapper/019:09:190
571299504,34cyclictest0-21swapper/222:28:542
571299503,8cyclictest11674-21fschecks_count20:55:242
571299502,8cyclictest25125-21grep20:00:382
571299502,8cyclictest25125-21grep20:00:382
571299502,5cyclictest0-21swapper/220:30:252
571299502,3cyclictest7950irq/56-dwc_otg_20:35:332
571299501,3cyclictest0-21swapper/219:45:372
571299501,3cyclictest0-21swapper/219:38:492
571299501,10cyclictest11436-21sort19:25:262
571199504,6cyclictest0-21swapper/120:25:211
571399493,25cyclictest7950irq/56-dwc_otg_19:10:123
571399493,25cyclictest7950irq/56-dwc_otg_19:10:123
571299498,5cyclictest22401-1kworker/u9:023:54:042
571299492,9cyclictest0-21swapper/219:50:312
571199497,28cyclictest0-21swapper/119:40:141
571199495,7cyclictest0-21swapper/120:35:211
5711994916,7cyclictest0-21swapper/119:20:221
571399484,9cyclictest0-21swapper/322:45:213
5711994813,8cyclictest23-21ksoftirqd/100:05:351
571299472,3cyclictest7950irq/56-dwc_otg_20:19:152
571299471,11cyclictest8694-21head19:15:372
571199476,18cyclictest5709-21cyclictest21:15:251
571199472,12cyclictest7750irq/56-dwc_otg22:40:211
571199472,10cyclictest0-21swapper/120:50:201
571399467,24cyclictest0-21swapper/320:45:223
571399467,24cyclictest0-21swapper/320:45:223
571299462,7cyclictest7950irq/56-dwc_otg_19:55:112
45162460,3sleep10-21swapper/123:30:311
571399455,9cyclictest7850irq/56-dwc_otg_20:55:183
571299451,10cyclictest7252-21chrt20:41:222
571199452,32cyclictest0-21swapper/122:10:221
5711994519,5cyclictest10681-21sh00:16:341
5711994510,7cyclictest61-21kswapd022:30:201
42512450,5sleep3571399cyclictest00:09:583
571399442,15cyclictest30818-21ssh22:05:233
571399442,15cyclictest30818-21ssh22:05:233
5713994416,13cyclictest6728-21aten_rbpower_vo22:15:233
571199443,27cyclictest0-21swapper/119:10:121
571199443,27cyclictest0-21swapper/119:10:121
5711994423,4cyclictest2951050wget20:15:211
571199441,20cyclictest7950irq/56-dwc_otg_19:45:251
571199439,25cyclictest0-21swapper/123:40:201
571199431,7cyclictest7750irq/56-dwc_otg21:45:221
5713994223,4cyclictest15887-21tune2fs23:05:273
5713994223,4cyclictest15887-21tune2fs23:05:273
571299428,4cyclictest18338-21latency_hist19:45:102
571199428,25cyclictest0-21swapper/121:00:231
571199426,24cyclictest7750irq/56-dwc_otg23:10:101
571199421,6cyclictest7750irq/56-dwc_otg23:25:221
5711994214,5cyclictest23-21ksoftirqd/121:25:091
5711994214,5cyclictest23-21ksoftirqd/121:25:091
184772420,4sleep337-21rcuc/300:25:403
5713994117,6cyclictest4013-21latency_hist20:35:093
571199414,6cyclictest0-21swapper/123:35:241
5711994120,4cyclictest16327-21ssh23:05:331
5713994019,5cyclictest264750wget22:10:253
5713994018,5cyclictest8022-21/usr/sbin/munin23:35:213
571399401,19cyclictest7950irq/56-dwc_otg_21:55:103
571299401,4cyclictest7950irq/56-dwc_otg_20:46:312
571299401,4cyclictest7950irq/56-dwc_otg_20:46:312
571199409,7cyclictest7750irq/56-dwc_otg21:25:341
571199407,23cyclictest0-21swapper/119:35:231
571199403,25cyclictest0-21swapper/122:00:211
571199402,24cyclictest0-21swapper/119:50:201
571199401,8cyclictest0-21swapper/121:55:211
5711994010,12cyclictest0-21swapper/122:15:201
571399397,23cyclictest0-21swapper/300:35:233
571399396,23cyclictest0-21swapper/321:00:233
571399396,23cyclictest0-21swapper/319:40:143
571199397,9cyclictest7850irq/56-dwc_otg_20:00:091
571199395,24cyclictest0-21swapper/123:15:211
5711993920,6cyclictest7850irq/56-dwc_otg_22:05:241
5711993920,6cyclictest7850irq/56-dwc_otg_22:05:241
5711993912,5cyclictest23-21ksoftirqd/100:25:091
571399387,21cyclictest0-21swapper/321:25:223
571399384,14cyclictest11-21rcu_preempt21:40:213
571199388,14cyclictest0-21swapper/100:00:341
571199386,5cyclictest23-21ksoftirqd/123:00:301
571199382,26cyclictest0-21swapper/123:55:231
571399371,26cyclictest7801-21ls22:55:293
571199377,24cyclictest0-21swapper/120:55:211
571199376,27cyclictest0-21swapper/100:25:241
571199376,26cyclictest0-21swapper/122:20:221
571199376,23cyclictest0-21swapper/120:10:251
571199374,21cyclictest23-21ksoftirqd/100:35:231
571199373,9cyclictest0-21swapper/119:15:221
5711993718,4cyclictest908-21runrttasks21:10:271
5711993715,12cyclictest221ktimersoftd/119:30:251
5711993714,5cyclictest23-21ksoftirqd/123:20:311
571399366,4cyclictest4765-21ls20:35:313
571399366,20cyclictest14963-21ssh22:25:243
571399361,25cyclictest12880-21ssh23:40:313
571399361,24cyclictest21763-21latency21:15:283
7932350,3sleep3556-21/usr/sbin/munin20:25:253
571399359,11cyclictest7950irq/56-dwc_otg_19:55:323
571399357,23cyclictest0-21swapper/319:35:143
5713993515,3cyclictest30580-21ssh22:05:103
571199355,12cyclictest7850irq/56-dwc_otg_19:25:261
571199352,3cyclictest0-21swapper/120:20:201
571199351,3cyclictest0-21swapper/123:50:191
571199351,18cyclictest7850irq/56-dwc_otg_22:26:511
571399347,17cyclictest23243-21ssh22:35:233
571399347,17cyclictest23243-21ssh22:35:233
571399341,6cyclictest0-21swapper/300:15:243
5713993413,6cyclictest21475-21unixbench_multi19:50:363
5713993411,4cyclictest0-21swapper/322:50:343
571199348,5cyclictest7750irq/56-dwc_otg20:30:251
571199348,12cyclictest7950irq/56-dwc_otg_21:50:221
571199347,4cyclictest7750irq/56-dwc_otg00:30:221
571199347,4cyclictest7750irq/56-dwc_otg00:30:221
571199346,21cyclictest7850irq/56-dwc_otg_00:10:291
571199346,11cyclictest21-21rcuc/120:05:291
571199345,20cyclictest7750irq/56-dwc_otg21:41:261
571199343,7cyclictest23-21ksoftirqd/121:05:301
571199343,6cyclictest9550irq/80-mmc020:00:321
571199343,6cyclictest9550irq/80-mmc020:00:321
5711993416,4cyclictest908-21runrttasks22:55:201
5711993412,6cyclictest23-21ksoftirqd/123:12:111
5711993412,5cyclictest32515-21timerandwakeup22:45:361
571399335,19cyclictest13017-21ssh00:20:233
571399335,14cyclictest7850irq/56-dwc_otg_23:55:243
571399332,6cyclictest0-21swapper/300:10:333
571399331,23cyclictest28621-21ls23:20:303
571399331,17cyclictest0-21swapper/320:40:223
5713993310,13cyclictest0-21swapper/300:00:203
571199337,21cyclictest3190-21ssh22:50:241
571399329,5cyclictest0-21swapper/323:45:253
571399326,14cyclictest0-21swapper/321:35:223
571399323,6cyclictest19129-21wget22:30:233
571399323,14cyclictest39-21ksoftirqd/322:45:093
571399322,3cyclictest0-21swapper/323:00:223
571399322,16cyclictest0-21swapper/319:45:333
571399321,6cyclictest18233-21grep21:10:383
571399321,6cyclictest0-21swapper/300:30:253
571399321,6cyclictest0-21swapper/300:30:253
5713993214,11cyclictest77682chrt19:15:263
571399321,22cyclictest24441-21missed_timers23:15:283
571199321,21cyclictest6847-21switchtime20:40:341
571399317,15cyclictest0-21swapper/321:55:233
571399317,14cyclictest0-21swapper/320:50:223
571399315,13cyclictest7850irq/56-dwc_otg_23:25:243
571399314,6cyclictest7950irq/56-dwc_otg_21:10:093
571399312,7cyclictest0-21swapper/321:31:493
5713993116,3cyclictest22703-21ssh23:52:203
571399311,4cyclictest14596-21munin-run22:25:093
571399311,20cyclictest11344-21cpuspeed19:25:233
571199312,6cyclictest7750irq/56-dwc_otg20:50:091
571199312,6cyclictest7750irq/56-dwc_otg20:50:091
571399307,10cyclictest7850irq/56-dwc_otg_20:20:313
5713993020,7cyclictest26103-21fschecks_time20:05:263
571399294,11cyclictest37-21rcuc/320:15:183
571399292,14cyclictest7850irq/56-dwc_otg_23:30:323
571399291,19cyclictest0-21swapper/319:33:083
571399291,15cyclictest0-21swapper/320:10:293
571399288,5cyclictest7850irq/56-dwc_otg_20:00:243
571399288,5cyclictest7850irq/56-dwc_otg_20:00:243
571399281,6cyclictest0-21swapper/319:20:283
53212273,13sleep30-21swapper/319:08:463
51772273,14sleep20-21swapper/219:06:542
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional