You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-22 - 15:04

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Sat Nov 22, 2025 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3105621830,4sleep20-21swapper/207:05:282
53752880,14sleep03235299cyclictest10:35:370
3235299887,66cyclictest0-21swapper/007:50:240
3235299887,66cyclictest0-21swapper/007:50:240
3235299821,50cyclictest0-21swapper/011:20:200
32352998010,14cyclictest0-21swapper/008:30:130
3235299767,50cyclictest0-21swapper/011:00:120
3235299766,25cyclictest0-21swapper/009:10:190
264032760,2sleep20-21swapper/209:31:262
3235299753,6cyclictest0-21swapper/010:55:200
3235299725,36cyclictest0-21swapper/011:40:210
301072720,2sleep10-21swapper/108:30:351
73482710,2sleep20-21swapper/212:11:042
265792710,1sleep00-21swapper/011:52:300
60672680,2sleep30-21swapper/312:10:243
32352996822,14cyclictest0-21swapper/009:00:190
32352996816,12cyclictest0-21swapper/008:15:190
3235299676,25cyclictest0-21swapper/008:05:220
32352996727,23cyclictest0-21swapper/010:10:200
32352996727,23cyclictest0-21swapper/010:10:200
3235299666,45cyclictest0-21swapper/012:35:220
32352996618,4cyclictest0-21swapper/009:15:210
3235299661,36cyclictest0-21swapper/009:55:220
18022660,2sleep20-21swapper/211:16:292
3235399654,18cyclictest26374-21ssh10:20:191
32355996410,8cyclictest0-21swapper/311:10:183
3235299641,53cyclictest0-21swapper/008:55:110
3235299636,54cyclictest0-21swapper/008:00:200
3235299635,54cyclictest61-21kswapd007:35:120
3235399627,22cyclictest0-21swapper/109:20:141
32352996235,18cyclictest21703-21sshd08:10:190
32353996112,8cyclictest7750irq/56-dwc_otg12:00:201
32353996111,8cyclictest7950irq/56-dwc_otg_10:15:211
3235299613,37cyclictest0-21swapper/010:00:210
3235299603,14cyclictest0-21swapper/008:20:210
3235599594,11cyclictest7950irq/56-dwc_otg_10:55:063
32352995917,25cyclictest9-21ksoftirqd/010:55:060
3235599582,5cyclictest7950irq/56-dwc_otg_10:05:073
32352995832,4cyclictest3426-21latency_hist11:20:070
32352995817,19cyclictest5808-21/usr/sbin/munin12:10:250
3235599572,18cyclictest0-21swapper/309:45:403
32353995716,17cyclictest0-21swapper/109:35:221
3235299576,22cyclictest0-21swapper/007:10:210
3235299573,23cyclictest0-21swapper/012:20:170
3235299571,29cyclictest31804-21fschecks_time12:00:240
3235599562,5cyclictest29115-21grep09:35:373
3235599561,5cyclictest7750irq/56-dwc_otg11:31:293
3235599561,4cyclictest32299-21/usr/sbin/munin09:40:333
3235599561,15cyclictest20776-21ls08:05:353
32353995620,7cyclictest7950irq/56-dwc_otg_11:40:211
3235299562,3cyclictest0-21swapper/011:48:360
3235299562,32cyclictest31331-21snmpd12:05:270
32352995612,26cyclictest10198-21cron11:30:070
32352995612,26cyclictest10198-21cron11:30:070
167742560,23sleep17950irq/56-dwc_otg_12:24:551
3235599555,4cyclictest7950irq/56-dwc_otg_12:05:103
3235599554,4cyclictest0-21swapper/312:23:463
3235599553,4cyclictest7850irq/56-dwc_otg_11:37:273
3235599552,4cyclictest7950irq/56-dwc_otg_08:15:323
3235299558,30cyclictest0-21swapper/012:30:190
3235299556,11cyclictest31186-21ls08:35:270
32352995527,14cyclictest0-21swapper/010:40:200
32352995526,3cyclictest0-21swapper/010:05:200
3235299551,28cyclictest2840-21grep07:15:350
3235299543,37cyclictest0-21swapper/008:30:070
32352995424,4cyclictest9720-21fschecks_count09:05:390
3235599533,10cyclictest7950irq/56-dwc_otg_11:20:193
3235599531,9cyclictest7850irq/56-dwc_otg_12:19:063
3235599531,12cyclictest0-21swapper/310:35:343
32352995328,6cyclictest7850irq/56-dwc_otg_09:30:230
3235299532,30cyclictest17187-21/usr/sbin/munin12:25:230
3235599527,3cyclictest0-21swapper/311:19:583
3235599522,10cyclictest7850irq/56-dwc_otg_11:28:413
3235599522,10cyclictest7850irq/56-dwc_otg_11:28:413
3235599522,10cyclictest0-21swapper/311:58:443
32355995218,5cyclictest2819350ssh10:21:563
3235599521,15cyclictest0-21swapper/308:15:073
32352995227,7cyclictest7850irq/56-dwc_otg_07:30:230
32352995226,7cyclictest3864-21latency_hist08:50:060
32352995217,9cyclictest0-21swapper/010:15:210
8412510,4sleep0790-21ssh10:30:300
3235599516,3cyclictest7950irq/56-dwc_otg_12:38:353
3235599512,4cyclictest7750irq/56-dwc_otg09:20:523
3235299518,6cyclictest0-21swapper/007:55:200
3235299515,24cyclictest0-21swapper/009:50:220
3235299515,24cyclictest0-21swapper/009:50:220
32352995130,9cyclictest101ktimersoftd/009:40:070
3235599507,39cyclictest25992-21grep11:05:253
3235599506,9cyclictest1120-21runrttasks09:10:423
3235599502,15cyclictest7950irq/56-dwc_otg_09:30:183
32352995034,4cyclictest7950irq/56-dwc_otg_09:45:240
3235299503,27cyclictest0-21swapper/011:10:190
32352995020,8cyclictest5456-21aten_rbpower_po07:25:210
32352995020,8cyclictest5456-21aten_rbpower_po07:25:210
32352995017,24cyclictest0-21swapper/009:40:340
3235599496,9cyclictest7950irq/56-dwc_otg_09:59:133
3235599493,10cyclictest0-21swapper/309:27:003
3235599492,8cyclictest7950irq/56-dwc_otg_08:20:193
3235599492,5cyclictest0-21swapper/310:27:293
3235599492,5cyclictest0-21swapper/310:27:293
3235399498,25cyclictest17225-21ssh12:25:211
3235399498,24cyclictest0-21swapper/107:50:241
3235399498,24cyclictest0-21swapper/107:50:241
32353994912,4cyclictest40192cut11:20:281
32352994924,4cyclictest28145-21aten_rbpower_vo11:55:220
32352994914,19cyclictest13-21rcuc/012:18:470
3235299491,20cyclictest0-21swapper/011:06:160
96162480,6sleep13235399cyclictest12:15:211
3235599488,27cyclictest0-21swapper/311:00:113
3235599485,4cyclictest7750irq/56-dwc_otg09:03:563
3235599483,6cyclictest7950irq/56-dwc_otg_11:45:333
3235599481,17cyclictest18343-21missed_timers11:40:293
3235499485,16cyclictest14105-21ssh11:35:182
3235299484,21cyclictest0-21swapper/010:25:250
3235299484,21cyclictest0-21swapper/010:25:250
3235299482,39cyclictest27131-21ntpq10:20:300
3235299481,32cyclictest9-21ksoftirqd/011:35:230
3235299481,27cyclictest0-21swapper/010:45:210
3235299481,26cyclictest0-21swapper/009:26:040
3235599472,16cyclictest0-21swapper/310:05:223
3235599471,5cyclictest0-21swapper/310:15:373
32353994732,5cyclictest221ktimersoftd/109:55:201
32352994719,15cyclictest0-21swapper/007:45:340
3235599465,4cyclictest7750irq/56-dwc_otg12:25:233
3235599461,10cyclictest0-21swapper/310:58:393
3235399468,23cyclictest0-21swapper/107:55:211
3235299469,24cyclictest0-21swapper/008:50:200
3235499451,12cyclictest12210-21latency_hist10:00:062
3235399459,17cyclictest0-21swapper/112:05:251
3235399458,22cyclictest5075-21taskset07:24:461
3235399458,14cyclictest18662-21cut10:55:211
3235399457,26cyclictest0-21swapper/107:35:111
3235399456,24cyclictest8489-21ssh11:26:091
3235399456,24cyclictest8489-21ssh11:26:091
3235399455,7cyclictest0-21swapper/112:30:371
32353994510,16cyclictest8343-21sh12:13:211
32352994519,6cyclictest18357-21apt-config09:20:100
32352994513,17cyclictest10783-21fschecks_count11:30:250
320172453,10sleep00-21swapper/007:09:240
172262450,3sleep23235499cyclictest12:25:212
35942440,2sleep23235499cyclictest12:05:362
3235599441,5cyclictest0-21swapper/312:02:033
32355994412,30cyclictest0-21swapper/312:30:363
3235399447,25cyclictest0-21swapper/110:05:211
3235399447,24cyclictest0-21swapper/108:10:211
3235399447,17cyclictest24720-21ssh11:03:381
3235399446,23cyclictest0-21swapper/108:05:221
3235399446,11cyclictest30854-21sh11:11:471
3235399441,7cyclictest7750irq/56-dwc_otg07:30:191
32353994411,17cyclictest7950irq/56-dwc_otg_08:00:211
32353994410,20cyclictest7482-21latency_hist09:00:071
32353994410,20cyclictest22010-21rm10:13:321
32353994410,20cyclictest22010-21rm10:13:321
32353994410,16cyclictest14320-21date07:50:071
3235599431,3cyclictest0-21swapper/310:45:213
32354994321,4cyclictest5126-21sh07:25:062
3235399438,25cyclictest0-21swapper/110:25:191
3235399438,25cyclictest0-21swapper/110:25:191
3235399437,23cyclictest0-21swapper/108:50:201
32353994318,12cyclictest21120-21/usr/sbin/munin11:45:261
3235399431,6cyclictest7750irq/56-dwc_otg09:43:281
32353994314,12cyclictest7950irq/56-dwc_otg_08:20:371
299002430,2sleep30-21swapper/308:30:333
3235599427,8cyclictest7950irq/56-dwc_otg_11:51:083
3235499427,25cyclictest0-21swapper/210:05:122
3235399429,5cyclictest25950-21grep12:35:371
3235399427,5cyclictest7950irq/56-dwc_otg_10:50:181
3235399426,23cyclictest0-21swapper/107:10:211
32353994221,9cyclictest7850irq/56-dwc_otg_09:45:341
32353994216,11cyclictest7950irq/56-dwc_otg_10:35:281
32353994214,13cyclictest221ktimersoftd/111:08:581
32352994213,21cyclictest0-21swapper/007:44:520
3235299421,26cyclictest0-21swapper/008:40:120
3235299421,26cyclictest0-21swapper/008:40:120
106332420,13sleep17950irq/56-dwc_otg_10:43:591
3235599415,4cyclictest381ktimersoftd/307:14:363
3235599411,11cyclictest7950irq/56-dwc_otg_07:44:473
3235499417,25cyclictest0-21swapper/207:45:242
3235399417,22cyclictest0-21swapper/109:15:221
3235399416,5cyclictest0-21swapper/109:05:351
32353994115,12cyclictest7750irq/56-dwc_otg11:35:061
32353994115,10cyclictest7950irq/56-dwc_otg_10:04:561
3235299411,22cyclictest3627-21wget07:20:240
3235499405,10cyclictest7850irq/56-dwc_otg_11:10:122
32354994025,5cyclictest14909-21ssh10:50:092
3235499402,17cyclictest5462-21head10:35:372
32354994016,5cyclictest15635-21sh10:05:012
32353994010,19cyclictest26788-21ssh09:32:241
32354993914,12cyclictest31-21ksoftirqd/211:50:072
3235499391,25cyclictest2645-21ls08:45:272
3235399398,13cyclictest7950irq/56-dwc_otg_11:50:271
3235399393,11cyclictest16147-21ssh11:37:201
32353993913,13cyclictest7950irq/56-dwc_otg_09:51:271
32353993913,13cyclictest7950irq/56-dwc_otg_09:51:271
174932390,4sleep231-21ksoftirqd/209:18:422
3235399384,13cyclictest23547-21/usr/sbin/munin08:15:211
3235399381,7cyclictest0-21swapper/110:45:201
32353993810,14cyclictest0-21swapper/111:18:311
3235599372,11cyclictest7950irq/56-dwc_otg_09:54:363
3235599372,11cyclictest7950irq/56-dwc_otg_09:54:363
3235499378,5cyclictest7850irq/56-dwc_otg_11:30:252
3235499376,17cyclictest7850irq/56-dwc_otg_11:20:222
3235499372,7cyclictest7950irq/56-dwc_otg_12:35:192
3235499371,24cyclictest31274-21ls09:40:072
3235399377,10cyclictest0-21swapper/108:35:221
3235399374,19cyclictest2729-21sh10:32:381
32353993717,4cyclictest0-21swapper/108:40:211
32353993717,4cyclictest0-21swapper/108:40:211
32354993616,5cyclictest23489-21/usr/sbin/munin08:15:312
32354993611,6cyclictest7750irq/56-dwc_otg10:45:072
3235399369,13cyclictest0-21swapper/108:49:291
3235399368,13cyclictest23752-21ssh09:27:071
3235399366,12cyclictest12233-21/usr/sbin/munin09:10:311
194742360,8sleep2301ktimersoftd/209:20:352
3235599351,6cyclictest7950irq/56-dwc_otg_07:45:223
3235499359,11cyclictest0-21swapper/211:00:342
3235499353,13cyclictest22112-21ssh12:30:372
32354993523,8cyclictest6087-21ssh09:50:312
32354993523,8cyclictest6087-21ssh09:50:312
3235399355,14cyclictest3020-21chrt07:16:451
3235399354,3cyclictest0-21swapper/111:55:331
32353993515,5cyclictest11654-21processes07:40:331
127412350,5sleep23235499cyclictest12:19:332
3235599347,12cyclictest7950irq/56-dwc_otg_07:20:283
3235599341,23cyclictest14979-21latency07:50:313
3235599341,23cyclictest14979-21latency07:50:313
3235499343,4cyclictest0-21swapper/210:15:342
32354993413,5cyclictest31-21ksoftirqd/209:30:062
3235499341,22cyclictest12417-21ls10:45:352
3235499341,15cyclictest1456850ssh09:15:062
32354993410,6cyclictest26030-21fschecks_time11:05:252
3235399349,16cyclictest6853-21seq07:29:281
3235399349,16cyclictest6853-21seq07:29:281
3235399347,9cyclictest0-21swapper/108:25:471
3235599336,7cyclictest7950irq/56-dwc_otg_10:30:323
3235599332,15cyclictest0-21swapper/308:40:073
32355993316,9cyclictest381ktimersoftd/308:25:253
3235599331,21cyclictest19719-21ls08:05:063
3235499335,5cyclictest27486-21basename08:25:262
32354993325,5cyclictest13328-21ssh12:20:172
3235499331,23cyclictest561-21uniq08:40:252
3235499331,23cyclictest561-21uniq08:40:252
32354993311,4cyclictest1120-21runrttasks07:33:382
3235499331,10cyclictest25876-21grep11:50:382
3235599322,26cyclictest7950irq/56-dwc_otg_10:40:183
3235499329,10cyclictest0-21swapper/211:27:472
3235499329,10cyclictest0-21swapper/211:27:472
3235499328,4cyclictest7950irq/56-dwc_otg_07:10:362
3235499328,12cyclictest0-21swapper/210:55:532
3235499328,12cyclictest0-21swapper/209:49:282
3235499322,21cyclictest0-21swapper/209:05:112
3235499321,17cyclictest114150ssh10:30:342
3235499321,15cyclictest7750irq/56-dwc_otg08:00:112
3235399329,13cyclictest8983-21runrttasks09:02:331
3235599317,4cyclictest0-21swapper/309:15:583
3235599317,15cyclictest0-21swapper/310:10:213
3235599317,15cyclictest0-21swapper/310:10:213
3235599311,21cyclictest70302sleep307:30:073
3235599311,21cyclictest70302sleep307:30:073
3235499313,17cyclictest7700-21aten_rbpower_en09:00:222
3235499312,5cyclictest4210-21fschecks_time08:50:242
32354993117,4cyclictest1120-21runrttasks07:35:122
3235499311,6cyclictest3054850ssh10:25:312
3235499311,6cyclictest3054850ssh10:25:312
3235499311,24cyclictest20486-21missed_timers08:05:302
309852316,15sleep131055-21/usr/sbin/munin07:05:281
3235499309,5cyclictest17742-21aten_rbpower_cu11:40:212
3235499305,6cyclictest17399-21grep07:55:362
3235499302,13cyclictest7950irq/56-dwc_otg_09:40:222
32354993013,4cyclictest547-21ssh12:01:142
3235499301,19cyclictest28254-21ls11:55:232
3235599297,4cyclictest7950irq/56-dwc_otg_08:55:083
32355992922,5cyclictest11124-21cat09:10:063
3235599291,4cyclictest7152-21/usr/sbin/munin07:30:323
3235599291,26cyclictest16788-21ls07:55:273
3235499297,4cyclictest0-21swapper/210:12:392
3235499297,4cyclictest0-21swapper/210:12:392
3235499296,4cyclictest7750irq/56-dwc_otg10:20:182
3235499294,4cyclictest0-21swapper/208:35:212
3235499293,11cyclictest7850irq/56-dwc_otg_07:52:302
3235499293,11cyclictest7850irq/56-dwc_otg_07:52:302
3235599281,6cyclictest869-21missed_timers08:40:293
3235599281,6cyclictest869-21missed_timers08:40:293
3235499288,5cyclictest0-21swapper/207:15:222
3235499282,14cyclictest7850irq/56-dwc_otg_08:21:052
3235499282,12cyclictest7850irq/56-dwc_otg_07:40:462
32354992817,8cyclictest6071-21fschecks_count08:55:242
3235499281,5cyclictest29934-21sed08:30:332
305452287,10sleep30-21swapper/307:05:223
3235599274,14cyclictest0-21swapper/308:45:123
3235599273,5cyclictest7950irq/56-dwc_otg_08:50:223
3235499277,5cyclictest31-21ksoftirqd/207:25:322
3235499277,5cyclictest31-21ksoftirqd/207:25:322
3235499274,5cyclictest29-21rcuc/208:10:482
3235599265,5cyclictest7850irq/56-dwc_otg_07:15:193
3235599262,16cyclictest0-21swapper/307:38:113
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional