You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-18 - 22:45

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Tue Nov 18, 2025 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
53102790,3sleep11555399cyclictest08:10:241
15552997442,3cyclictest0-21swapper/011:00:170
1555299739,14cyclictest0-21swapper/009:55:180
1555499723,11cyclictest0-21swapper/209:30:192
15553997012,29cyclictest0-21swapper/111:45:191
1555299677,25cyclictest0-21swapper/009:30:200
1555299674,8cyclictest101ktimersoftd/007:40:150
1555299661,25cyclictest0-21swapper/010:30:170
277872650,3sleep227788-21ssh11:31:402
1555299633,5cyclictest7950irq/56-dwc_otg_11:39:170
15552996319,26cyclictest19218-21idleruntime-cro08:50:040
15552996315,30cyclictest0-21swapper/008:50:350
27182610,1sleep30-21swapper/310:08:413
1555299618,45cyclictest7950irq/56-dwc_otg_09:15:170
15552996142,4cyclictest0-21swapper/009:25:160
1555299612,29cyclictest0-21swapper/008:10:170
15555996023,27cyclictest0-21swapper/311:00:193
15552996046,6cyclictest101ktimersoftd/012:15:330
150672603,12sleep00-21swapper/007:07:240
1555299597,24cyclictest0-21swapper/008:35:180
15552995942,5cyclictest22812-21timerandwakeup12:10:330
15552995926,5cyclictest7950irq/56-dwc_otg_10:40:040
1555299592,35cyclictest7531-21cron11:50:040
1555499589,5cyclictest7950irq/56-dwc_otg_11:45:192
15552995825,16cyclictest22997-21unixbench_singl09:50:470
1555499578,15cyclictest7750irq/56-dwc_otg09:10:162
1555299576,21cyclictest1362-21ssh12:25:190
15552995728,5cyclictest9-21ksoftirqd/010:00:340
15552995728,14cyclictest0-21swapper/012:00:200
15552995715,21cyclictest0-21swapper/011:55:150
1555499569,9cyclictest7950irq/56-dwc_otg_08:00:192
1555499569,21cyclictest16421-21ssh12:01:052
1555299566,47cyclictest0-21swapper/010:50:100
15552995631,13cyclictest7950irq/56-dwc_otg_09:45:210
15552995622,5cyclictest0-21swapper/011:30:140
1555299561,27cyclictest0-21swapper/011:15:170
1555499557,8cyclictest7950irq/56-dwc_otg_10:35:192
1555499553,14cyclictest0-21swapper/209:55:182
1555499553,12cyclictest0-21swapper/208:30:172
15552995543,5cyclictest7850irq/56-dwc_otg_12:35:220
1555299551,28cyclictest9055-21grep11:50:370
144222550,2sleep2301ktimersoftd/208:35:252
1555299542,30cyclictest0-21swapper/012:05:300
1555299541,27cyclictest9203-21ntpq08:20:270
1555299541,27cyclictest9203-21ntpq08:20:270
1555299541,18cyclictest24770-21ls09:05:050
11572540,2sleep10-21swapper/110:53:391
1555499539,4cyclictest7750irq/56-dwc_otg11:05:212
15554995314,21cyclictest7850irq/56-dwc_otg_10:52:512
1555299539,24cyclictest7020-21aten_rbpower_po10:15:200
15552995323,16cyclictest12293-21aten_rbpower_vo11:10:190
1555299532,30cyclictest0-21swapper/008:00:040
1555299532,30cyclictest0-21swapper/008:00:040
1555499522,9cyclictest7950irq/56-dwc_otg_08:50:172
15554995217,20cyclictest25310-21ntpq07:35:282
15554995215,21cyclictest14384-21latency10:25:262
1555399527,30cyclictest0-21swapper/112:25:191
15552995246,4cyclictest101ktimersoftd/010:25:160
15552995227,7cyclictest25374-21ps07:35:300
15552995227,6cyclictest29710-21/usr/sbin/munin12:20:320
1555299522,28cyclictest4036-21fschecks_time10:10:250
1555299522,26cyclictest2551-21ssh10:55:230
15554995115,21cyclictest1477-21df_inode09:20:212
1555299518,23cyclictest30783-21/usr/sbin/munin07:50:280
1555299512,36cyclictest0-21swapper/009:20:200
1555299511,27cyclictest15891-21grep07:10:270
1555599504,5cyclictest0-21swapper/309:20:163
1555499509,23cyclictest22705-21ssh12:10:322
1555499508,23cyclictest6478-21ssh10:14:492
15554995020,8cyclictest4917-21apt-get08:10:172
15553995013,8cyclictest0-21swapper/108:30:171
1555299508,23cyclictest13-21rcuc/011:45:050
1555299501,30cyclictest0-21swapper/008:30:160
1555299501,29cyclictest8349-21kworker/0:110:41:390
1555299501,29cyclictest10490-21aten_rbpower_po10:20:190
1555299501,28cyclictest21295-21fschecks_time07:25:220
15554994930,7cyclictest7950irq/56-dwc_otg_08:23:232
15554994930,7cyclictest7950irq/56-dwc_otg_08:23:232
15554994918,13cyclictest10314-21ssh11:53:282
15554994911,13cyclictest31580-21ssh12:21:362
15554994910,12cyclictest3322-21ssh10:55:362
1555399498,26cyclictest0-21swapper/107:10:211
1555399496,27cyclictest4519-21sh09:25:181
1555299497,25cyclictest0-21swapper/010:07:370
15552994934,5cyclictest7750irq/56-dwc_otg09:35:350
15552994934,5cyclictest7750irq/56-dwc_otg09:35:350
15552994931,4cyclictest7950irq/56-dwc_otg_12:30:220
15552994931,4cyclictest7950irq/56-dwc_otg_12:30:220
15552994926,9cyclictest22415-21grep08:55:360
1555299491,26cyclictest0-21swapper/009:40:270
15552994912,21cyclictest19075-21/usr/sbin/munin11:20:160
1555599487,25cyclictest0-21swapper/309:00:193
1555499487,20cyclictest14179-21ssh11:59:272
15554994816,18cyclictest27081-21ssh10:44:322
15554994812,15cyclictest30311-21ssh10:00:452
15554994810,21cyclictest14271-21seq11:12:302
1555299482,19cyclictest0-21swapper/009:10:310
1555599477,25cyclictest0-21swapper/308:25:213
15554994719,17cyclictest2978-21ssh10:09:152
15554994716,15cyclictest13956-21ssh09:39:002
15554994716,15cyclictest13956-21ssh09:39:002
15554994716,12cyclictest10030-21ssh10:19:572
15554994714,14cyclictest19764-21ls11:20:282
15554994712,12cyclictest7850irq/56-dwc_otg_07:40:302
15554994711,20cyclictest2955-21ssh11:42:542
1555399477,25cyclictest0-21swapper/108:55:211
1555299477,18cyclictest0-21swapper/011:05:210
15552994732,6cyclictest7950irq/56-dwc_otg_10:45:320
15552994732,5cyclictest7750irq/56-dwc_otg09:10:040
15552994732,5cyclictest7750irq/56-dwc_otg09:10:040
15552994720,5cyclictest18978-21munin-run07:20:030
15552994717,21cyclictest0-21swapper/008:05:280
1555299471,23cyclictest15551-21cyclictest07:20:210
1555499467,25cyclictest0-21swapper/208:55:212
15554994613,16cyclictest7750irq/56-dwc_otg11:18:032
15554994612,15cyclictest6740-21aten_rbpower_cu08:15:202
15554994611,22cyclictest11892-21taskset08:29:012
1555499459,19cyclictest29559-21ssh10:47:092
1555499458,22cyclictest4990-21ssh12:29:592
15554994511,21cyclictest16853-21taskset07:11:312
15554994511,17cyclictest32280-21ssh09:17:372
15552994526,4cyclictest7750irq/56-dwc_otg08:25:050
15555994417,7cyclictest8399-21latency11:50:293
15555994416,16cyclictest0-21swapper/312:10:243
1555499448,13cyclictest4797-21ssh09:25:262
1555499448,12cyclictest10472-21aten_rbpower_po10:20:192
1555499447,13cyclictest668-21taskset07:56:522
1555499447,13cyclictest668-21taskset07:56:522
1555399447,25cyclictest0-21swapper/112:00:101
15553994410,16cyclictest0-21swapper/111:39:171
1555299443,21cyclictest0-21swapper/008:00:190
15552994430,5cyclictest7850irq/56-dwc_otg_11:29:070
15552994420,13cyclictest15919-21aten_rbpower_po08:40:220
160742431,34sleep30-21swapper/308:40:303
15554994320,4cyclictest7950irq/56-dwc_otg_12:35:322
15554994312,13cyclictest25101-21ssh11:28:442
15554994311,17cyclictest23968-21ssh09:52:552
1555399437,24cyclictest0-21swapper/110:05:201
1555399436,24cyclictest0-21swapper/111:20:191
1555399431,9cyclictest0-21swapper/108:45:181
169782420,4sleep316980-21vmstat11:15:353
1555499422,29cyclictest31420-21ssh11:37:022
1555499422,19cyclictest7950irq/56-dwc_otg_07:15:252
15554994210,21cyclictest7963-21ssh12:32:452
15554994210,21cyclictest7963-21ssh12:32:452
1555399426,7cyclictest0-21swapper/108:00:191
1555399425,8cyclictest7750irq/56-dwc_otg10:05:041
1555399423,9cyclictest7850irq/56-dwc_otg_11:25:201
15553994225,5cyclictest10988-21idleruntime-cro09:35:041
215372410,3sleep221540-21latency_hist12:10:052
1555599416,22cyclictest17262-21ssh10:30:193
1555499417,13cyclictest6175-21/usr/sbin/munin11:00:272
15554994111,13cyclictest28717-21ssh12:18:502
1555399416,21cyclictest7750irq/56-dwc_otg12:10:041
15553994118,5cyclictest21450-21idleruntime-cro09:50:041
1555299419,22cyclictest0-21swapper/008:15:200
1555599407,21cyclictest0-21swapper/309:40:193
1555499407,12cyclictest18620-21ssh10:30:502
1555399405,20cyclictest21-21rcuc/110:25:221
1555399402,5cyclictest7750irq/56-dwc_otg08:15:201
226312390,1sleep30-21swapper/311:25:133
1555599396,16cyclictest7950irq/56-dwc_otg_09:15:243
1555599395,24cyclictest11317-21ssh11:55:183
15555993920,6cyclictest4477-21/usr/sbin/munin09:25:343
1555499398,21cyclictest7850irq/56-dwc_otg_07:32:472
1555399397,5cyclictest0-21swapper/110:10:191
15553993915,4cyclictest11151-21sh12:36:071
1555299392,24cyclictest0-21swapper/007:34:430
15552993912,21cyclictest0-21swapper/007:45:390
282602380,7sleep21555499cyclictest07:45:182
1555599383,25cyclictest0-21swapper/307:35:193
1555599381,23cyclictest11125-21ls09:35:053
1555499388,12cyclictest7950irq/56-dwc_otg_07:24:512
1555499385,9cyclictest0-21swapper/207:51:112
1555499385,15cyclictest0-21swapper/209:49:522
15554993817,11cyclictest7950irq/56-dwc_otg_09:41:442
15553993820,9cyclictest7257-21sh11:01:311
1555399381,23cyclictest0-21swapper/109:00:201
1555599378,19cyclictest0-21swapper/309:10:193
15555993719,4cyclictest7850irq/56-dwc_otg_08:50:313
1555599371,26cyclictest25018-21apt-config09:55:043
1555599371,25cyclictest21672-21ls10:35:333
1555499374,19cyclictest22074-21grep07:25:332
1555399375,21cyclictest24963-21perl07:35:231
1555399373,3cyclictest7750irq/56-dwc_otg07:25:171
15553993721,5cyclictest22156-21fschecks_time12:10:231
15553993717,5cyclictest27412-21sh11:30:471
1555399371,16cyclictest7750irq/56-dwc_otg12:20:261
1555599365,16cyclictest7950irq/56-dwc_otg_11:45:353
15555993620,7cyclictest7750irq/56-dwc_otg10:55:163
15555993619,14cyclictest11514-21df09:35:253
15555993619,14cyclictest11514-21df09:35:253
15555993617,3cyclictest7950irq/56-dwc_otg_12:30:273
15555993617,3cyclictest7950irq/56-dwc_otg_12:30:273
1555599361,23cyclictest31232-21ls10:50:213
1555599361,22cyclictest5190-21apt-config12:30:043
1555499363,7cyclictest17916-21fschecks_count08:45:232
1555399368,5cyclictest9203-21munin-plugin-st12:35:041
1555399368,5cyclictest9203-21munin-plugin-st12:35:041
1555399365,6cyclictest23-21ksoftirqd/109:15:291
1555399365,6cyclictest21-21rcuc/111:15:121
1555399363,16cyclictest12467-21tune2fs11:10:221
1555399362,22cyclictest22380-21ssh09:50:401
1555399361,12cyclictest0-21swapper/109:35:271
1555399361,12cyclictest0-21swapper/109:35:271
136502360,2sleep113576-21ssh10:25:051
1555599358,21cyclictest0-21swapper/308:20:183
1555599358,21cyclictest0-21swapper/308:20:183
1555599357,15cyclictest0-21swapper/311:35:313
1555599357,12cyclictest7950irq/56-dwc_otg_10:00:283
1555599355,8cyclictest0-21swapper/308:55:213
1555599355,5cyclictest23300-21latency07:30:243
1555599352,12cyclictest7850irq/56-dwc_otg_10:15:043
1555599351,19cyclictest1109-21latency_hist08:00:053
1555599351,19cyclictest1109-21latency_hist08:00:053
1555499354,16cyclictest7950irq/56-dwc_otg_08:42:312
1555399359,10cyclictest7750irq/56-dwc_otg10:31:121
1555399358,4cyclictest7750irq/56-dwc_otg07:45:151
1555399355,16cyclictest7950irq/56-dwc_otg_07:55:231
1555399355,16cyclictest7950irq/56-dwc_otg_07:55:231
1555399354,7cyclictest0-21swapper/108:05:211
15553993516,7cyclictest221ktimersoftd/110:55:321
15553993516,6cyclictest26033-21unixbench_singl09:05:341
15553993516,6cyclictest26033-21unixbench_singl09:05:341
15553993516,6cyclictest25285-21sh09:55:101
15553993516,4cyclictest8319-21/usr/sbin/munin11:50:271
15553993515,5cyclictest699950wget10:15:201
15553993512,13cyclictest140-21systemd-journal08:53:021
141552356,19sleep214198-21uname07:05:232
1555599344,6cyclictest0-21swapper/310:30:033
1555599343,12cyclictest7850irq/56-dwc_otg_10:15:183
1555599341,17cyclictest29575-21ls12:20:043
15554993413,10cyclictest4633-21taskset08:09:542
1555399347,6cyclictest21-21rcuc/107:40:271
1555399347,4cyclictest0-21swapper/109:20:211
1555399345,8cyclictest23-21ksoftirqd/112:15:331
1555399345,5cyclictest21-21rcuc/108:20:351
1555399345,5cyclictest21-21rcuc/108:20:351
1555399344,5cyclictest7950irq/56-dwc_otg_07:35:041
1555399341,4cyclictest7750irq/56-dwc_otg08:25:241
15553993410,7cyclictest7750irq/56-dwc_otg11:59:211
1555599338,6cyclictest7850irq/56-dwc_otg_10:45:253
1555599332,5cyclictest7950irq/56-dwc_otg_07:50:213
15555993313,5cyclictest29052-21/usr/sbin/munin07:45:313
1555599331,15cyclictest7750irq/56-dwc_otg07:30:043
1555499333,4cyclictest0-21swapper/209:00:302
1555399339,13cyclictest0-21swapper/111:05:381
15553993318,5cyclictest9550irq/80-mmc007:20:041
1555399331,5cyclictest7750irq/56-dwc_otg09:40:351
15553993312,5cyclictest17007-21grep08:40:451
15553993311,6cyclictest221ktimersoftd/111:42:531
196772320,2sleep30-21swapper/311:20:263
1555599329,5cyclictest0-21swapper/309:55:443
1555599326,5cyclictest7950irq/56-dwc_otg_08:15:353
1555599325,5cyclictest7750irq/56-dwc_otg11:40:353
1555599324,14cyclictest7950irq/56-dwc_otg_08:30:333
1555599322,14cyclictest7950irq/56-dwc_otg_07:10:243
15555993212,4cyclictest0-21swapper/310:40:203
15555993211,5cyclictest39-21ksoftirqd/309:45:213
1555399324,18cyclictest24824-21cat10:40:301
15553993210,4cyclictest0-21swapper/110:35:301
1555599316,5cyclictest7750irq/56-dwc_otg12:05:253
1555599316,5cyclictest26416-21cron09:10:043
1555599316,5cyclictest26416-21cron09:10:043
1555599316,3cyclictest0-21swapper/311:10:043
1555599314,6cyclictest0-21swapper/308:35:193
1555599313,12cyclictest7850irq/56-dwc_otg_12:20:243
1555599312,8cyclictest7950irq/56-dwc_otg_12:35:263
1555599312,7cyclictest3142-21aten_rbpower_cu08:05:203
1555499312,19cyclictest24979-21aten_rbpower_vo09:05:202
1555499312,19cyclictest24979-21aten_rbpower_vo09:05:202
1555399318,7cyclictest221ktimersoftd/110:50:051
1555399314,7cyclictest7750irq/56-dwc_otg08:35:351
1555399314,6cyclictest7750irq/56-dwc_otg07:50:201
1555399313,13cyclictest28601-21ssh09:11:491
1555599308,5cyclictest7750irq/56-dwc_otg11:35:043
1555599303,13cyclictest7950irq/56-dwc_otg_07:40:313
1555599302,18cyclictest0-21swapper/312:00:363
15555993011,7cyclictest14799-21ssh11:13:493
1555399304,14cyclictest0-21swapper/107:20:281
1555599299,4cyclictest0-21swapper/310:21:453
1555599291,19cyclictest17894-21uniq08:45:233
1555599291,18cyclictest0-21swapper/308:15:003
150972298,14sleep10-21swapper/107:07:411
1555599282,7cyclictest20018-21/usr/sbin/munin07:20:283
1555599281,13cyclictest7950irq/56-dwc_otg_08:00:333
1555599271,15cyclictest0-21swapper/307:15:253
150842273,14sleep30-21swapper/307:07:313
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional