You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-26 - 19:09

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack7slot3s.osadl.org (updated Wed Nov 26, 2025 12:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
490223530,3sleep00-21swapper/007:05:220
1629321130,2sleep30-21swapper/310:42:163
1629321130,2sleep30-21swapper/310:42:163
2479521050,1sleep00-21swapper/010:09:200
195872920,2sleep30-21swapper/311:32:483
103762850,3sleep210379-21aten_rbpower_cu07:20:242
291812830,3sleep10-21swapper/108:10:301
143742830,8sleep1221ktimersoftd/109:53:231
30532780,5sleep0671099cyclictest11:55:280
197442770,8sleep0671099cyclictest09:11:350
273362730,5sleep1671199cyclictest08:05:311
27812720,2sleep30-21swapper/310:24:373
271922720,2sleep00-21swapper/010:11:540
75672690,2sleep10-21swapper/110:30:311
279942690,2sleep0101ktimersoftd/011:45:090
279942690,2sleep0101ktimersoftd/011:45:090
234412690,2sleep20-21swapper/210:52:132
70382680,1sleep00-21swapper/010:30:220
204942670,1sleep10-21swapper/110:01:481
671099662,47cyclictest0-21swapper/011:15:220
293932660,2sleep10-21swapper/110:15:291
6710996421,24cyclictest18556-21unixbench_singl11:30:370
6710996242,11cyclictest22677-21taskset12:20:360
231482620,2sleep30-21swapper/309:16:383
6710996116,6cyclictest1411-21latency_hist08:25:080
671099611,5cyclictest5764-21fschecks_count09:40:330
6710995812,26cyclictest0-21swapper/009:55:200
6710995811,30cyclictest31331-21snmpd12:15:280
61542584,12sleep20-21swapper/207:06:342
146042580,3sleep10-21swapper/110:40:291
146042580,3sleep10-21swapper/110:40:291
671099574,32cyclictest0-21swapper/007:25:210
6710995728,14cyclictest7750irq/56-dwc_otg11:10:340
6710995728,14cyclictest7750irq/56-dwc_otg11:10:340
258432570,2sleep10-21swapper/112:25:281
6710995622,10cyclictest11870-21grep08:50:360
6710995622,10cyclictest11870-21grep08:50:360
671099561,42cyclictest27624-21timerandwakeup08:05:360
671099555,36cyclictest30541-21grep08:15:260
6711995423,12cyclictest7950irq/56-dwc_otg_11:40:201
6711995423,12cyclictest7950irq/56-dwc_otg_11:40:201
671099543,10cyclictest9-21ksoftirqd/009:50:210
671099541,38cyclictest14184-21ssh12:10:270
164042540,2sleep10-21swapper/111:28:281
671199531,43cyclictest0-21swapper/112:17:331
671099531,12cyclictest0-21swapper/007:40:220
671099523,7cyclictest7950irq/56-dwc_otg_10:50:220
6710995236,5cyclictest29461-21proc_pri11:00:360
671099522,30cyclictest9601-21kworker/u8:312:35:080
671099522,28cyclictest15900-21latency_hist09:05:080
6710995222,7cyclictest28568-21idleruntime-cro12:30:080
6710995220,22cyclictest0-21swapper/011:25:050
671099521,25cyclictest0-21swapper/008:10:220
671099521,13cyclictest0-21swapper/010:40:410
671099521,13cyclictest0-21swapper/010:40:410
45992520,2sleep20-21swapper/211:57:352
671399517,29cyclictest0-21swapper/308:20:143
671099513,31cyclictest0-21swapper/010:25:210
6710995119,15cyclictest23486-21if_err_wlan007:55:340
671099511,34cyclictest13-21rcuc/008:40:390
6710995111,24cyclictest6994-21cut07:10:270
6710995111,24cyclictest6994-21cut07:10:270
6711995024,5cyclictest17982-21wget10:45:231
671099507,27cyclictest0-21swapper/008:30:220
6710995033,6cyclictest7750irq/56-dwc_otg08:35:210
671099501,23cyclictest2859950ssh09:25:320
671399497,27cyclictest0-21swapper/308:30:133
6712994944,3cyclictest7750irq/56-dwc_otg12:05:212
671099495,29cyclictest9-21ksoftirqd/009:15:380
6710994928,6cyclictest7950irq/56-dwc_otg_11:50:230
671099491,25cyclictest9139-21sort09:45:290
671099491,25cyclictest20521-21unixbench_singl07:45:370
671099491,20cyclictest0-21swapper/010:15:260
6710994825,5cyclictest14026-21latency_hist10:40:090
6710994823,4cyclictest6161-21aten_rbpower_cu12:00:220
671099482,27cyclictest31483-21wget09:30:220
6710994818,20cyclictest0-21swapper/007:15:370
671099481,28cyclictest32412-21grep10:20:230
671099481,27cyclictest21142-21latency_hist10:50:080
137062480,2sleep213712-21rm12:10:122
6712994724,6cyclictest6241-21aten_rbpower_vo12:00:232
671199479,8cyclictest7950irq/56-dwc_otg_12:10:221
671199472,7cyclictest7950irq/56-dwc_otg_12:05:201
6710994733,5cyclictest7750irq/56-dwc_otg11:40:080
6710994723,4cyclictest15056-21unixbench_multi11:25:390
671099472,22cyclictest0-21swapper/012:05:230
6710994718,14cyclictest25005-21aten_rbpower_vo08:00:230
671099471,26cyclictest9203-21cut08:45:260
671099471,24cyclictest0-21swapper/009:20:260
671199467,10cyclictest7750irq/56-dwc_otg07:10:231
671199467,10cyclictest7750irq/56-dwc_otg07:10:231
671099462,26cyclictest0-21swapper/008:55:200
6710994618,15cyclictest32230-21aten_rbpower_cu11:05:210
6710994614,16cyclictest0-21swapper/011:46:240
6710994613,17cyclictest17700-21diskmemload10:00:100
671099461,12cyclictest0-21swapper/010:55:350
671099461,11cyclictest0-21swapper/009:37:020
671299457,12cyclictest7750irq/56-dwc_otg10:00:192
671299452,6cyclictest7950irq/56-dwc_otg_10:15:212
6710994520,6cyclictest7750irq/56-dwc_otg12:35:310
671399446,25cyclictest0-21swapper/307:35:223
6710994418,15cyclictest14708-21ps07:30:330
671299432,7cyclictest0-21swapper/207:10:232
671299432,7cyclictest0-21swapper/207:10:232
671199436,6cyclictest0-21swapper/110:55:201
671099431,21cyclictest0-21swapper/008:25:300
671399427,27cyclictest0-21swapper/308:10:213
671399426,22cyclictest0-21swapper/312:05:223
671299426,11cyclictest7750irq/56-dwc_otg11:40:202
671299426,11cyclictest7750irq/56-dwc_otg11:40:202
671099422,21cyclictest0-21swapper/007:50:520
244592420,2sleep10-21swapper/110:08:331
159442420,3sleep26709-21cyclictest10:41:312
159442420,3sleep26709-21cyclictest10:41:312
671399417,23cyclictest29295-21ls11:45:373
671399417,22cyclictest0-21swapper/312:20:143
671399416,23cyclictest25351-21ssh12:25:223
671299413,7cyclictest7750irq/56-dwc_otg10:55:202
6712994132,7cyclictest301ktimersoftd/211:25:212
671299412,6cyclictest0-21swapper/208:45:212
6710994118,6cyclictest7850irq/56-dwc_otg_09:05:290
6710994117,11cyclictest0-21swapper/007:35:330
141382410,4sleep30-21swapper/311:25:283
671199405,6cyclictest7750irq/56-dwc_otg08:45:211
6711994016,5cyclictest7750irq/56-dwc_otg12:25:081
6710994014,15cyclictest0-21swapper/007:20:340
267852400,1sleep30-21swapper/309:22:373
8542390,1sleep30-21swapper/309:32:153
671399394,6cyclictest398350ssh12:40:103
671299395,6cyclictest7750irq/56-dwc_otg09:45:092
6712993911,5cyclictest17700-21diskmemload09:52:372
671199396,3cyclictest7750irq/56-dwc_otg07:35:191
309532390,4sleep231-21ksoftirqd/211:49:502
671399385,19cyclictest7950irq/56-dwc_otg_07:45:373
6712993827,7cyclictest301ktimersoftd/211:30:182
6712993817,5cyclictest13675-21latency_hist11:25:092
671199383,6cyclictest24697-21cron10:55:081
6711993819,5cyclictest7952-21cat11:15:371
671199381,6cyclictest22746-21basename07:55:081
51542380,1sleep30-21swapper/309:39:523
6711993723,6cyclictest23-21ksoftirqd/108:35:221
6711993715,10cyclictest23-21ksoftirqd/111:55:081
6711993714,5cyclictest24242-21latency_hist11:40:091
671199371,3cyclictest7850irq/56-dwc_otg_08:25:211
236262370,1sleep30-21swapper/310:52:433
6713993620,5cyclictest11905-21ssh11:21:153
6713993613,5cyclictest5760-21/usr/sbin/munin09:40:333
671299367,13cyclictest7950irq/56-dwc_otg_10:35:082
671299363,4cyclictest7750irq/56-dwc_otg08:20:212
671299361,25cyclictest0-21swapper/210:49:392
6712993610,4cyclictest7750irq/56-dwc_otg11:50:212
671199365,17cyclictest7950irq/56-dwc_otg_10:25:261
671199364,12cyclictest7950irq/56-dwc_otg_08:25:081
6711993616,5cyclictest32321-21sh10:20:131
671199361,29cyclictest0-21swapper/111:04:481
671199361,15cyclictest0-21swapper/112:00:081
671399357,15cyclictest0-21swapper/309:00:203
671399354,12cyclictest7950irq/56-dwc_otg_10:20:093
671399352,2cyclictest0-21swapper/308:35:193
671399351,24cyclictest24948-21ssh11:40:283
671399351,24cyclictest24948-21ssh11:40:283
671299358,5cyclictest7850irq/56-dwc_otg_08:55:082
671299358,5cyclictest7850irq/56-dwc_otg_08:55:082
671299357,5cyclictest0-21swapper/210:20:152
671299357,4cyclictest0-21swapper/209:27:522
671299357,23cyclictest0-21swapper/207:25:202
671299355,14cyclictest7950irq/56-dwc_otg_09:05:352
671299354,15cyclictest7950irq/56-dwc_otg_09:40:082
671299352,7cyclictest7950irq/56-dwc_otg_07:55:332
6712993517,4cyclictest19118-21sh12:16:032
6712993514,8cyclictest19319-21sed07:45:092
671299350,25cyclictest0-21swapper/209:15:562
671199358,11cyclictest7950irq/56-dwc_otg_09:40:081
671199357,25cyclictest0-21swapper/107:25:201
671199357,12cyclictest0-21swapper/110:10:201
671199357,11cyclictest7950irq/56-dwc_otg_08:55:381
671199353,7cyclictest7950irq/56-dwc_otg_09:30:291
671199352,7cyclictest28216-21aten_rbpower_cu11:45:221
6711993518,4cyclictest980-21sh12:35:321
6711993515,9cyclictest13085-21sh11:24:021
671199351,4cyclictest7850irq/56-dwc_otg_08:00:261
6711993513,5cyclictest629-21ssh11:05:361
6711993511,11cyclictest6495-21fschecks_time12:00:261
6711993511,11cyclictest11909-21grep10:35:381
157902350,5sleep3671399cyclictest12:12:053
671399346,24cyclictest0-21swapper/311:05:213
671399345,20cyclictest7850irq/56-dwc_otg_11:58:073
6713993411,7cyclictest12185-21wget07:25:203
671399341,14cyclictest7950irq/56-dwc_otg_12:15:283
671299346,6cyclictest7950irq/56-dwc_otg_12:35:372
671299344,4cyclictest7750irq/56-dwc_otg10:10:312
671299343,4cyclictest7750irq/56-dwc_otg10:10:082
671299342,13cyclictest7950irq/56-dwc_otg_07:30:262
6712993415,5cyclictest301ktimersoftd/209:55:222
6712993411,11cyclictest0-21swapper/209:45:222
671199347,22cyclictest0-21swapper/107:55:231
671199344,15cyclictest7950irq/56-dwc_otg_09:15:271
671199343,21cyclictest21-21rcuc/111:10:291
671199343,21cyclictest21-21rcuc/111:10:291
6711993417,5cyclictest17700-21diskmemload09:42:051
671199341,4cyclictest17700-21diskmemload12:30:241
671399337,18cyclictest7850irq/56-dwc_otg_10:32:283
671399335,11cyclictest7950irq/56-dwc_otg_09:10:303
6713993322,5cyclictest1077-21ssh11:52:283
671399331,9cyclictest25814-21perl10:10:283
671399331,6cyclictest23260-21sh10:05:363
6713993312,9cyclictest17835-21ssh09:58:563
671299337,4cyclictest7750irq/56-dwc_otg11:35:282
671299336,5cyclictest7750irq/56-dwc_otg08:30:082
671299336,14cyclictest0-21swapper/209:20:222
671299333,5cyclictest7950irq/56-dwc_otg_11:17:432
671299333,25cyclictest7950irq/56-dwc_otg_11:00:192
671299333,13cyclictest7950irq/56-dwc_otg_11:05:372
6712993316,5cyclictest1120-21runrttasks08:05:102
671199332,8cyclictest9534-21grep07:15:381
671199332,10cyclictest7750irq/56-dwc_otg07:40:291
671199331,6cyclictest4618-21grep08:30:371
671199331,5cyclictest11827-21latency_hist09:50:091
56242338,12sleep30-21swapper/307:05:343
671399329,12cyclictest0-21swapper/309:28:553
671399324,13cyclictest7950irq/56-dwc_otg_09:45:293
671399321,6cyclictest12144-21grep09:50:233
6713993214,6cyclictest2312250wget07:55:293
671399321,3cyclictest7950irq/56-dwc_otg_10:25:203
671399321,15cyclictest7750irq/56-dwc_otg12:35:093
671299327,12cyclictest0-21swapper/209:11:352
671299326,5cyclictest7950irq/56-dwc_otg_10:35:222
671299326,13cyclictest7950irq/56-dwc_otg_12:30:332
671299324,5cyclictest7950irq/56-dwc_otg_10:25:262
671299324,5cyclictest4457-21grep11:10:382
671299324,5cyclictest4457-21grep11:10:382
6712993214,4cyclictest25819-21if_wlan012:25:282
671199326,19cyclictest0-21swapper/109:20:221
671199321,8cyclictest18746-21netstat09:10:321
671199321,6cyclictest7850irq/56-dwc_otg_09:55:241
671199321,27cyclictest11278-21ls07:20:371
671399316,6cyclictest7950irq/56-dwc_otg_08:40:393
671399315,5cyclictest7950irq/56-dwc_otg_11:15:343
671399315,5cyclictest11825-21tail08:50:363
671399315,5cyclictest11825-21tail08:50:363
671399314,6cyclictest7950irq/56-dwc_otg_07:30:313
671399314,5cyclictest6934-21/usr/sbin/munin07:10:253
671399314,5cyclictest6934-21/usr/sbin/munin07:10:253
671399314,14cyclictest7950irq/56-dwc_otg_11:35:263
671399312,6cyclictest528250ssh11:12:103
671399312,6cyclictest528250ssh11:12:103
671399311,5cyclictest17654-21wget07:40:233
671399311,4cyclictest0-21swapper/312:00:203
671299319,6cyclictest22843-21grep12:20:372
671299315,5cyclictest7750irq/56-dwc_otg08:00:262
671299314,6cyclictest7850irq/56-dwc_otg_09:30:592
671299313,12cyclictest7950irq/56-dwc_otg_07:35:372
671299311,15cyclictest7950irq/56-dwc_otg_08:40:362
671199318,11cyclictest7750irq/56-dwc_otg08:15:341
671199311,8cyclictest20778-21latency_hist11:35:091
6711993110,10cyclictest0-21swapper/109:25:231
131942310,1sleep20-21swapper/208:55:312
671399309,12cyclictest201602chrt10:01:023
671399306,14cyclictest0-21swapper/310:55:223
671399303,7cyclictest7950irq/56-dwc_otg_08:45:263
671399303,17cyclictest0-21swapper/307:50:193
671399301,2cyclictest0-21swapper/311:00:213
671399301,20cyclictest0-21swapper/308:18:043
671399301,10cyclictest7950irq/56-dwc_otg_07:15:233
671299303,6cyclictest29-21rcuc/208:35:252
671299303,13cyclictest21228-21aten_rbpower_en07:50:262
671299302,5cyclictest0-21swapper/209:00:242
6712993020,6cyclictest8606-21aten_rbpower_en07:15:252
6712993016,4cyclictest19809-21if_wlan007:45:282
6712993011,5cyclictest3548-21aten_rbpower_en08:30:232
671199302,6cyclictest14566-21cut09:00:241
671199301,6cyclictest16889-21wc09:05:321
671199301,5cyclictest7950irq/56-dwc_otg_08:50:251
671199301,5cyclictest7950irq/56-dwc_otg_08:50:251
6713992913,5cyclictest1120-21runrttasks08:04:593
671399291,15cyclictest0-21swapper/307:25:093
671199296,21cyclictest0-21swapper/107:30:221
671199291,25cyclictest7706-21missed_timers08:40:321
671399281,15cyclictest26738-21cut08:05:233
671299283,10cyclictest28943-21if_wlan008:10:272
671199284,14cyclictest11-21rcu_preempt07:45:301
61062283,15sleep10-21swapper/107:05:561
671399273,3cyclictest7750irq/56-dwc_otg10:35:223
671399272,6cyclictest0-21swapper/309:05:323
671399272,4cyclictest0-21swapper/308:55:303
671399271,23cyclictest2448-21ls08:25:353
671399271,15cyclictest7750irq/56-dwc_otg10:49:543
671299273,14cyclictest7750irq/56-dwc_otg08:15:332
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional