You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-25 - 23:25

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack7slot3s.osadl.org (updated Tue Nov 25, 2025 12:43:39)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1677321040,5sleep316771-21http11:45:083
2807699972,54cyclictest0-21swapper/307:55:223
94762930,19sleep27950irq/56-dwc_otg_12:19:212
59622880,6sleep12807499cyclictest09:55:361
95232780,2sleep00-21swapper/011:35:070
28073997812,45cyclictest22952-21aten_rbpower_po08:25:230
28073997514,43cyclictest17459-21fschecks_count11:45:260
2807399749,47cyclictest11850-21fschecks_count10:05:270
2807399746,50cyclictest5628-21sort07:35:350
2807399735,56cyclictest0-21swapper/011:25:350
2807699701,57cyclictest0-21swapper/309:25:223
2807399703,40cyclictest0-21swapper/009:05:300
28073997012,43cyclictest3015-21tr07:30:230
202332700,2sleep013-21rcuc/010:16:290
28073996912,49cyclictest12751-21ssh09:18:420
2807399684,42cyclictest140-21systemd-journal12:05:070
2807399681,51cyclictest17304-21grep08:10:080
2807399677,51cyclictest0-21swapper/008:35:270
2807399677,51cyclictest0-21swapper/008:35:270
2807399669,41cyclictest17493-21ssh12:30:220
2807399669,31cyclictest4298-21ssh09:54:550
2807399665,48cyclictest24660-21/usr/sbin/munin08:30:190
2807399664,48cyclictest0-21swapper/007:10:110
2807399664,48cyclictest0-21swapper/007:10:110
28073996612,40cyclictest15585-21grep10:55:380
2807399658,38cyclictest0-21swapper/011:39:480
2807399653,46cyclictest1431-21date08:55:090
28073996532,3cyclictest0-21swapper/007:45:350
2807399648,32cyclictest31325-21/usr/sbin/munin12:05:330
2807399646,41cyclictest0-21swapper/010:30:230
2807399641,48cyclictest15341-21fschecks_time10:10:260
28073996413,33cyclictest22218-21ssh09:32:280
2807399638,47cyclictest140-21systemd-journal09:00:080
2807399637,41cyclictest20826-21munin-plugin-st08:20:080
2807399637,41cyclictest20826-21munin-plugin-st08:20:080
2807399631,49cyclictest14705-21grep09:20:390
28073996314,25cyclictest19012-21ssh11:00:460
121562630,2sleep30-21swapper/311:37:513
28075996227,17cyclictest17666-21apt-get11:00:202
2807399629,35cyclictest0-21swapper/007:25:300
2807399625,42cyclictest1817-21sh10:35:570
28073996216,35cyclictest6888-21ssh10:44:360
28073996210,28cyclictest19858-21idleruntime-cro09:30:080
220622620,2sleep20-21swapper/211:50:552
2807399617,42cyclictest0-21swapper/012:36:190
2807399613,40cyclictest0-21swapper/010:50:080
2807399613,40cyclictest0-21swapper/010:50:080
28073996116,36cyclictest3716-21if_wlan009:00:290
191582610,5sleep12807499cyclictest11:47:361
2807399608,27cyclictest13599-21modprobe12:25:080
2807399606,43cyclictest0-21swapper/009:59:220
2807399604,40cyclictest23592-21chrt09:35:140
2807399604,40cyclictest23592-21chrt09:35:140
28073996016,30cyclictest31762-21apt-get11:20:200
28073996012,33cyclictest9383-21rm12:19:090
28073996011,33cyclictest25934-21cpu10:25:220
2807399598,44cyclictest24834-21awk11:10:230
28073995942,4cyclictest7750irq/56-dwc_otg09:50:080
2807399593,42cyclictest0-21swapper/008:25:070
28073995915,29cyclictest15770-21ssh11:42:590
2807399582,41cyclictest3160-21ssh12:10:280
28073995810,32cyclictest12902-21ssh10:52:240
28075995723,7cyclictest7950irq/56-dwc_otg_10:55:212
2807399579,39cyclictest24943-21/usr/sbin/munin11:55:320
2807399579,39cyclictest24943-21/usr/sbin/munin11:55:320
2807399577,31cyclictest24112-21ssh10:22:070
2807399576,48cyclictest31811-21tr07:20:210
2807399575,34cyclictest0-21swapper/010:00:250
28073995712,36cyclictest8413-21ssh09:11:000
28073995712,36cyclictest8413-21ssh09:11:000
262642579,26sleep126344-21cut07:05:241
28075995624,8cyclictest21623-21ls08:20:302
28075995622,17cyclictest32061-21/usr/sbin/munin12:05:292
2807399568,35cyclictest15498-21ssh12:26:420
2807399568,35cyclictest15498-21ssh12:26:420
2807399562,40cyclictest28486-21/usr/sbin/munin08:40:210
28073995614,30cyclictest30371-21ssh11:17:290
28073995614,30cyclictest30371-21ssh11:17:290
28073995611,29cyclictest22694-21ssh11:06:220
28075995529,20cyclictest0-21swapper/207:10:112
28075995529,20cyclictest0-21swapper/207:10:112
28075995527,13cyclictest23056-21cat08:25:232
28075995525,15cyclictest22386-21ssh09:32:512
28075995516,23cyclictest7850irq/56-dwc_otg_07:20:082
28073995525,4cyclictest0-21swapper/007:50:180
2807399552,35cyclictest0-21swapper/009:40:270
2807399551,44cyclictest0-21swapper/008:14:550
2807399551,35cyclictest31456-21head08:45:360
28075995422,17cyclictest28117-21ssh10:28:012
2807399542,36cyclictest0-21swapper/007:56:300
2807399541,41cyclictest21353-21runrttasks11:50:310
28075995319,12cyclictest730-21ssh09:49:222
28073995310,32cyclictest0-21swapper/008:02:040
28075995218,13cyclictest24604-21cat09:35:352
28075995218,13cyclictest24604-21cat09:35:352
185052520,2sleep10-21swapper/112:30:351
55552510,2sleep30-21swapper/310:41:273
28075995128,12cyclictest3903-21ls09:00:312
28075995126,8cyclictest3116-21diskstats07:30:252
28075995120,12cyclictest6130-21grep09:05:362
28075995115,20cyclictest7850irq/56-dwc_otg_10:11:052
2807399514,30cyclictest7723-21runrttasks07:40:540
278002512,9sleep027842-21ls07:10:080
28076995021,6cyclictest3173-21if_wlan012:10:283
28075995027,12cyclictest2136-21ls07:25:362
28075995020,13cyclictest25109-21if_wlan008:30:272
28075995013,19cyclictest7950irq/56-dwc_otg_10:47:252
28075995013,19cyclictest7950irq/56-dwc_otg_10:47:252
28075995012,21cyclictest7950irq/56-dwc_otg_10:20:362
2807599499,25cyclictest0-21swapper/207:51:242
28075994923,12cyclictest3025-21ssh10:38:402
28075994922,16cyclictest5525-21ssh12:13:572
28075994922,12cyclictest13448-21ssh11:40:122
28075994915,13cyclictest24582-21awk12:40:082
28075994914,20cyclictest7850irq/56-dwc_otg_09:27:132
28075994911,12cyclictest20283-21ssh10:16:362
2807399491,40cyclictest0-21swapper/007:17:260
2807599489,14cyclictest7750irq/56-dwc_otg09:57:422
28075994823,11cyclictest17455-21ssh12:30:182
28075994822,12cyclictest25986-21sh11:56:472
28075994822,12cyclictest25986-21sh11:56:472
28075994820,13cyclictest31762-21apt-get11:20:222
28075994817,17cyclictest16939-21taskset08:07:042
28075994812,22cyclictest29544-21ssh09:43:572
2807499483,5cyclictest7750irq/56-dwc_otg11:35:191
28074994811,22cyclictest0-21swapper/108:00:401
2807599474,6cyclictest0-21swapper/211:45:192
28075994721,16cyclictest26523-21ssh11:11:582
28075994716,14cyclictest3043-21awk09:00:082
28075994715,11cyclictest7850irq/56-dwc_otg_10:30:302
28075994714,19cyclictest7750irq/56-dwc_otg07:56:362
28075994714,12cyclictest10283-21ssh10:02:502
28075994713,21cyclictest7850irq/56-dwc_otg_11:17:562
28075994713,21cyclictest7850irq/56-dwc_otg_11:17:562
2807699467,25cyclictest0-21swapper/310:30:233
28076994619,6cyclictest17389-21sh11:45:243
28076994612,5cyclictest381ktimersoftd/312:05:303
28075994622,17cyclictest12936-21ssh12:23:432
28075994619,12cyclictest921-21chrt08:51:452
28075994613,12cyclictest7850irq/56-dwc_otg_11:31:532
2807499467,25cyclictest0-21swapper/107:45:201
2807499466,25cyclictest0-21swapper/107:50:201
2807499466,25cyclictest0-21swapper/107:25:221
2807699458,7cyclictest21511-21if_wlan008:20:283
28075994523,12cyclictest5613-21/usr/sbin/munin07:35:352
28075994521,14cyclictest15045-21ssh09:21:442
28075994521,13cyclictest4141-21rm09:54:342
28075994521,13cyclictest12343-21ntp_states10:05:332
28075994520,11cyclictest29361-21ssh12:01:232
28075994517,12cyclictest20873-21cut08:20:082
28075994517,12cyclictest20873-21cut08:20:082
28075994514,18cyclictest12975-21ssh10:52:342
2807499456,25cyclictest0-21swapper/108:50:211
2807499456,24cyclictest0-21swapper/108:35:131
2807499456,24cyclictest0-21swapper/108:35:131
2807499455,25cyclictest0-21swapper/108:30:211
2807499453,26cyclictest0-21swapper/112:25:231
2807499453,26cyclictest0-21swapper/112:25:231
28075994424,7cyclictest31925-21df07:20:222
28075994421,11cyclictest8515-21ssh09:11:172
28075994421,11cyclictest8515-21ssh09:11:172
28075994420,15cyclictest18788-21sshd08:12:362
28074994426,4cyclictest7950irq/56-dwc_otg_09:30:381
28074994422,12cyclictest7750irq/56-dwc_otg11:20:381
2807699437,24cyclictest0-21swapper/310:35:223
2807699436,25cyclictest0-21swapper/311:10:213
28075994327,11cyclictest8866-21ls07:45:272
28075994317,11cyclictest6646-21diskmemload11:09:292
28075994317,11cyclictest5704-21ssh10:41:472
28074994311,9cyclictest28072-21cyclictest07:10:111
28074994311,9cyclictest28072-21cyclictest07:10:111
2807699429,10cyclictest9378-21ssh09:13:403
2807699429,10cyclictest9378-21ssh09:13:403
2807699427,24cyclictest0-21swapper/310:05:223
28076994210,4cyclictest7850irq/56-dwc_otg_10:00:253
28075994218,11cyclictest11871-21ssh09:16:402
28075994212,12cyclictest7750irq/56-dwc_otg11:25:572
2807499427,26cyclictest0-21swapper/110:30:231
28074994221,5cyclictest23-21ksoftirqd/110:55:291
28074994215,13cyclictest7750irq/56-dwc_otg09:45:071
28074994213,5cyclictest21-21rcuc/110:25:081
2807699419,9cyclictest381ktimersoftd/307:30:273
2807699418,6cyclictest24556-21/usr/sbin/munin09:35:343
2807699418,6cyclictest24556-21/usr/sbin/munin09:35:343
2807699417,4cyclictest5791-21/usr/sbin/munin09:05:333
2807699417,25cyclictest0-21swapper/312:25:233
2807699417,25cyclictest0-21swapper/312:25:233
2807699416,25cyclictest0-21swapper/307:10:213
2807699416,25cyclictest0-21swapper/307:10:213
2807699412,10cyclictest8058-21ssh11:31:303
2807699411,23cyclictest0-21swapper/309:24:503
28075994117,14cyclictest7950irq/56-dwc_otg_11:35:242
28075994112,16cyclictest0-21swapper/208:38:442
28075994112,16cyclictest0-21swapper/208:38:442
2807499419,22cyclictest0-21swapper/111:40:551
2807499416,22cyclictest0-21swapper/107:35:221
2807499415,7cyclictest23-21ksoftirqd/107:30:261
2807699407,24cyclictest0-21swapper/308:15:213
2807699407,24cyclictest0-21swapper/308:15:213
2807699407,23cyclictest0-21swapper/311:20:223
28076994012,8cyclictest381ktimersoftd/308:30:453
2807699401,24cyclictest0-21swapper/308:50:213
28076994011,6cyclictest20275-21ssh10:16:343
28075994024,13cyclictest15086-21unixbench_multi12:25:542
28075994024,13cyclictest15086-21unixbench_multi12:25:542
2807499407,23cyclictest0-21swapper/111:50:131
2807499401,22cyclictest0-21swapper/110:05:201
2807699391,23cyclictest0-21swapper/308:35:143
2807699391,23cyclictest0-21swapper/308:35:143
28075993911,11cyclictest0-21swapper/207:41:152
2807499396,4cyclictest0-21swapper/111:59:171
2807499396,4cyclictest0-21swapper/111:59:171
2807499392,24cyclictest6504-21ssh11:30:221
28074993913,18cyclictest221ktimersoftd/108:25:321
2807499391,21cyclictest23-21ksoftirqd/109:05:301
2807699385,14cyclictest17606-21wget12:30:233
28076993821,5cyclictest5734-21sshd07:35:363
28076993815,5cyclictest24485-21latency_hist08:30:083
2807699381,22cyclictest0-21swapper/307:45:203
2807699380,12cyclictest31980-21fschecks_count07:20:243
28075993824,12cyclictest28782-21fschecks_time08:40:272
28075993812,10cyclictest0-21swapper/208:04:262
2807499383,22cyclictest7750irq/56-dwc_otg09:52:371
28074993823,6cyclictest23-21ksoftirqd/112:10:371
2807499382,29cyclictest7850irq/56-dwc_otg_08:45:341
28074993816,3cyclictest7750irq/56-dwc_otg09:25:291
2807499376,4cyclictest7950irq/56-dwc_otg_11:00:381
2807499376,22cyclictest7750irq/56-dwc_otg10:25:221
2807499375,14cyclictest7750irq/56-dwc_otg09:10:351
2807499375,14cyclictest7750irq/56-dwc_otg09:10:351
2807499374,9cyclictest23-21ksoftirqd/109:35:351
2807499374,9cyclictest23-21ksoftirqd/109:35:351
28074993724,4cyclictest20032sleep110:36:221
28074993722,9cyclictest221ktimersoftd/109:21:491
28074993718,9cyclictest221ktimersoftd/111:09:341
2807499371,25cyclictest221ktimersoftd/111:15:041
28074993712,5cyclictest0-21swapper/112:20:491
2807499371,25cyclictest0-21swapper/107:20:211
2807499371,21cyclictest0-21swapper/109:45:241
108412371,5sleep16646-21diskmemload10:50:121
2807699368,14cyclictest7850irq/56-dwc_otg_09:20:073
2807699362,4cyclictest1463-21apt-get08:55:193
2807699361,6cyclictest7950irq/56-dwc_otg_07:40:223
28076993616,7cyclictest7750irq/56-dwc_otg09:00:343
28076993612,8cyclictest381ktimersoftd/311:17:523
28076993612,8cyclictest381ktimersoftd/311:17:523
2807699361,24cyclictest0-21swapper/309:54:583
28076993611,16cyclictest381ktimersoftd/310:55:203
28075993623,11cyclictest30651-21basename08:45:262
2807499364,20cyclictest7750irq/56-dwc_otg12:00:281
2807499361,22cyclictest7950irq/56-dwc_otg_10:00:371
28074993611,15cyclictest0-21swapper/107:55:221
15462361,2sleep30-21swapper/307:25:293
13322362,2sleep10-21swapper/112:08:061
69182350,2sleep10-21swapper/110:44:401
2807699358,8cyclictest27946-21ssh10:27:393
28076993518,8cyclictest381ktimersoftd/309:30:123
28076993517,5cyclictest30386-21apt-get09:45:203
28076993512,7cyclictest381ktimersoftd/312:25:083
28076993510,15cyclictest0-21swapper/308:01:453
2807499356,12cyclictest21-21rcuc/109:00:081
2807499352,2cyclictest0-21swapper/108:15:191
2807499352,2cyclictest0-21swapper/108:15:191
28074993518,9cyclictest221ktimersoftd/109:00:351
28074993517,8cyclictest221ktimersoftd/111:25:551
28074993515,9cyclictest221ktimersoftd/112:39:161
28074993511,12cyclictest23-21ksoftirqd/108:15:091
2807699348,9cyclictest39-21ksoftirqd/311:25:323
2807699348,15cyclictest0-21swapper/312:15:283
2807699346,5cyclictest7850irq/56-dwc_otg_12:00:403
2807699342,11cyclictest24063-21ssh11:09:323
28076993418,4cyclictest7850irq/56-dwc_otg_09:57:423
2807499343,22cyclictest7950irq/56-dwc_otg_12:15:331
2807499341,7cyclictest15699-21aten_rbpower_en08:05:231
2807499341,7cyclictest15252-21ssh10:10:241
28074993416,5cyclictest21-21rcuc/108:22:431
2807499341,25cyclictest7750irq/56-dwc_otg10:46:231
2807499341,25cyclictest7750irq/56-dwc_otg10:46:231
2807699333,20cyclictest37-21rcuc/310:22:103
28076993316,8cyclictest381ktimersoftd/312:36:263
28076993313,5cyclictest28288-21sh09:40:443
28076993313,5cyclictest25694-21sh11:56:073
28076993313,5cyclictest25694-21sh11:56:073
28076993313,11cyclictest381ktimersoftd/310:52:273
2807499339,12cyclictest7750irq/56-dwc_otg11:17:581
2807499339,12cyclictest7750irq/56-dwc_otg11:17:581
2807499338,17cyclictest221ktimersoftd/110:16:581
2807499333,21cyclictest7750irq/56-dwc_otg07:15:391
2807499332,20cyclictest7750irq/56-dwc_otg08:40:321
2807699324,4cyclictest39-21ksoftirqd/311:50:403
2807699321,24cyclictest0-21swapper/310:46:283
2807699321,24cyclictest0-21swapper/310:46:283
2807499325,12cyclictest0-21swapper/109:15:321
2807499321,20cyclictest0-21swapper/107:40:201
275172324,20sleep30-21swapper/307:06:353
2807699319,4cyclictest16613-21rm10:11:233
2807699314,10cyclictest7750irq/56-dwc_otg08:40:343
2807699311,8cyclictest17265-21cat08:10:083
2807699311,20cyclictest18742-21cat11:00:373
2807699311,15cyclictest0-21swapper/308:45:283
2807699308,14cyclictest0-21swapper/307:17:453
2807699302,12cyclictest7950irq/56-dwc_otg_08:14:583
2807699281,17cyclictest0-21swapper/307:50:153
275782263,14sleep20-21swapper/207:07:232
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional