You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-28 - 14:23

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Fri Nov 28, 2025 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
174321660,2sleep2302599cyclictest00:25:282
2066321350,2sleep1302499cyclictest23:24:201
302399957,48cyclictest0-21swapper/020:20:140
302399853,38cyclictest0-21swapper/022:50:210
302499751,14cyclictest30424-21ssh00:20:241
118282750,4sleep111471-21apt-get23:55:161
302599741,56cyclictest3054-21apt-get19:10:232
207492740,6sleep2302599cyclictest22:41:252
302599731,55cyclictest4963-21apt-get19:15:232
302599731,55cyclictest4963-21apt-get19:15:232
302599721,48cyclictest7826-21ls19:20:402
3023997214,12cyclictest0-21swapper/019:20:250
3026997034,23cyclictest7950irq/56-dwc_otg_00:25:253
302399703,54cyclictest0-21swapper/020:10:240
302399703,54cyclictest0-21swapper/020:10:240
302399701,54cyclictest1586-21aten_rbpower_po20:35:240
297102690,1sleep20-21swapper/200:19:242
302399681,34cyclictest0-21swapper/021:05:230
302599671,37cyclictest3675-21ssh22:20:232
302599653,38cyclictest7950irq/56-dwc_otg_00:00:242
302599651,44cyclictest13158-21tune2fs21:50:292
302599651,43cyclictest6184-21ssh23:46:452
302599651,41cyclictest23306-21rm23:26:482
302599651,41cyclictest16372-21ssh23:18:272
302399653,5cyclictest5073-21ssh21:40:210
302399651,53cyclictest824-21timerwakeupswit22:15:380
302399651,44cyclictest0-21swapper/022:45:230
302399651,10cyclictest14250-21ssh21:10:220
302599641,49cyclictest3972-21awk20:40:312
302599641,49cyclictest3972-21awk20:40:312
302599641,43cyclictest27981-21users22:50:392
302599641,43cyclictest0-21swapper/220:27:152
302599641,42cyclictest12214-21ssh23:12:562
302599641,41cyclictest20491-21awk19:55:372
302399645,51cyclictest14940-21ls19:40:350
302599632,38cyclictest3454-21sh23:43:592
302599631,43cyclictest18076-21apt-get21:15:212
302599631,39cyclictest3231-21/usr/sbin/munin23:00:392
302599631,39cyclictest24758-21ssh21:23:432
302599631,36cyclictest0-21swapper/223:35:362
302399639,36cyclictest31006-21unixbench_multi21:30:390
302399639,36cyclictest31006-21unixbench_multi21:30:390
3023996322,21cyclictest0-21swapper/023:10:240
302599621,43cyclictest20508-21ssh23:24:002
3024996214,19cyclictest0-21swapper/123:30:201
302399628,43cyclictest0-21swapper/021:35:290
3023996216,9cyclictest7750irq/56-dwc_otg00:17:100
302599611,49cyclictest22450-21ssh00:09:352
302599611,42cyclictest24820-21ssh00:11:502
302599611,41cyclictest11430-21rm21:48:032
302599611,40cyclictest2066-21memory20:35:302
302599611,38cyclictest11178-21ssh00:39:352
302599601,43cyclictest22374-21users20:00:382
302599601,43cyclictest14492-21/usr/sbin/munin21:10:262
302599601,42cyclictest18161-21ssh21:55:572
302599601,41cyclictest23299-21/usr/sbin/munin22:45:292
302599601,39cyclictest32511-21runrttasks00:22:362
302599601,39cyclictest27440-21sh21:26:072
302399608,8cyclictest0-21swapper/019:30:200
302399602,31cyclictest15959-21cpuspeed19:45:230
302399601,34cyclictest0-21swapper/023:15:220
302599591,46cyclictest11471-21apt-get23:55:132
302599591,41cyclictest1219-21ssh22:59:232
302599591,39cyclictest29985-21rm22:11:242
302599581,40cyclictest3117-21sh21:36:522
302599581,40cyclictest23676-21ssh22:04:212
3023995826,12cyclictest7950irq/56-dwc_otg_23:05:230
302399582,4cyclictest30536-21ssh22:55:220
3023995815,5cyclictest0-21swapper/022:30:220
3023995813,37cyclictest14004-21grep21:50:410
302699574,9cyclictest0-21swapper/319:35:223
302599573,32cyclictest7850irq/56-dwc_otg_21:30:362
302599573,32cyclictest7850irq/56-dwc_otg_21:30:362
302599571,42cyclictest27584-21sh22:09:232
302399574,31cyclictest29260-21ssh23:35:230
302399572,32cyclictest25601-21fschecks_count23:30:260
302399572,25cyclictest0-21swapper/000:35:360
302399571,34cyclictest0-21swapper/023:20:210
302599561,46cyclictest27539-21ssh23:32:282
302599561,45cyclictest17053-21ssh22:36:402
302599561,45cyclictest17053-21ssh22:36:402
302599561,40cyclictest32099-21ssh22:15:122
302499565,19cyclictest23-21ksoftirqd/119:55:201
302499562,7cyclictest0-21swapper/122:10:211
3023995635,4cyclictest19439-21cut22:40:270
302399562,29cyclictest5794-21ntpq20:45:330
302399561,26cyclictest0-21swapper/023:00:220
3023995612,41cyclictest101ktimersoftd/019:55:200
302599551,48cyclictest28734-21/usr/sbin/munin20:20:262
302599551,45cyclictest13066-21ssh22:31:252
302599551,38cyclictest8220-21rm23:07:422
302599551,36cyclictest9120-21ssh22:26:142
3023995535,5cyclictest7850irq/56-dwc_otg_21:55:340
3023995534,10cyclictest7950irq/56-dwc_otg_22:20:370
302399551,25cyclictest25840-21apt-get21:25:150
3023995511,6cyclictest10850-21fschecks_time21:00:310
302699545,7cyclictest0-21swapper/300:35:203
302599541,43cyclictest8565-21ssh21:45:032
302599541,42cyclictest0-21swapper/200:33:442
3023995432,4cyclictest7850irq/56-dwc_otg_00:25:380
3023995427,13cyclictest7950irq/56-dwc_otg_21:50:090
302399542,40cyclictest16366-21kworker/u8:222:00:260
302399541,47cyclictest0-21swapper/022:05:400
302399541,29cyclictest23996-21wc20:05:370
302399541,29cyclictest12792-21ssh23:55:350
3023995411,8cyclictest0-21swapper/019:10:210
302599532,38cyclictest0-21swapper/220:06:202
302599531,35cyclictest10143-21ssh23:52:212
302599531,32cyclictest0-21swapper/221:00:422
3023995333,6cyclictest12892sleep023:40:330
302399532,7cyclictest0-21swapper/000:10:210
302399532,32cyclictest22088-21aten_rbpower_vo21:20:240
3023995315,22cyclictest15628-21/usr/sbin/munin22:35:280
3023995315,22cyclictest15628-21/usr/sbin/munin22:35:280
302599521,39cyclictest17605-21apt-get19:50:232
302499522,21cyclictest0-21swapper/123:15:301
302399525,5cyclictest0-21swapper/020:30:210
302599511,36cyclictest0-21swapper/219:37:012
302499517,27cyclictest0-21swapper/120:10:231
302499517,27cyclictest0-21swapper/120:10:231
302399519,30cyclictest0-21swapper/023:45:210
3023995120,5cyclictest19142-21timerandwakeup21:15:370
302699503,9cyclictest7750irq/56-dwc_otg22:05:253
302599501,46cyclictest12345-21apt-get21:05:242
302599501,38cyclictest0-21swapper/220:30:152
302599501,30cyclictest8563-21/usr/sbin/munin19:25:282
302399502,30cyclictest5674-21ssh00:30:370
3023995019,22cyclictest20187-21switchtime00:05:360
3023995014,23cyclictest0-21swapper/020:15:330
302399501,25cyclictest0-21swapper/000:01:470
302599491,45cyclictest8766-21/usr/sbin/munin20:55:242
302599491,45cyclictest6932-21apt-get20:50:252
302599491,45cyclictest27064-21irqstats20:15:302
302499493,24cyclictest0-21swapper/122:55:221
3023994926,5cyclictest7950irq/56-dwc_otg_22:25:360
302399491,33cyclictest0-21swapper/023:25:550
302699488,8cyclictest7850irq/56-dwc_otg_19:40:203
302499483,13cyclictest0-21swapper/121:05:241
3023994815,17cyclictest12876-21/usr/sbin/munin19:35:330
302599471,43cyclictest14035-21taskset19:40:222
302599471,42cyclictest17355-21latency_hist19:50:092
302499477,10cyclictest7850irq/56-dwc_otg_22:50:221
302399472,24cyclictest0-21swapper/023:50:340
3023994713,21cyclictest0-21swapper/020:40:340
3023994713,21cyclictest0-21swapper/020:40:340
302699467,25cyclictest0-21swapper/319:10:233
302599461,42cyclictest10899-21grep19:30:292
302599461,41cyclictest5936-21/usr/sbin/munin20:45:362
302499468,25cyclictest0-21swapper/119:15:151
302499468,25cyclictest0-21swapper/119:15:151
302399462,27cyclictest0-21swapper/019:15:330
302399462,27cyclictest0-21swapper/019:15:330
3023994619,18cyclictest8816-21wget20:55:240
302399461,28cyclictest0-21swapper/000:20:320
302399461,25cyclictest31814-21ssh22:15:050
302699456,25cyclictest0-21swapper/320:00:223
302499457,26cyclictest0-21swapper/120:20:241
302499456,23cyclictest0-21swapper/121:00:271
3024994514,10cyclictest0-21swapper/121:15:201
302399451,19cyclictest22294-21sed20:00:370
24762453,35sleep00-21swapper/019:06:340
302699447,25cyclictest0-21swapper/319:25:233
302699447,23cyclictest0-21swapper/300:05:223
302599441,31cyclictest31331-21snmpd20:11:402
302599441,31cyclictest31331-21snmpd20:11:402
302499447,24cyclictest24468-21sh22:05:261
3024994420,5cyclictest26874-21fschecks_count20:15:271
3023994424,5cyclictest0-21swapper/020:50:250
3026994322,5cyclictest17536-21latency_hist19:50:103
302499438,11cyclictest7850irq/56-dwc_otg_21:40:221
302499434,8cyclictest0-21swapper/120:55:211
302399438,17cyclictest17889-21fschecks_time19:50:290
302699427,24cyclictest0-21swapper/319:15:143
302699427,24cyclictest0-21swapper/319:15:143
302699427,22cyclictest0-21swapper/323:30:223
302499424,8cyclictest9413-21ssh23:10:091
19042420,2sleep10-21swapper/119:05:331
302699417,24cyclictest0-21swapper/323:10:243
3024994119,5cyclictest7152-21sh23:48:491
3024994113,19cyclictest0-21swapper/100:17:131
302399412,20cyclictest31848-21sshd20:29:410
302399411,25cyclictest0-21swapper/019:25:410
302072410,2sleep127488-1kworker/u9:023:35:351
274242411,5sleep327463-21ntp_states22:50:333
325562400,2sleep10-21swapper/122:15:271
302699409,5cyclictest0-21swapper/323:35:263
302499409,22cyclictest31074-21sed21:30:401
302499409,22cyclictest31074-21sed21:30:401
302499409,20cyclictest7750irq/56-dwc_otg23:44:581
302499404,25cyclictest0-21swapper/120:30:211
302499402,5cyclictest20909-21fschecks_time22:00:271
302499401,31cyclictest0-21swapper/119:45:191
302499401,28cyclictest23037-21ssh00:10:231
302699397,22cyclictest0-21swapper/321:25:263
302699394,25cyclictest0-21swapper/319:55:223
302699394,18cyclictest7950irq/56-dwc_otg_22:00:103
302699393,6cyclictest37-21rcuc/323:15:383
302699393,19cyclictest7950irq/56-dwc_otg_22:25:213
302499396,23cyclictest7750irq/56-dwc_otg19:31:311
302499393,25cyclictest7750irq/56-dwc_otg21:55:211
302499391,9cyclictest0-21swapper/123:10:241
302699383,22cyclictest0-21swapper/320:05:243
3026993814,14cyclictest39-21ksoftirqd/323:55:093
302699381,25cyclictest30690-21ls20:25:293
302499382,21cyclictest0-21swapper/120:25:211
302699375,5cyclictest7950irq/56-dwc_otg_22:40:103
302699375,5cyclictest7950irq/56-dwc_otg_22:40:103
302699373,4cyclictest0-21swapper/300:15:093
302499378,17cyclictest7116-21taskset19:20:301
302499377,20cyclictest7750irq/56-dwc_otg23:00:331
302499377,20cyclictest7750irq/56-dwc_otg00:05:231
302499374,11cyclictest0-21swapper/122:45:231
3024993713,14cyclictest13904-21diskmemload22:43:411
302699366,8cyclictest39-21ksoftirqd/322:20:203
3026993614,7cyclictest1120-21runrttasks21:50:533
302499366,11cyclictest0-21swapper/121:10:221
302499363,5cyclictest21427-21apt-get23:25:211
302499363,25cyclictest7950irq/56-dwc_otg_22:25:281
3024993619,7cyclictest13904-21diskmemload21:25:151
3024993612,5cyclictest7850irq/56-dwc_otg_22:30:221
177612361,31sleep117770-21ssh22:38:071
177612361,31sleep117770-21ssh22:38:071
313672350,4sleep331365-21grep00:20:383
302699356,5cyclictest7950irq/56-dwc_otg_23:30:093
302699356,5cyclictest7750irq/56-dwc_otg19:20:413
302699353,17cyclictest7950irq/56-dwc_otg_21:05:403
302699351,21cyclictest15040-21ls22:35:103
302499357,25cyclictest0-21swapper/120:40:231
302499357,25cyclictest0-21swapper/120:40:231
302499357,19cyclictest7750irq/56-dwc_otg00:30:291
302499355,25cyclictest7950irq/56-dwc_otg_20:05:211
302499353,20cyclictest0-21swapper/120:00:231
3024993519,7cyclictest10534-21ssh23:53:091
3024993512,12cyclictest0-21swapper/100:37:311
16812355,19sleep21778-21memory19:05:312
302699348,9cyclictest39-21ksoftirqd/321:15:373
302699347,15cyclictest0-21swapper/321:00:283
302699346,16cyclictest7750irq/56-dwc_otg21:30:243
302699346,16cyclictest7750irq/56-dwc_otg21:30:243
302699345,4cyclictest15894-21ssh00:00:293
3026993416,4cyclictest7850irq/56-dwc_otg_23:55:113
302499345,6cyclictest7850irq/56-dwc_otg_21:50:411
302499343,16cyclictest22052-21aten_rbpower_po21:20:241
302499342,4cyclictest14811-21sensors19:40:341
3024993415,4cyclictest17804-21seq19:50:271
3024993414,7cyclictest9395-21sensors19:25:351
302699339,12cyclictest0-21swapper/323:05:543
302699338,14cyclictest39-21ksoftirqd/320:15:213
302699337,23cyclictest0-21swapper/323:00:223
302699337,18cyclictest37-21rcuc/322:58:573
302699336,5cyclictest39-21ksoftirqd/321:25:103
302699333,14cyclictest1120-21runrttasks21:47:273
3026993311,9cyclictest37-21rcuc/321:10:213
3026993310,4cyclictest0-21swapper/323:20:283
3026993310,12cyclictest0-21swapper/322:17:353
302499335,19cyclictest7750irq/56-dwc_otg22:20:291
302499334,20cyclictest7750irq/56-dwc_otg19:10:351
302499332,6cyclictest0-21swapper/100:25:291
3024993314,12cyclictest0-21swapper/121:35:351
302699326,13cyclictest0-21swapper/321:35:353
302699322,5cyclictest7850irq/56-dwc_otg_22:10:273
3026993213,12cyclictest1120-21runrttasks20:20:303
302699321,27cyclictest7950irq/56-dwc_otg_23:45:213
302699321,20cyclictest3892-21ls20:40:303
302699321,20cyclictest3892-21ls20:40:303
302499328,12cyclictest7750irq/56-dwc_otg19:35:341
302499327,15cyclictest0-21swapper/100:00:251
302499323,12cyclictest13904-21diskmemload21:46:181
302499322,9cyclictest0-21swapper/120:45:211
302699317,11cyclictest0-21swapper/322:41:293
302699314,12cyclictest7950irq/56-dwc_otg_23:40:283
302699313,17cyclictest7950irq/56-dwc_otg_00:30:433
302699312,25cyclictest7950irq/56-dwc_otg_20:30:213
302699312,18cyclictest0-21swapper/322:47:163
302699311,13cyclictest7750irq/56-dwc_otg20:45:363
302499311,10cyclictest0-21swapper/120:35:541
302699306,15cyclictest0-21swapper/322:00:223
3026993014,5cyclictest37-21rcuc/320:13:473
3026993014,5cyclictest37-21rcuc/320:13:473
302699301,21cyclictest1859-21idleruntime20:35:283
302699301,13cyclictest7750irq/56-dwc_otg21:40:233
302699296,14cyclictest0-21swapper/300:15:153
302699292,6cyclictest7750irq/56-dwc_otg20:55:263
302499291,17cyclictest7426-21ls20:50:311
3026992718,7cyclictest39-21ksoftirqd/319:50:383
3026992712,4cyclictest37-21rcuc/319:34:193
302699271,16cyclictest7251-21cut20:50:293
24692276,14sleep30-21swapper/319:06:293
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional