You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-29 - 10:03

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Sun Mar 29, 2026 00:43:38)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
12238991133,12cyclictest12243-21apt-get19:10:140
12238991011,79cyclictest19919-21timerandwakeup23:00:380
1223899961,78cyclictest14303-21fschecks_count22:15:280
53192920,2sleep00-21swapper/020:20:250
235402900,6sleep31224499cyclictest21:47:403
12238999018,31cyclictest0-21swapper/023:20:180
30692890,3sleep123-21ksoftirqd/120:15:111
12239998926,33cyclictest7850irq/56-dwc_otg_23:20:181
12238998831,37cyclictest7850irq/56-dwc_otg_00:00:280
12238998831,37cyclictest7850irq/56-dwc_otg_00:00:280
12238998828,44cyclictest21361-21/usr/sbin/munin00:20:370
1223899864,40cyclictest0-21swapper/020:10:250
12238998630,39cyclictest30275-21rm22:35:110
1223899861,65cyclictest0-21swapper/019:30:270
1223899841,68cyclictest22436-21unixbench_singl19:35:460
1223899841,68cyclictest22436-21unixbench_singl19:35:460
1223899841,66cyclictest28220-21runrttasks21:53:220
12238998225,4cyclictest17465-21munin-plugin-st19:25:110
12238998114,5cyclictest0-21swapper/022:46:210
1223899801,68cyclictest0-21swapper/020:05:240
1223899801,59cyclictest0-21swapper/020:25:220
1223899801,59cyclictest0-21swapper/020:25:220
306952780,2sleep00-21swapper/023:53:100
1223899781,69cyclictest0-21swapper/021:12:220
1223899781,63cyclictest0-21swapper/023:40:230
12238997620,45cyclictest334-21cat21:20:330
1223899761,62cyclictest0-21swapper/023:37:310
1223899761,62cyclictest0-21swapper/022:05:400
1223899761,16cyclictest0-21swapper/021:55:250
1223899761,16cyclictest0-21swapper/021:55:250
1223899752,15cyclictest21553-21/usr/sbin/munin21:05:420
1223899751,27cyclictest16960-21switchtime20:50:360
1223899744,61cyclictest9980-21ssh21:31:230
1223899742,27cyclictest19928-21chrt22:21:270
1223899741,62cyclictest0-21swapper/023:09:070
1223899741,26cyclictest0-21swapper/021:17:490
1223899741,25cyclictest0-21swapper/020:16:050
12238997226,35cyclictest7750irq/56-dwc_otg23:57:370
1223899721,61cyclictest0-21swapper/000:31:530
1223899721,61cyclictest0-21swapper/000:31:530
1223899721,28cyclictest0-21swapper/021:49:340
1223899712,58cyclictest0-21swapper/022:37:590
1223899711,18cyclictest0-21swapper/022:57:380
1223899702,15cyclictest0-21swapper/023:26:210
1223899695,21cyclictest0-21swapper/023:35:020
1223899692,57cyclictest0-21swapper/019:25:290
1223899691,57cyclictest0-21swapper/000:05:310
1223999684,5cyclictest7850irq/56-dwc_otg_23:40:281
1223899686,49cyclictest0-21swapper/020:55:160
1223899681,64cyclictest145212sleep021:36:500
1223899681,55cyclictest0-21swapper/023:12:170
1223899681,30cyclictest0-21swapper/023:45:180
1223899681,26cyclictest0-21swapper/021:25:580
1223899681,24cyclictest0-21swapper/022:40:500
12238996812,13cyclictest0-21swapper/000:26:160
1223899672,54cyclictest0-21swapper/020:40:110
1223899671,20cyclictest0-21swapper/022:53:220
1223899662,55cyclictest0-21swapper/000:37:320
1223899662,15cyclictest0-21swapper/022:03:590
1223899661,27cyclictest0-21swapper/022:26:170
1223899652,55cyclictest26701-21/usr/sbin/munin19:50:300
1223899651,39cyclictest0-21swapper/019:45:220
1223899651,25cyclictest0-21swapper/021:42:150
1223899651,23cyclictest0-21swapper/000:14:510
1224299643,12cyclictest24577-21ssh00:25:232
1223999641,6cyclictest15795-21latency_hist19:20:121
1223899641,51cyclictest0-21swapper/022:12:440
1223899641,25cyclictest0-21swapper/023:17:080
1223899641,25cyclictest0-21swapper/023:17:080
1223999632,6cyclictest5850-21aten_rbpower_vo22:05:251
12238996324,3cyclictest0-21swapper/019:20:110
12238996310,17cyclictest0-21swapper/000:17:450
1223999618,7cyclictest7850irq/56-dwc_otg_21:50:371
1223899613,34cyclictest0-21swapper/021:00:240
12238996120,33cyclictest0-21swapper/020:45:350
1223899611,20cyclictest0-21swapper/020:00:260
1223999608,4cyclictest0-21swapper/121:55:281
1223999608,4cyclictest0-21swapper/121:55:281
1223899601,43cyclictest28797-21fschecks_time19:55:300
107662600,5sleep121-21rcuc/119:05:291
1223999591,6cyclictest424-21ntpq21:20:341
12239995911,4cyclictest7850irq/56-dwc_otg_22:45:191
1223899591,21cyclictest0-21swapper/020:31:500
1223899591,21cyclictest0-21swapper/019:41:060
1223999584,10cyclictest0-21swapper/123:49:231
1223999572,9cyclictest4298-21ssh00:00:311
1223999572,9cyclictest4298-21ssh00:00:311
1223999569,9cyclictest21530-21cat00:20:391
1223999562,9cyclictest7950irq/56-dwc_otg_19:55:261
1223999561,11cyclictest7750irq/56-dwc_otg23:35:031
1224299556,25cyclictest0-21swapper/219:35:242
1224299556,25cyclictest0-21swapper/219:35:242
1223999543,12cyclictest7950irq/56-dwc_otg_21:12:261
12238995430,5cyclictest12396-21aten_rbpower_en20:40:250
12244995324,8cyclictest7850irq/56-dwc_otg_23:45:243
1223999539,29cyclictest0-21swapper/123:05:251
1223999531,14cyclictest0-21swapper/120:35:361
1223999524,10cyclictest7750irq/56-dwc_otg22:40:241
1223999521,16cyclictest2091-21kworker/u8:221:45:231
12239995210,3cyclictest0-21swapper/100:09:281
1223999511,5cyclictest23-21ksoftirqd/121:15:341
192462500,5sleep31224499cyclictest22:20:373
1224499497,25cyclictest8262-21ssh21:30:253
1224499493,12cyclictest7850irq/56-dwc_otg_23:30:223
12244994918,5cyclictest2951-21load22:40:323
1223999492,18cyclictest8989-21ssh23:26:231
1223999492,11cyclictest0-21swapper/123:15:221
1223999492,11cyclictest0-21swapper/123:15:221
1223999491,13cyclictest0-21swapper/119:25:111
117232493,12sleep00-21swapper/019:08:160
12242994826,5cyclictest908-21runrttasks00:16:142
1224499471,14cyclictest8020-21ssh00:05:253
1224299477,25cyclictest0-21swapper/220:25:242
1224299477,25cyclictest0-21swapper/220:25:242
1223999477,23cyclictest0-21swapper/119:45:241
1223999473,5cyclictest7850irq/56-dwc_otg_23:55:251
1224499463,7cyclictest7950irq/56-dwc_otg_22:05:233
1224299467,25cyclictest0-21swapper/220:00:252
1224499457,26cyclictest0-21swapper/322:00:253
12244994523,5cyclictest27947-21aten_rbpower_en21:15:263
12239994515,14cyclictest0-21swapper/120:50:241
12239994423,14cyclictest11340-21ssh22:10:561
1224499437,25cyclictest0-21swapper/321:00:243
1224299433,10cyclictest11896-21apt-get19:10:142
1223999434,12cyclictest7850irq/56-dwc_otg_00:10:221
12239994327,9cyclictest23216-21wget19:40:251
1224299427,23cyclictest0-21swapper/200:10:252
1223999426,13cyclictest23-21ksoftirqd/123:00:391
291292410,1sleep20-21swapper/223:11:492
1224299418,14cyclictest0-21swapper/221:53:052
1224299417,23cyclictest0-21swapper/200:30:252
1224299417,23cyclictest0-21swapper/200:30:252
1223999417,11cyclictest0-21swapper/120:30:241
1223999407,26cyclictest0-21swapper/120:55:161
1223999402,6cyclictest7950irq/56-dwc_otg_00:15:231
12239994024,9cyclictest11257-21ssh21:33:361
182792390,6sleep218256-21ssh22:20:242
1224499396,16cyclictest7850irq/56-dwc_otg_20:50:323
12239993914,6cyclictest24551-21/usr/sbin/munin00:25:301
1224499381,29cyclictest12597-21cut20:40:293
1224499381,24cyclictest5630-21latency20:20:303
1224299389,5cyclictest7850irq/56-dwc_otg_19:20:392
1224299381,25cyclictest7850irq/56-dwc_otg_20:50:232
12239993818,5cyclictest12956-21if_err_eth021:35:291
258812371,4sleep20-21swapper/223:46:572
193542370,2sleep30-21swapper/300:18:503
1224499378,10cyclictest7850irq/56-dwc_otg_23:40:123
1224499374,17cyclictest7850irq/56-dwc_otg_00:20:233
12244993717,5cyclictest21045-21vmstat23:40:403
1224299371,4cyclictest7750irq/56-dwc_otg23:35:292
12242993713,17cyclictest14420-21ssh23:33:422
1223999371,26cyclictest23134-21diskmemload22:25:291
1224499368,17cyclictest37-21rcuc/320:25:223
1224499368,17cyclictest37-21rcuc/320:25:223
1224499361,6cyclictest19548-21latency_hist21:00:113
1224499361,5cyclictest7950irq/56-dwc_otg_23:50:213
12244993615,4cyclictest2157-21sh00:36:293
1224299368,5cyclictest0-21swapper/200:35:382
1224299366,6cyclictest7750irq/56-dwc_otg23:55:352
1224299364,21cyclictest14524-21ssh22:55:122
12242993613,17cyclictest30766-21ssh21:18:252
1223999368,19cyclictest7950irq/56-dwc_otg_20:45:251
12239993616,11cyclictest16931-21cpu21:40:251
1223999361,25cyclictest19998-21uniq21:00:271
1223999361,24cyclictest7111-21cpuspeed20:25:251
1223999361,24cyclictest7111-21cpuspeed20:25:251
1223999361,22cyclictest15130-21timerwakeupswit22:15:391
271212350,2sleep30-21swapper/322:30:323
179752350,4sleep229-21rcuc/220:55:252
1224499358,12cyclictest7950irq/56-dwc_otg_19:45:103
1224499356,5cyclictest7850irq/56-dwc_otg_20:45:293
1224499355,15cyclictest7850irq/56-dwc_otg_23:00:253
12244993510,12cyclictest39-21ksoftirqd/323:20:123
12244993510,12cyclictest39-21ksoftirqd/323:20:123
1224299359,4cyclictest0-21swapper/221:40:112
1224299355,16cyclictest7850irq/56-dwc_otg_00:10:112
1224299354,14cyclictest7950irq/56-dwc_otg_21:10:292
1224299351,6cyclictest0-21swapper/219:25:242
1224299351,23cyclictest26648-21ls22:30:252
12242993510,4cyclictest0-21swapper/200:20:282
1223999353,14cyclictest7750irq/56-dwc_otg19:30:241
12239993516,11cyclictest0-21swapper/119:10:131
12239993512,6cyclictest23-21ksoftirqd/123:00:111
1223999351,11cyclictest7950irq/56-dwc_otg_22:50:311
1224499348,6cyclictest39-21ksoftirqd/320:10:113
1224499347,6cyclictest39-21ksoftirqd/321:45:113
1224499343,6cyclictest39-21ksoftirqd/321:20:263
12244993416,5cyclictest39-21ksoftirqd/320:15:333
1224499341,4cyclictest0-21swapper/300:10:363
1224299348,4cyclictest7750irq/56-dwc_otg20:20:402
1224299347,6cyclictest7750irq/56-dwc_otg21:30:262
1224299347,15cyclictest0-21swapper/219:55:262
12242993425,6cyclictest6309-21latency_hist22:45:122
12242993417,9cyclictest14907-21/usr/sbin/munin19:15:372
1224299341,6cyclictest13457-21tail20:40:402
1224299341,27cyclictest12278-21ls20:40:112
12242993410,8cyclictest0-21swapper/220:10:242
1223999346,6cyclictest0-21swapper/122:21:231
1223999345,12cyclictest7950irq/56-dwc_otg_20:00:401
1223999344,28cyclictest952-21latency00:35:331
1223999341,23cyclictest30999-21idleruntime22:35:281
1224499334,6cyclictest7950irq/56-dwc_otg_22:55:113
1224499334,15cyclictest17985-21sort19:25:293
1224499332,5cyclictest37-21rcuc/323:10:363
1224499332,3cyclictest7750irq/56-dwc_otg19:35:233
1224499332,3cyclictest7750irq/56-dwc_otg19:35:233
1224499332,16cyclictest22326-21wc21:05:393
1224499331,7cyclictest29451-21ssh00:30:343
1224499331,7cyclictest29451-21ssh00:30:343
12244993315,5cyclictest91550lldpd20:13:143
1224499331,16cyclictest0-21swapper/321:10:163
1224299338,15cyclictest0-21swapper/220:30:282
1224299336,13cyclictest7850irq/56-dwc_otg_21:55:372
1224299336,13cyclictest7850irq/56-dwc_otg_21:55:372
1224299333,17cyclictest7950irq/56-dwc_otg_22:45:402
1224299332,4cyclictest0-21swapper/222:35:432
1224299332,3cyclictest0-21swapper/219:45:372
1224299331,5cyclictest0-21swapper/221:44:592
1224299331,23cyclictest18548-21latency_hist23:00:112
12242993311,4cyclictest28888-1kworker/u9:223:25:312
12242993310,4cyclictest0-21swapper/221:45:342
1223999333,5cyclictest28279-21timerwakeupswit23:10:381
1223999331,28cyclictest29017-21uniq00:30:281
1223999331,28cyclictest29017-21uniq00:30:281
1223999331,22cyclictest0-21swapper/121:07:191
297912320,2sleep21224299cyclictest23:51:312
1224499326,13cyclictest7950irq/56-dwc_otg_19:15:253
1224499325,14cyclictest39-21ksoftirqd/321:25:223
1224499323,4cyclictest7750irq/56-dwc_otg21:55:233
1224499323,4cyclictest7750irq/56-dwc_otg21:55:233
12244993219,9cyclictest381ktimersoftd/319:10:143
12244993213,4cyclictest23584-21unixbench_singl22:25:403
1224499321,20cyclictest16216-21cut19:20:283
1224499321,10cyclictest7850irq/56-dwc_otg_19:30:383
12244993210,4cyclictest14397-21sh21:36:373
1224299329,3cyclictest0-21swapper/222:05:312
1224299327,5cyclictest7950irq/56-dwc_otg_22:15:112
1224299327,17cyclictest1598-21ssh23:18:122
1224299327,17cyclictest1598-21ssh23:18:122
1224299325,6cyclictest7950irq/56-dwc_otg_23:25:112
1224299324,4cyclictest7750irq/56-dwc_otg22:00:382
1224299321,5cyclictest20902-21unixbench_singl21:00:402
1224299321,22cyclictest0-21swapper/223:07:062
12242993210,5cyclictest20782-21cat23:40:372
1223999324,4cyclictest7950irq/56-dwc_otg_23:35:381
1223999323,6cyclictest7950irq/56-dwc_otg_20:40:281
1223999322,14cyclictest5207-21aten_rbpower_vo20:20:241
1223999322,14cyclictest18040-21cut19:25:291
12239993210,5cyclictest29830-21sh22:34:231
119842326,16sleep212129-21latency_hist19:10:122
60682311,4sleep26078-21ssh00:02:192
60682311,4sleep26078-21ssh00:02:192
1224499318,5cyclictest7750irq/56-dwc_otg21:55:123
1224499317,12cyclictest26974-21sort19:50:283
1224499316,5cyclictest7850irq/56-dwc_otg_00:25:293
1224499312,5cyclictest0-21swapper/319:45:413
1224499312,12cyclictest7750irq/56-dwc_otg23:55:413
1224499311,9cyclictest13955-21ssh22:15:173
12244993116,5cyclictest37-21rcuc/319:59:333
1224499311,15cyclictest23009-21/usr/sbin/munin23:05:293
12244993111,4cyclictest0-21swapper/322:10:273
1224299317,14cyclictest0-21swapper/221:20:252
1224299316,15cyclictest0-21swapper/221:05:242
1224299312,6cyclictest7750irq/56-dwc_otg20:15:282
1224299312,14cyclictest21203-21ls19:35:122
1224299311,5cyclictest0-21swapper/222:25:272
1224299311,22cyclictest27066-21idleruntime19:50:292
1223999317,10cyclictest0-21swapper/123:50:321
1223999316,15cyclictest0-21swapper/120:05:241
1223999312,8cyclictest7950irq/56-dwc_otg_22:00:381
1223999311,7cyclictest91750snmpd21:25:261
1224499307,6cyclictest37-21rcuc/322:35:213
1224499307,12cyclictest0-21swapper/323:20:173
1224499307,11cyclictest7850irq/56-dwc_otg_20:00:363
12244993022,6cyclictest520-21cron22:50:113
12242993021,5cyclictest301ktimersoftd/221:25:212
1224299302,10cyclictest0-21swapper/222:18:522
1224499295,11cyclictest7850irq/56-dwc_otg_20:30:323
1224499291,6cyclictest12097-21munin-run20:40:113
1224499291,5cyclictest7357-21ssh23:25:253
12244992912,6cyclictest39-21ksoftirqd/300:00:323
12244992912,6cyclictest39-21ksoftirqd/300:00:323
12242992923,4cyclictest14346-21df20:45:272
1224299291,4cyclictest7750irq/56-dwc_otg23:00:222
1223999294,5cyclictest0-21swapper/120:15:331
12244992817,9cyclictest16724-21ssh22:56:533
1224299281,18cyclictest1240-21latency_hist20:10:112
1223999283,5cyclictest0-21swapper/119:40:121
1223999283,5cyclictest0-21swapper/119:40:121
1223999282,6cyclictest28278-21idleruntime-cro19:55:111
105612283,15sleep310318-21/usr/sbin/munin19:05:283
1224299241,5cyclictest23665-21memory19:40:312
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional