You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-13 - 04:57

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Fri Mar 13, 2026 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2891821000,2sleep20-21swapper/223:28:242
32255997814,12cyclictest7850irq/56-dwc_otg_23:15:140
22972780,5sleep23225799cyclictest23:35:202
211572770,4sleep33225899cyclictest00:36:573
64622760,3sleep26436-21ssh23:00:302
3225599753,56cyclictest0-21swapper/023:55:150
296792740,5sleep33225899cyclictest20:30:243
133322740,2sleep20-21swapper/200:27:542
32255997323,4cyclictest7950irq/56-dwc_otg_21:50:140
32258997012,9cyclictest7850irq/56-dwc_otg_19:15:143
3225599707,33cyclictest9-21ksoftirqd/021:15:140
3225599701,53cyclictest13292-21ssh23:10:030
3225899676,6cyclictest7850irq/56-dwc_otg_20:10:223
32255996730,31cyclictest0-21swapper/019:30:160
32258996610,5cyclictest7850irq/56-dwc_otg_21:35:303
3225599664,42cyclictest3683-21wget19:20:150
32255996620,7cyclictest7950irq/56-dwc_otg_23:50:160
32255996620,5cyclictest0-21swapper/020:30:150
32255996615,38cyclictest0-21swapper/019:10:210
3225599656,14cyclictest0-21swapper/023:40:150
3225599656,14cyclictest0-21swapper/023:40:150
3225899641,8cyclictest32086-21ssh21:35:023
32255996414,8cyclictest7750irq/56-dwc_otg22:15:140
3225899631,4cyclictest7950irq/56-dwc_otg_23:10:133
3225899631,4cyclictest7950irq/56-dwc_otg_23:10:133
32255996318,31cyclictest21882-21/usr/sbin/munin23:20:220
3225599628,36cyclictest25339-21apt-key20:20:040
3225899611,14cyclictest7850irq/56-dwc_otg_20:30:023
3225599611,49cyclictest19855-21aten_rbpower_en21:20:170
32255996111,37cyclictest24501-21wc22:05:030
32255996110,5cyclictest0-21swapper/021:10:140
3225899602,6cyclictest7850irq/56-dwc_otg_23:15:293
3225899601,5cyclictest7544-21grep00:20:283
3225899601,11cyclictest7950irq/56-dwc_otg_21:18:313
3225799603,11cyclictest7850irq/56-dwc_otg_21:10:142
32255996021,29cyclictest19056-21/usr/sbin/munin00:35:170
3225899592,5cyclictest7950irq/56-dwc_otg_22:50:033
3225899591,9cyclictest14941-21ssh00:30:143
3225599592,44cyclictest0-21swapper/023:35:030
3225599591,47cyclictest16187-21grep00:30:310
3225599591,15cyclictest0-21swapper/020:40:270
3225599587,47cyclictest0-21swapper/019:55:070
3225599582,47cyclictest25900-21kworker/0:000:05:150
3225599582,44cyclictest0-21swapper/022:25:030
3225899572,10cyclictest7950irq/56-dwc_otg_19:45:213
32255995729,13cyclictest7850irq/56-dwc_otg_21:30:030
3225599572,40cyclictest13801-21unixbench_multi19:45:290
3225899565,4cyclictest0-21swapper/323:27:423
3225899561,4cyclictest0-21swapper/322:22:413
3225599568,25cyclictest0-21swapper/020:35:210
3225599567,33cyclictest0-21swapper/022:29:590
3225599562,44cyclictest0-21swapper/022:35:030
32255995617,25cyclictest12460-21sh23:47:240
32255995613,27cyclictest923-21sshd20:57:240
3225899557,3cyclictest0-21swapper/323:36:263
3225899556,10cyclictest0-21swapper/321:10:103
3225899555,5cyclictest7750irq/56-dwc_otg19:25:143
3225899551,5cyclictest32184-21ssh00:10:423
3225899551,5cyclictest14928-21ssh21:52:453
3225599556,39cyclictest0-21swapper/022:10:190
3225599551,44cyclictest0-21swapper/022:05:300
3225899547,9cyclictest7950irq/56-dwc_otg_22:40:183
3225899547,9cyclictest7950irq/56-dwc_otg_22:40:183
3225899547,3cyclictest0-21swapper/323:34:513
3225899544,9cyclictest7850irq/56-dwc_otg_00:05:163
32258995411,6cyclictest28659-21latency_hist22:10:033
3225599547,30cyclictest0-21swapper/023:00:240
3225599544,36cyclictest0-21swapper/000:25:350
3225599543,40cyclictest3724-21ssh00:15:320
32255995426,14cyclictest7950irq/56-dwc_otg_20:00:310
32255995410,25cyclictest17584-21sh23:15:040
113962540,2sleep30-21swapper/322:27:383
3225899537,4cyclictest0-21swapper/300:25:513
3225899535,4cyclictest13162-21ssh23:09:483
3225899533,3cyclictest0-21swapper/323:45:273
3225899532,8cyclictest24913-21ssh00:02:313
3225899531,8cyclictest7950irq/56-dwc_otg_23:55:173
32258995315,4cyclictest4976-21sh21:40:283
32258995313,3cyclictest10685-21cat19:40:033
3225899531,18cyclictest6437-21timerandwakeup23:00:303
3225899531,12cyclictest7750irq/56-dwc_otg22:10:223
3225699536,17cyclictest0-21swapper/121:50:141
32255995333,5cyclictest7850irq/56-dwc_otg_20:15:030
3225599532,42cyclictest0-21swapper/022:50:180
3225599532,41cyclictest22546-21sed22:40:300
3225599532,41cyclictest22546-21sed22:40:300
3225599532,31cyclictest0-21swapper/019:50:140
3225599531,4cyclictest27182-21sort23:25:310
3225599531,42cyclictest0-21swapper/022:55:190
3225599531,41cyclictest0-21swapper/021:55:150
3225599531,41cyclictest0-21swapper/021:55:150
3225599531,35cyclictest7923-21cron21:45:020
3225899526,4cyclictest7850irq/56-dwc_otg_22:35:433
3225899526,4cyclictest7850irq/56-dwc_otg_19:10:243
3225899525,4cyclictest7850irq/56-dwc_otg_22:04:163
3225899522,4cyclictest0-21swapper/300:15:133
3225899521,9cyclictest7750irq/56-dwc_otg22:18:573
3225899521,3cyclictest0-21swapper/321:55:173
3225899521,3cyclictest0-21swapper/321:55:173
3225699527,33cyclictest0-21swapper/121:00:161
3225899514,8cyclictest7850irq/56-dwc_otg_20:38:343
3225899511,3cyclictest7850irq/56-dwc_otg_21:46:203
3225899511,13cyclictest0-21swapper/322:33:133
3225899511,12cyclictest7494-21cut19:30:203
3225699513,11cyclictest0-21swapper/122:40:151
3225699513,11cyclictest0-21swapper/122:40:151
3225599511,41cyclictest833-21/usr/sbin/munin21:35:270
3225899505,9cyclictest7950irq/56-dwc_otg_23:40:403
3225899505,9cyclictest7950irq/56-dwc_otg_23:40:403
3225899504,8cyclictest7950irq/56-dwc_otg_21:21:193
3225899501,7cyclictest0-21swapper/319:59:073
3225899501,5cyclictest5204-21latency_hist23:00:033
3225899501,5cyclictest24829-21ntpq21:25:273
3225899501,11cyclictest7950irq/56-dwc_otg_21:01:253
3225799502,9cyclictest7950irq/56-dwc_otg_23:20:152
3225699504,5cyclictest0-21swapper/121:25:151
32255995028,4cyclictest7950irq/56-dwc_otg_22:35:230
32255995018,26cyclictest13-21rcuc/023:15:030
3225599501,7cyclictest9479-21ssh21:45:300
3225599501,36cyclictest25730-21grep22:45:200
3225899495,4cyclictest7850irq/56-dwc_otg_19:21:063
3225899493,3cyclictest7850irq/56-dwc_otg_22:50:253
3225799491,8cyclictest7950irq/56-dwc_otg_23:15:152
32256994920,5cyclictest5376-21sh21:40:321
3225599496,30cyclictest0-21swapper/020:20:220
3225599496,29cyclictest9-21ksoftirqd/000:10:170
3225599493,28cyclictest21148-21unixbench_singl20:05:310
3225599492,33cyclictest0-21swapper/000:00:330
3225599491,5cyclictest2255-21/usr/sbin/munin23:35:200
3225899483,3cyclictest7850irq/56-dwc_otg_20:15:143
3225899481,10cyclictest0-21swapper/323:21:253
3225699485,32cyclictest7850irq/56-dwc_otg_23:15:161
3225599484,21cyclictest0-21swapper/021:05:030
3225599482,39cyclictest0-21swapper/019:28:050
32255994811,4cyclictest7950irq/56-dwc_otg_00:20:150
3225699477,26cyclictest0-21swapper/121:05:161
3225699477,26cyclictest0-21swapper/119:40:161
3225699472,9cyclictest14951-21ssh00:30:151
3225599472,42cyclictest0-21swapper/019:35:170
3225599471,36cyclictest10997-21rm21:10:030
47182460,6sleep13225699cyclictest22:20:161
3225899461,3cyclictest7850irq/56-dwc_otg_19:40:163
3225799462,5cyclictest7750irq/56-dwc_otg21:20:142
32255994624,4cyclictest2329-21grep19:15:250
3225899455,3cyclictest7750irq/56-dwc_otg23:50:253
3225899451,5cyclictest7950irq/56-dwc_otg_21:09:573
3225799456,25cyclictest0-21swapper/220:20:082
3225699457,9cyclictest10112-21ssh23:45:131
3225699457,26cyclictest0-21swapper/119:55:171
3225599457,24cyclictest0-21swapper/021:34:300
3225599451,24cyclictest0-21swapper/020:25:160
3225899441,2cyclictest0-21swapper/320:55:233
3225799447,7cyclictest0-21swapper/222:45:142
32256994417,17cyclictest7950irq/56-dwc_otg_22:05:021
123542440,6sleep20-21swapper/219:45:032
3225799437,29cyclictest0-21swapper/219:55:072
3225799437,23cyclictest0-21swapper/221:15:152
3225599431,30cyclictest0-21swapper/020:45:250
317442433,12sleep00-21swapper/019:06:560
129092430,2sleep10-21swapper/121:11:071
32258994218,13cyclictest0-21swapper/319:50:153
3225699428,16cyclictest7850irq/56-dwc_otg_23:00:131
3225699427,25cyclictest0-21swapper/122:30:161
3225699424,9cyclictest8261-21ssh21:45:131
3225699424,3cyclictest0-21swapper/122:05:141
32255994221,5cyclictest3921-21acpi20:50:130
32255994221,5cyclictest3921-21acpi20:50:130
104502420,1sleep10-21swapper/122:25:551
9352410,1sleep10-21swapper/123:33:591
32257994120,14cyclictest7850irq/56-dwc_otg_22:25:252
3225699417,24cyclictest0-21swapper/120:40:151
3225799406,22cyclictest8545-21ls21:00:312
3225799406,22cyclictest17190-21ssh22:35:152
3225799402,10cyclictest0-21swapper/220:30:152
32257994014,5cyclictest14389-21cpu23:50:172
3225699405,4cyclictest0-21swapper/122:45:131
3225599402,25cyclictest917-21snmpd19:40:270
17252400,1sleep20-21swapper/221:36:162
3225799395,28cyclictest7950irq/56-dwc_otg_22:05:142
32257993916,15cyclictest0-21swapper/223:10:032
3225799391,5cyclictest7950irq/56-dwc_otg_20:45:132
32257993915,6cyclictest165432chrt21:55:172
32257993915,6cyclictest165432chrt21:55:172
3225799391,26cyclictest1471-21ls22:55:182
3225699397,7cyclictest0-21swapper/123:50:161
3225699394,24cyclictest0-21swapper/119:30:151
32256993920,4cyclictest7850irq/56-dwc_otg_23:55:151
3225699391,19cyclictest0-21swapper/119:22:501
211792390,2sleep10-21swapper/100:36:591
3225699389,18cyclictest0-21swapper/100:15:161
3225699388,15cyclictest7850irq/56-dwc_otg_23:15:031
3225699388,15cyclictest7850irq/56-dwc_otg_23:15:031
3225699385,6cyclictest7750irq/56-dwc_otg20:55:171
3225699385,23cyclictest28862-21ssh22:10:151
32256993815,12cyclictest7750irq/56-dwc_otg23:45:041
32256993815,12cyclictest7750irq/56-dwc_otg23:45:041
32256993813,22cyclictest0-21swapper/120:20:091
3225899376,14cyclictest7850irq/56-dwc_otg_20:05:193
3225899375,15cyclictest7850irq/56-dwc_otg_20:45:273
3225899371,13cyclictest0-21swapper/320:41:263
32257993713,6cyclictest19437-21kworker/u8:421:55:032
32257993712,5cyclictest30209-21aten_rbpower_cu23:30:162
32257993710,14cyclictest15576-21unixbench_multi19:50:292
3225699376,21cyclictest0-21swapper/120:45:161
3225699375,17cyclictest7950irq/56-dwc_otg_23:05:291
3225699374,18cyclictest0-21swapper/100:20:151
304102370,3sleep20-21swapper/222:50:282
205672370,1sleep20-21swapper/220:05:232
3225899367,14cyclictest7850irq/56-dwc_otg_20:20:243
32257993620,9cyclictest8815-21ssh00:22:122
32257993616,6cyclictest31023-21aten_rbpower_vo20:35:182
3225799361,22cyclictest7750irq/56-dwc_otg00:00:032
3225699369,7cyclictest0-21swapper/122:15:141
32256993615,7cyclictest10722-21latency_hist19:40:031
32256993615,19cyclictest0-21swapper/121:15:151
3225899351,25cyclictest19114-21timerandwakeup20:00:293
3225799355,13cyclictest31-21ksoftirqd/219:45:192
32257993519,5cyclictest21402-21ntp_states22:00:272
3225799351,3cyclictest0-21swapper/200:38:472
3225699357,5cyclictest29962-21/usr/sbin/munin20:30:301
3225699354,5cyclictest7850irq/56-dwc_otg_19:45:151
3225699352,7cyclictest31038-21fschecks_count00:10:201
32256993526,5cyclictest7850irq/56-dwc_otg_21:35:141
3225799343,4cyclictest7750irq/56-dwc_otg20:50:152
3225799343,4cyclictest7750irq/56-dwc_otg20:50:152
32257993416,5cyclictest24020-21sh00:00:512
32257993412,12cyclictest0-21swapper/222:32:512
32257993410,5cyclictest25121-21basename22:45:032
32257993410,5cyclictest25121-21basename22:45:032
3225699341,24cyclictest4116-21cpuspeed20:50:181
3225699341,24cyclictest4116-21cpuspeed20:50:181
3225699341,21cyclictest18774-21ls20:00:241
3225799336,11cyclictest7850irq/56-dwc_otg_21:30:032
3225799335,10cyclictest7950irq/56-dwc_otg_00:05:182
32257993317,9cyclictest5675-21rm21:40:552
32257993317,4cyclictest908-21runrttasks20:04:432
32257993313,4cyclictest28722-21sh21:30:212
3225699337,16cyclictest21-21rcuc/122:58:211
3225699336,16cyclictest0-21swapper/100:04:361
3225699335,5cyclictest7750irq/56-dwc_otg21:35:031
3225699335,13cyclictest7950irq/56-dwc_otg_22:50:301
3225699334,5cyclictest7750irq/56-dwc_otg21:20:301
3225699332,5cyclictest61-21kswapd021:55:151
3225699332,5cyclictest61-21kswapd021:55:151
32256993311,7cyclictest25699-21latency_hist23:25:031
3225799329,12cyclictest10485-21cut23:45:192
3225799328,3cyclictest0-21swapper/200:30:062
3225799326,6cyclictest8319-21aten_rbpower_cu21:45:152
3225799325,6cyclictest0-21swapper/222:12:372
3225799321,5cyclictest7557-21ssh22:23:222
32257993214,10cyclictest19433-21kworker/u8:222:17:072
32257993212,5cyclictest25206-21grep20:20:032
3225699327,14cyclictest0-21swapper/123:25:171
3225699323,25cyclictest7950irq/56-dwc_otg_20:35:151
32256993213,5cyclictest951-21grep19:10:291
3225799319,4cyclictest29-21rcuc/220:10:202
3225799318,5cyclictest7950irq/56-dwc_otg_00:19:072
3225799317,5cyclictest7950irq/56-dwc_otg_23:40:242
3225799317,5cyclictest7950irq/56-dwc_otg_23:40:242
3225799313,9cyclictest2322-21tr19:15:252
3225799311,9cyclictest13609-21/usr/sbin/munin23:10:242
3225799311,9cyclictest13609-21/usr/sbin/munin23:10:242
32257993110,12cyclictest0-21swapper/200:10:242
3225699317,14cyclictest0-21swapper/100:25:201
3225699316,16cyclictest0-21swapper/122:35:151
3225699315,6cyclictest7950irq/56-dwc_otg_20:25:211
3225699312,20cyclictest0-21swapper/119:25:211
3225699312,19cyclictest0-21swapper/120:08:151
3225699312,16cyclictest25362-21gpg-connect-age20:20:041
3225799306,7cyclictest7950irq/56-dwc_otg_19:32:572
3225799305,7cyclictest7950irq/56-dwc_otg_21:09:362
3225699306,22cyclictest0-21swapper/123:35:151
32256993011,5cyclictest1680-21aten_rbpower_en19:15:171
3197423010,12sleep30-21swapper/319:09:553
3225799295,5cyclictest7850irq/56-dwc_otg_19:35:192
3225799291,9cyclictest0-21swapper/219:22:112
32257992913,7cyclictest27915-21/usr/sbin/munin20:25:242
3225799291,24cyclictest32564-21grep19:10:192
3225799291,13cyclictest602-21fschecks_time20:40:192
3225699294,4cyclictest7850irq/56-dwc_otg_19:50:181
3225699291,9cyclictest27109-21ssh00:05:221
3225699287,12cyclictest22121-21uniq20:10:181
3225799271,11cyclictest7950irq/56-dwc_otg_20:55:232
304532274,12sleep20-21swapper/219:05:162
3225799267,6cyclictest149-21systemd-journal19:25:232
318892263,15sleep10-21swapper/119:08:471
3225899242,7cyclictest0-21swapper/320:51:083
3225899242,7cyclictest0-21swapper/320:51:083
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional