You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-09 - 07:50

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack7slot3s.osadl.org (updated Thu Jul 09, 2026 00:43:38)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1056124750,5sleep30-21swapper/319:05:293
1036821680,10sleep121-21rcuc/119:05:271
12169999312,61cyclictest7845-21grep21:30:370
12169999312,61cyclictest7845-21grep21:30:370
12169998858,9cyclictest0-21swapper/021:35:370
10262860,2sleep30-21swapper/321:21:253
1217499837,17cyclictest0-21swapper/122:35:261
1217499837,17cyclictest0-21swapper/122:35:261
12169998233,29cyclictest0-21swapper/019:10:170
1216999814,48cyclictest0-21swapper/020:05:280
1216999814,19cyclictest27899-21ssh21:55:270
179772790,3sleep20-21swapper/219:25:322
12169997914,52cyclictest31189-21ssh21:19:410
111332780,4sleep1221ktimersoftd/122:14:151
111332780,4sleep1221ktimersoftd/122:14:151
169012770,5sleep31217699cyclictest23:00:153
1216999779,42cyclictest4278-21wc20:15:390
29452760,3sleep20-21swapper/222:04:262
272652760,3sleep3381ktimersoftd/323:11:423
12169997553,4cyclictest0-21swapper/020:35:270
1217599742,66cyclictest750-21snmpd19:10:172
1216999748,41cyclictest14922-21tail23:35:430
12169997426,4cyclictest0-21swapper/023:25:230
1217599723,61cyclictest12096-21ssh21:35:372
1217599721,48cyclictest15153-21ssh22:18:592
1216999716,57cyclictest0-21swapper/023:15:310
1216999716,57cyclictest0-21swapper/023:15:310
1216999715,53cyclictest0-21swapper/021:10:410
1216999711,49cyclictest0-21swapper/021:25:330
12169997110,37cyclictest5040-21unixbench_singl22:05:440
264602700,5sleep31217699cyclictest22:31:563
264602700,5sleep31217699cyclictest22:31:563
206372700,2sleep20-21swapper/223:04:452
1217599701,44cyclictest5262-21ssh22:06:052
1216999706,5cyclictest0-21swapper/019:50:270
1216999706,44cyclictest14292-21chrt22:55:450
1216999699,42cyclictest21448-21entropy19:35:280
1216999696,52cyclictest2919-21rm23:21:200
1217599682,46cyclictest2244-21ls20:10:362
1216999688,43cyclictest16732-21head21:40:430
12169996816,32cyclictest22419-21sed00:25:150
232712670,5sleep223270-21unixbench_singl23:45:432
232712670,5sleep223270-21unixbench_singl23:45:432
1217699679,11cyclictest7850irq/56-dwc_otg19:45:243
1217699679,11cyclictest7850irq/56-dwc_otg19:45:243
1217599671,44cyclictest15247-21ssh23:36:072
12169996710,14cyclictest31909-21munin-run20:05:150
1217599664,39cyclictest7950irq/56-dwc_otg_00:25:272
1217599661,47cyclictest7367-21chrt21:30:312
1217599661,47cyclictest7367-21chrt21:30:312
1216999667,45cyclictest708-21ssh22:00:420
1216999665,46cyclictest0-21swapper/023:53:080
1216999661,25cyclictest20146-21ls22:25:150
1217599651,46cyclictest3904-21cat21:25:352
1217599651,45cyclictest7055-21ssh22:47:402
1217599651,44cyclictest30399-21ssh22:36:222
1217599651,44cyclictest30399-21ssh22:36:222
1217599651,43cyclictest23177-21ssh21:49:502
1217599651,43cyclictest23177-21ssh21:49:502
1217599651,43cyclictest16753-21if_err_wlan020:50:332
1216999655,46cyclictest11336-21ssh00:10:410
1217599641,49cyclictest31239-21ssh21:19:462
1217599641,48cyclictest30731-21ssh21:58:302
1217599641,42cyclictest14518-21ssh22:56:092
1217599641,40cyclictest24471-21apt-get22:30:282
1217599641,40cyclictest24471-21apt-get22:30:282
1217599641,36cyclictest22856-21ssh22:27:562
1217499643,29cyclictest12098-21chrt21:35:381
1216999648,48cyclictest25500-21ssh23:49:440
1216999648,48cyclictest25500-21ssh23:49:440
1216999644,43cyclictest18474-21fschecks_time20:55:310
1217599631,43cyclictest27557-21munin-run21:55:142
1217599631,36cyclictest4157-21ssh00:02:182
1216999639,51cyclictest5916-21latency_hist00:05:150
1216999637,45cyclictest6580-21taskset20:21:220
1216999635,46cyclictest23089-21rm22:28:220
1217599621,39cyclictest25633-21/usr/sbin/munin19:45:382
1217599621,39cyclictest25633-21/usr/sbin/munin19:45:382
1217599621,39cyclictest11087-21rm22:14:092
1217599621,39cyclictest11087-21rm22:14:092
1216999628,40cyclictest24477-21sh22:30:270
1216999628,40cyclictest24477-21sh22:30:270
1216999628,36cyclictest17056-21grep20:50:370
1216999627,41cyclictest16190-21latency_hist20:50:150
1216999627,41cyclictest16190-21latency_hist20:50:150
1216999625,44cyclictest9141-21fschecks_time22:50:320
1216999625,44cyclictest9141-21fschecks_time22:50:320
1216999624,41cyclictest31077-21ssh00:35:280
1216999623,48cyclictest20197-21runrttasks21:00:310
12169996215,27cyclictest13808-21rm22:16:330
12169996215,11cyclictest0-21swapper/019:30:260
12169996214,31cyclictest28613-21rm23:14:100
12175996124,35cyclictest27059-21sh00:30:302
1217599611,32cyclictest7850irq/56-dwc_otg22:53:042
1217599611,32cyclictest7850irq/56-dwc_otg22:53:042
1216999618,33cyclictest0-21swapper/019:20:410
1216999614,43cyclictest2259-21sh22:41:380
12169996123,19cyclictest0-21swapper/019:25:250
12169996111,29cyclictest27667-21cat21:55:150
1217599601,44cyclictest4688-21ssh23:24:332
1217599601,43cyclictest16188-21ssh00:16:362
1217599601,43cyclictest16188-21ssh00:16:362
1217599601,37cyclictest9507-21ssh23:30:232
12174996013,23cyclictest18559-21ssh00:20:271
1216999607,12cyclictest29893-21ssh22:35:420
1216999607,12cyclictest29893-21ssh22:35:420
1216999605,41cyclictest0-21swapper/020:10:420
1216999605,26cyclictest30268-21ssh23:55:260
1217599592,42cyclictest27038-21sh21:14:182
12175995921,7cyclictest8050irq/56-dwc_otg_21:40:252
1217599591,46cyclictest8569-21ssh00:07:492
1217599591,46cyclictest0-21swapper/223:11:302
1216999595,51cyclictest0-21swapper/023:05:390
1216999591,38cyclictest9601-21rm23:30:280
12169995910,41cyclictest2766-21ssh21:24:510
12176995812,22cyclictest0-21swapper/321:35:403
1217599581,42cyclictest8050irq/56-dwc_otg_23:50:422
1217599581,38cyclictest31902-21apt-get20:05:192
1217599581,35cyclictest21398-21sh23:44:482
1217599581,32cyclictest8050irq/56-dwc_otg_19:35:402
1216999585,38cyclictest29975-21taskset00:34:050
1217699571,8cyclictest13715-21ssh23:35:273
12176995710,21cyclictest0-21swapper/320:00:223
1217599571,42cyclictest7706-21ssh23:27:302
1217599571,40cyclictest29805-21diskstats23:15:322
1217599571,40cyclictest29805-21diskstats23:15:322
12174995711,14cyclictest0-21swapper/119:10:281
1216999579,37cyclictest25413-21ssh00:28:180
1216999573,43cyclictest0-21swapper/023:40:400
1216999573,31cyclictest0-21swapper/000:15:240
1216999573,31cyclictest0-21swapper/000:15:240
1216999572,20cyclictest738-21kworker/u8:422:10:280
1216999572,20cyclictest738-21kworker/u8:422:10:280
1216999571,29cyclictest0-21swapper/000:05:270
12169995712,26cyclictest15171-21grep19:15:450
1217599561,41cyclictest8050irq/56-dwc_otg_22:41:482
1217599561,39cyclictest19637-21df_inode19:30:312
1217599561,37cyclictest13228-21ssh00:13:452
1217599561,34cyclictest8050irq/56-dwc_otg_23:09:582
1216999565,40cyclictest21516-21ssh21:46:480
1216999565,40cyclictest21516-21ssh21:46:480
1216999565,37cyclictest0-21swapper/022:50:120
1216999561,42cyclictest0-21swapper/019:55:310
110402560,2sleep30-21swapper/322:14:053
110402560,2sleep30-21swapper/322:14:053
1217599553,31cyclictest7950irq/56-dwc_otg_20:05:152
1217599551,40cyclictest1147-21ssh23:59:242
1217599551,40cyclictest0-21swapper/219:16:562
1217599551,38cyclictest18869-21ntp_states20:55:372
1217599551,34cyclictest823-21ssh00:37:322
1217499559,31cyclictest0-21swapper/120:05:211
1216999554,40cyclictest0-21swapper/023:01:430
12169995511,29cyclictest22921-21unixbench_singl21:05:410
1217599541,49cyclictest15802-21munin-node19:20:242
1217599541,40cyclictest0-21swapper/221:22:292
1217599541,39cyclictest4251-21awk20:15:392
1217499549,25cyclictest7850irq/56-dwc_otg22:15:251
1216999544,39cyclictest0-21swapper/020:34:210
1216999543,39cyclictest14082-21chrt20:42:210
1216999543,27cyclictest25968-21unixbench_singl19:45:410
1216999543,27cyclictest25968-21unixbench_singl19:45:410
12169995426,9cyclictest8050irq/56-dwc_otg_19:10:170
1216999542,43cyclictest0-21swapper/019:40:340
1217599531,40cyclictest0-21swapper/221:06:372
1217599531,37cyclictest0-21swapper/222:20:362
1217599531,32cyclictest28415-21/usr/sbin/munin19:55:372
1217599531,31cyclictest0-21swapper/220:44:032
1217699522,19cyclictest8050irq/56-dwc_otg_20:10:323
1217599521,47cyclictest5318-21/usr/sbin/munin20:20:352
1217599521,47cyclictest27094-21irqstats19:50:342
1217599521,35cyclictest21430-21taskset21:03:592
1217499527,29cyclictest0-21swapper/120:15:211
1217699513,34cyclictest0-21swapper/319:10:173
1217599511,39cyclictest15900-21seq20:47:402
1217599511,39cyclictest15900-21seq20:47:402
1217599511,38cyclictest20778-21ssh00:22:232
1217499517,28cyclictest0-21swapper/120:00:211
12176995029,7cyclictest20424-21aten_rbpower_po22:25:283
12176995012,7cyclictest7950irq/56-dwc_otg_22:50:263
12176995012,7cyclictest7950irq/56-dwc_otg_22:50:263
1217599501,45cyclictest24068-21ls19:40:422
1217499507,27cyclictest0-21swapper/120:55:271
12174995044,4cyclictest7850irq/56-dwc_otg23:10:251
1217599493,28cyclictest8050irq/56-dwc_otg_20:25:372
1217599481,44cyclictest11064-21diskstats20:35:302
1217699478,8cyclictest8050irq/56-dwc_otg_21:00:263
1217699472,8cyclictest8050irq/56-dwc_otg_19:35:233
1217599474,39cyclictest9020-21apt-get20:30:212
12174994719,6cyclictest26620-21/usr/sbin/munin19:50:431
1217699461,6cyclictest7950irq/56-dwc_otg_23:40:283
1217499467,26cyclictest0-21swapper/100:30:281
1217499465,3cyclictest0-21swapper/121:30:271
1217499465,3cyclictest0-21swapper/121:30:271
12174994625,7cyclictest23-21ksoftirqd/120:10:311
139632450,2sleep10-21swapper/100:15:051
12176994510,7cyclictest8050irq/56-dwc_otg_00:20:263
1217499457,24cyclictest0-21swapper/123:15:291
1217499457,24cyclictest0-21swapper/123:15:291
12169994517,20cyclictest0-21swapper/020:25:170
1217499447,25cyclictest0-21swapper/123:00:281
1217499446,25cyclictest8050irq/56-dwc_otg_23:35:291
12174994419,5cyclictest16351-21acpi20:50:251
1217699431,5cyclictest0-21swapper/319:30:263
1217499437,26cyclictest0-21swapper/119:45:261
1217499437,26cyclictest0-21swapper/119:45:261
1217499436,25cyclictest0-21swapper/121:55:271
12174994321,5cyclictest21-21rcuc/100:25:331
1217499431,6cyclictest16122-21taskset19:20:321
12176994213,6cyclictest5876-21unixbench_multi22:45:423
1217499426,23cyclictest0-21swapper/122:20:271
1217499423,7cyclictest0-21swapper/122:55:271
1217699417,22cyclictest0-21swapper/321:05:273
1217499415,23cyclictest7850irq/56-dwc_otg23:20:391
12174994120,13cyclictest221ktimersoftd/121:25:151
12174994111,5cyclictest21-21rcuc/123:30:141
42362400,2sleep34233-21sshd00:02:273
1217699408,5cyclictest8050irq/56-dwc_otg_20:50:293
1217699406,21cyclictest23721-21ssh21:10:283
1217699404,6cyclictest8050irq/56-dwc_otg_00:25:263
1217499407,24cyclictest0-21swapper/119:40:281
1217499407,22cyclictest0-21swapper/120:25:271
1217499405,26cyclictest17869-21ssh23:40:291
1217499404,6cyclictest23720-21ssh21:10:271
1217499404,5cyclictest0-21swapper/119:30:281
12174994010,10cyclictest23-21ksoftirqd/123:45:271
12174994010,10cyclictest23-21ksoftirqd/123:45:271
12176993925,5cyclictest8050irq/56-dwc_otg_21:55:303
12176993919,6cyclictest30097-21sh21:17:323
1217499398,19cyclictest5700-21kworker/1:122:08:281
1217499397,22cyclictest0-21swapper/122:45:201
1217499393,25cyclictest0-21swapper/122:28:141
1217499392,30cyclictest7950irq/56-dwc_otg_23:30:311
12174993918,5cyclictest23-21ksoftirqd/100:35:311
12174993918,10cyclictest23-21ksoftirqd/119:35:241
12174993916,9cyclictest7950irq/56-dwc_otg_21:29:511
12174993913,5cyclictest0-21swapper/122:40:381
12174993912,14cyclictest221ktimersoftd/122:32:011
12174993912,14cyclictest221ktimersoftd/122:32:011
10972390,5sleep31217699cyclictest22:01:043
1217699387,6cyclictest7850irq/56-dwc_otg00:40:153
1217699387,20cyclictest807-21timerwakeupswit20:05:443
1217699386,6cyclictest0-21swapper/321:25:373
1217699381,28cyclictest12651-21apt-config20:40:163
1217699381,25cyclictest18531-21timerandwakeup19:25:413
1217499389,15cyclictest18753-21grep19:25:431
1217499385,23cyclictest0-21swapper/122:00:271
1217499382,6cyclictest28862-21rm21:15:431
12174993823,4cyclictest221ktimersoftd/119:15:321
1217499382,25cyclictest7850irq/56-dwc_otg23:06:581
1217499381,23cyclictest7850irq/56-dwc_otg21:45:391
1217499381,23cyclictest7850irq/56-dwc_otg21:45:391
1217699376,19cyclictest8050irq/56-dwc_otg_21:32:593
1217699376,19cyclictest8050irq/56-dwc_otg_21:32:593
1217699371,4cyclictest30579-21ssh23:15:423
1217699371,4cyclictest30579-21ssh23:15:423
12174993712,12cyclictest7950irq/56-dwc_otg_20:23:471
12174993712,12cyclictest10085-21unixbench_singl22:50:441
12174993712,12cyclictest10085-21unixbench_singl22:50:441
1217699368,15cyclictest0-21swapper/321:40:283
1217699368,13cyclictest8050irq/56-dwc_otg_20:45:433
1217699368,13cyclictest8050irq/56-dwc_otg_20:45:433
1217699364,16cyclictest8050irq/56-dwc_otg_20:15:433
12176993615,3cyclictest7950irq/56-dwc_otg_20:25:323
1217499363,7cyclictest0-21swapper/121:40:251
1217499362,25cyclictest7850irq/56-dwc_otg21:05:401
12174993612,4cyclictest24452-21netstat21:50:371
12174993612,14cyclictest0-21swapper/100:00:421
12174993611,10cyclictest23-21ksoftirqd/123:50:291
12174993610,9cyclictest14621-21aten_rbpower_en20:45:291
12174993610,9cyclictest14621-21aten_rbpower_en20:45:291
1217699357,17cyclictest8050irq/56-dwc_otg_23:30:143
1217699354,15cyclictest13211-21sed22:15:413
12176993510,5cyclictest0-21swapper/319:15:293
1217499357,18cyclictest23-21ksoftirqd/100:19:311
1217499357,18cyclictest23-21ksoftirqd/100:19:311
1217499356,5cyclictest7950irq/56-dwc_otg_20:00:151
1217699348,9cyclictest12801-21ssh23:34:143
1217699343,5cyclictest37-21rcuc/320:40:313
12176993413,5cyclictest7850irq/56-dwc_otg23:05:293
1217699341,28cyclictest0-21swapper/319:20:273
1217699341,23cyclictest22296-21cut23:45:323
1217699341,23cyclictest22296-21cut23:45:323
12174993418,8cyclictest1074-21sh23:59:161
1217499341,7cyclictest23-21ksoftirqd/120:45:161
1217699339,11cyclictest0-21swapper/323:04:353
1217699338,5cyclictest0-21swapper/322:40:323
1217699338,22cyclictest0-21swapper/319:55:273
1217699337,13cyclictest26620-21/usr/sbin/munin19:50:443
1217699331,5cyclictest16691-21ssh22:20:333
12176993311,3cyclictest0-21swapper/322:05:413
12176993310,13cyclictest6134-21zcat20:20:413
12174993314,4cyclictest21-21rcuc/120:31:581
1217499331,20cyclictest20999-21ls21:00:421
157132320,2sleep30-21swapper/300:15:443
157132320,2sleep30-21swapper/300:15:443
1217699329,4cyclictest0-21swapper/300:10:403
1217699328,14cyclictest0-21swapper/322:35:433
1217699328,14cyclictest0-21swapper/322:35:433
1217699326,14cyclictest8050irq/56-dwc_otg_23:50:273
12176993210,4cyclictest0-21swapper/321:45:343
12176993210,4cyclictest0-21swapper/321:45:343
1217499323,18cyclictest23-21ksoftirqd/100:07:471
1217699312,19cyclictest0-21swapper/300:34:223
1217499315,12cyclictest10906-21grep20:35:281
1217699309,9cyclictest0-21swapper/320:30:213
1217699307,6cyclictest8050irq/56-dwc_otg_21:51:213
1217699307,14cyclictest0-21swapper/300:05:273
1217699303,17cyclictest8050irq/56-dwc_otg_19:40:343
118332304,17sleep211834-21sshd19:09:302
1217699297,15cyclictest0-21swapper/323:55:273
1217699294,13cyclictest37-21rcuc/320:55:333
1217699285,5cyclictest0-21swapper/323:20:293
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional