You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-18 - 10:12

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Tue Aug 18, 2026 00:43:41)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
429621650,2sleep121-21rcuc/100:18:231
31947991204,86cyclictest19228-21awk00:35:372
31947991169,73cyclictest7750irq/56-dwc_otg21:50:302
31945991144,78cyclictest1180-21runrttasks21:10:340
1869421130,2sleep00-21swapper/023:16:450
1869421130,2sleep00-21swapper/023:16:450
31945991113,53cyclictest0-21swapper/021:25:210
31945991113,53cyclictest0-21swapper/021:25:210
31945991043,77cyclictest30416-21taskset00:10:280
319459910331,56cyclictest9-21ksoftirqd/022:20:250
319459910331,56cyclictest9-21ksoftirqd/022:20:250
31945991005,72cyclictest0-21swapper/023:35:260
3194799984,18cyclictest2754-21sed00:15:352
3194799933,15cyclictest8575-21grep21:45:362
31947999311,54cyclictest7750irq/56-dwc_otg00:10:292
3194599914,52cyclictest0-21swapper/000:20:250
31945999117,58cyclictest8604-21ssh21:45:370
3194599903,53cyclictest0-21swapper/022:55:270
3194799893,9cyclictest7750irq/56-dwc_otg00:20:252
3194599894,67cyclictest0-21swapper/022:25:250
3194599892,80cyclictest9-21ksoftirqd/000:15:360
3194799873,15cyclictest10790-21/usr/sbin/munin21:10:202
31947998717,64cyclictest1407-21if_eth023:35:262
3194799853,10cyclictest4077-21diskstats22:20:262
3194799853,10cyclictest4077-21diskstats22:20:262
300682850,4sleep337-21rcuc/300:10:233
3194799842,9cyclictest0-21swapper/221:20:182
3194599838,57cyclictest9-21ksoftirqd/021:50:300
255582830,1sleep30-21swapper/300:05:083
31945998219,37cyclictest0-21swapper/023:30:340
3194799803,11cyclictest0-21swapper/222:25:252
31947998012,48cyclictest7850irq/56-dwc_otg_23:30:312
3194799795,67cyclictest0-21swapper/222:55:272
31945997833,7cyclictest0-21swapper/019:40:180
73532770,4sleep13194699cyclictest23:42:231
31945997620,16cyclictest19159-21grep00:35:360
3194799754,15cyclictest1191-21snmpd21:40:502
31948997430,15cyclictest7950irq/56-dwc_otg_00:15:363
3194899736,32cyclictest0-21swapper/300:30:203
31945997339,23cyclictest32127-21ssh22:15:190
3194599724,49cyclictest0-21swapper/021:40:500
31946997110,39cyclictest0-21swapper/100:35:371
31945997129,21cyclictest0-21swapper/021:30:190
9412700,2sleep20-21swapper/221:36:302
285812700,3sleep1221ktimersoftd/123:29:431
3194699693,17cyclictest4719-21ssh21:40:501
3194599694,39cyclictest0-21swapper/023:50:190
31946996815,32cyclictest0-21swapper/121:50:301
31948996712,22cyclictest11075-21diskstats21:10:213
31946996711,40cyclictest0-21swapper/100:20:241
31945996723,6cyclictest0-21swapper/020:00:190
3194699669,22cyclictest7750irq/56-dwc_otg21:45:381
31946996613,30cyclictest7750irq/56-dwc_otg23:35:271
31946996611,30cyclictest0-21swapper/121:10:331
3194799654,15cyclictest7950irq/56-dwc_otg_22:35:072
3194799653,5cyclictest7750irq/56-dwc_otg19:45:302
3194799651,5cyclictest7950irq/56-dwc_otg_23:25:192
31946996510,31cyclictest0-21swapper/122:20:231
31946996510,31cyclictest0-21swapper/122:20:231
3194599656,26cyclictest0-21swapper/022:05:190
3194899647,33cyclictest30077-21/usr/sbin/munin23:30:313
31948996416,28cyclictest0-21swapper/321:40:493
3194799646,6cyclictest0-21swapper/200:05:212
31947996313,4cyclictest8848-21cron23:45:062
31946996318,29cyclictest221ktimersoftd/100:10:271
31946996312,16cyclictest30155-21grep23:30:331
3194799624,11cyclictest7950irq/56-dwc_otg_22:35:232
3194799621,11cyclictest7950irq/56-dwc_otg_23:50:242
31946996225,14cyclictest7850irq/56-dwc_otg_22:25:251
31946996223,23cyclictest7950irq/56-dwc_otg_22:55:281
31945996217,23cyclictest1180-21runrttasks22:40:250
31945996211,34cyclictest0-21swapper/023:55:190
31945996211,30cyclictest2724-21grep20:45:350
3194899618,34cyclictest39-21ksoftirqd/321:45:373
31947996113,4cyclictest10506-21diskmemload00:34:382
3194699616,30cyclictest0-21swapper/121:30:191
31948996022,11cyclictest1180-21runrttasks00:20:263
3194799603,11cyclictest7950irq/56-dwc_otg_22:15:202
3194599607,5cyclictest0-21swapper/019:55:190
3194599603,28cyclictest0-21swapper/022:00:190
3194599602,39cyclictest0-21swapper/019:15:330
3194599602,36cyclictest3497-21fschecks_count19:20:230
272342600,4sleep327202-21ssh21:30:073
272342600,4sleep327202-21ssh21:30:073
3194799598,4cyclictest0-21swapper/222:48:332
3194799593,7cyclictest15740-21aten_rbpower_po21:55:232
31947995917,5cyclictest17078-21fschecks_time23:15:222
31947995917,5cyclictest17078-21fschecks_time23:15:222
31945995934,5cyclictest30544-21aten_rbpower_vo20:35:210
3194599591,35cyclictest5805-21grep23:40:290
3194599591,31cyclictest8110-21unixbench_singl19:30:340
3194799585,4cyclictest7850irq/56-dwc_otg_00:01:482
3194799581,5cyclictest32225-21fschecks_count19:10:242
3194599585,24cyclictest27999-21ssh22:10:170
3194599581,30cyclictest22127-21grep23:20:360
299462580,2sleep00-21swapper/022:50:450
3194799571,4cyclictest0-21swapper/221:25:132
3194799571,4cyclictest0-21swapper/221:25:132
3194599572,24cyclictest0-21swapper/022:35:280
3194599572,16cyclictest17745-21latency_hist00:35:070
3194599571,33cyclictest28819-21idleruntime-cro23:30:060
31948995613,22cyclictest0-21swapper/300:35:413
3194599563,36cyclictest27928-21tail20:25:360
31945995627,5cyclictest31858-21ssh21:35:260
31948995517,11cyclictest8201-21/usr/sbin/munin22:25:273
31948995510,15cyclictest0-21swapper/322:20:263
31948995510,15cyclictest0-21swapper/322:20:263
3194799557,8cyclictest0-21swapper/223:06:412
3194799551,4cyclictest7950irq/56-dwc_otg_22:40:252
31947995514,4cyclictest28084-21aten_rbpower_po22:10:202
31945995529,4cyclictest7850irq/56-dwc_otg_22:45:190
3194599551,31cyclictest23236-21aten_rbpower_cu20:15:210
3194799544,4cyclictest7750irq/56-dwc_otg21:20:072
3194799542,10cyclictest0-21swapper/219:40:272
3194799541,3cyclictest7950irq/56-dwc_otg_22:10:072
31945995426,16cyclictest10449-21unixbench_singl23:45:350
3194599542,29cyclictest22081-21grep20:10:300
3194599542,28cyclictest10046-21sh00:25:270
3194599542,28cyclictest10046-21sh00:25:270
3194599541,26cyclictest518-21in:imuxsock00:01:080
31948995317,16cyclictest7950irq/56-dwc_otg_21:50:293
3194799534,6cyclictest7950irq/56-dwc_otg_20:04:482
3194799531,3cyclictest7850irq/56-dwc_otg_23:10:572
3194799531,3cyclictest0-21swapper/223:04:392
31945995328,5cyclictest7950irq/56-dwc_otg_23:05:310
3194599532,36cyclictest0-21swapper/023:00:270
3194799529,3cyclictest0-21swapper/223:23:592
3194799525,4cyclictest7750irq/56-dwc_otg19:40:062
3194799523,11cyclictest7950irq/56-dwc_otg_20:15:332
3194799522,5cyclictest0-21swapper/200:26:172
3194799522,5cyclictest0-21swapper/200:26:172
3194799521,3cyclictest7950irq/56-dwc_otg_23:58:422
3194799521,18cyclictest0-21swapper/221:01:302
31945995226,5cyclictest5314-21aten_rbpower_po20:55:220
3194599521,31cyclictest12622-21latency22:30:280
3194899518,28cyclictest25709-21ssh00:05:233
3194899513,28cyclictest0-21swapper/322:55:293
31948995126,4cyclictest27662-21sh22:10:063
3194799513,3cyclictest7950irq/56-dwc_otg_22:51:472
3194799512,11cyclictest7950irq/56-dwc_otg_23:48:592
31945995124,5cyclictest13538-21ssh23:10:330
31945995122,14cyclictest15753-21cut21:55:230
3194599511,31cyclictest0-21swapper/019:50:320
3194599511,31cyclictest0-21swapper/019:50:320
3194599511,27cyclictest25262-21fschecks_count20:20:250
3194599511,17cyclictest8601-21idleruntime-cro21:05:060
3194899504,18cyclictest0-21swapper/323:35:263
3194799501,9cyclictest7850irq/56-dwc_otg_22:00:192
3194599501,39cyclictest0-21swapper/000:05:300
3194599501,31cyclictest0-21swapper/019:25:120
3194599501,28cyclictest10092-21grep21:05:360
3194799491,6cyclictest0-21swapper/221:34:152
3194799491,5cyclictest0-21swapper/220:25:212
3194599492,5cyclictest0-21swapper/020:50:210
31945994922,7cyclictest15850-21/usr/sbin/munin21:15:330
3194799483,4cyclictest7950irq/56-dwc_otg_20:20:362
3194799482,5cyclictest0-21swapper/219:51:142
3194799482,5cyclictest0-21swapper/219:51:142
3194699488,26cyclictest0-21swapper/121:05:121
3194599482,5cyclictest9030-21fschecks_count19:35:230
3194599481,28cyclictest29118-21cat20:30:270
3194599481,27cyclictest19077-21/usr/sbin/munin21:20:260
3194799471,9cyclictest0-21swapper/220:35:252
3194799471,3cyclictest0-21swapper/220:05:282
314182472,36sleep00-21swapper/019:06:460
314182472,36sleep00-21swapper/019:06:460
31948994622,10cyclictest7950irq/56-dwc_otg_19:45:283
3194799467,24cyclictest0-21swapper/219:25:122
3194799461,2cyclictest0-21swapper/220:55:272
3194799461,13cyclictest0-21swapper/219:23:582
3194899457,24cyclictest0-21swapper/320:45:203
3194899447,23cyclictest0-21swapper/321:05:213
3194699447,23cyclictest0-21swapper/119:45:191
3194699441,36cyclictest0-21swapper/119:30:321
3194599441,30cyclictest0-21swapper/019:10:100
3194899437,25cyclictest0-21swapper/319:20:193
3194899436,24cyclictest0-21swapper/321:00:223
3194799437,23cyclictest0-21swapper/220:40:212
3194799437,23cyclictest0-21swapper/220:40:212
3194699437,23cyclictest0-21swapper/123:45:201
3194699437,23cyclictest0-21swapper/121:15:211
3194599438,20cyclictest9-21ksoftirqd/019:45:280
3194899427,23cyclictest14967-21ssh21:15:213
3194899427,23cyclictest0-21swapper/319:10:213
3194599421,20cyclictest0-21swapper/020:45:030
3194599421,20cyclictest0-21swapper/020:45:030
3194899417,25cyclictest0-21swapper/323:40:203
3194699413,9cyclictest23-21ksoftirqd/121:25:341
3194699413,9cyclictest23-21ksoftirqd/121:25:341
31945994115,17cyclictest0-21swapper/020:05:100
3194899405,6cyclictest37-21rcuc/323:50:303
3194699402,5cyclictest10813-21uniq19:40:241
31946994021,5cyclictest1180-21runrttasks22:19:281
3194699401,6cyclictest18029-21fschecks_count20:00:251
3194899397,17cyclictest381ktimersoftd/323:25:073
3194899395,17cyclictest39-21ksoftirqd/321:39:353
3194699393,4cyclictest7950irq/56-dwc_otg_23:20:191
31946993920,5cyclictest23-21ksoftirqd/122:10:431
3194699391,25cyclictest5667-21ls19:25:281
3194899382,5cyclictest7950irq/56-dwc_otg_19:15:183
31948993815,5cyclictest18206-21iwlist20:00:263
3194699386,22cyclictest28573-21ssh22:50:211
3194699385,22cyclictest10506-21diskmemload00:30:201
3194699382,23cyclictest29449-21idleruntime-cro00:10:061
160662380,5sleep13194699cyclictest22:35:081
3194899376,4cyclictest7750irq/56-dwc_otg23:05:173
3194899376,13cyclictest23053-21latency_hist21:25:073
3194899372,6cyclictest16724-21ssh23:15:173
3194899372,6cyclictest16724-21ssh23:15:173
31948993716,8cyclictest7950irq/56-dwc_otg_00:26:153
31948993716,8cyclictest7950irq/56-dwc_otg_00:26:153
3194899371,21cyclictest28385-21ls22:10:243
3194799371,23cyclictest3131-21ls19:20:072
3194699373,15cyclictest11011-21grep00:25:391
3194699373,15cyclictest11011-21grep00:25:391
3194699372,17cyclictest0-21swapper/123:54:471
3194699372,16cyclictest0-21swapper/121:00:231
31946993717,5cyclictest16978-21forks23:15:211
31946993717,5cyclictest16978-21forks23:15:211
3194699371,28cyclictest20585-21ls20:05:331
31946993711,24cyclictest0-21swapper/120:35:201
3194899368,13cyclictest381ktimersoftd/322:40:113
3194899363,6cyclictest7750irq/56-dwc_otg20:25:363
31948993621,4cyclictest15839-21latency_hist22:35:063
31948993617,9cyclictest7950irq/56-dwc_otg_22:00:313
31948993611,13cyclictest0-21swapper/319:25:213
3194699367,16cyclictest23-21ksoftirqd/119:10:261
3194699365,17cyclictest7950irq/56-dwc_otg_19:20:341
3194699362,15cyclictest0-21swapper/119:55:341
3194699362,12cyclictest0-21swapper/100:01:141
3194699361,8cyclictest8222-21latency_hist23:05:071
31946993613,13cyclictest18038-21latency23:55:281
3194699361,22cyclictest27091-21cut20:25:251
31946993610,13cyclictest24257-21grep20:15:351
3194899358,8cyclictest7950irq/56-dwc_otg_20:50:353
3194899357,16cyclictest0-21swapper/319:30:203
31948993520,4cyclictest7850irq/56-dwc_otg_23:25:373
31948993514,4cyclictest7750irq/56-dwc_otg20:15:263
31948993512,9cyclictest7950irq/56-dwc_otg_23:56:113
3194799351,11cyclictest0-21swapper/220:50:392
3194699358,5cyclictest7750irq/56-dwc_otg22:05:061
3194699355,21cyclictest20329-21ssh22:40:211
3194699354,16cyclictest9450irq/48-DMA08:56:171
31946993514,13cyclictest21-21rcuc/120:14:591
31946993513,5cyclictest18613-21rm21:58:391
3194899347,16cyclictest0-21swapper/320:55:213
3194899344,14cyclictest37-21rcuc/322:15:273
31948993425,7cyclictest29343-21rm22:50:313
31948993415,10cyclictest381ktimersoftd/323:47:453
31948993414,5cyclictest10506-21diskmemload23:14:583
3194899341,17cyclictest0-21swapper/322:48:473
3194699342,26cyclictest0-21swapper/121:37:361
3194699341,6cyclictest0-21swapper/122:10:041
31946993412,5cyclictest21-21rcuc/120:55:281
3194699341,15cyclictest3184-21idleruntime-cro20:50:061
3194699341,13cyclictest0-21swapper/120:40:221
3194699341,13cyclictest0-21swapper/120:40:221
3194899339,7cyclictest381ktimersoftd/320:45:073
3194899339,7cyclictest381ktimersoftd/320:45:073
3194899337,23cyclictest0-21swapper/319:35:203
3194899333,16cyclictest7950irq/56-dwc_otg_19:40:203
31948993310,6cyclictest381ktimersoftd/320:20:283
3194799333,13cyclictest1191-21snmpd19:35:042
3194699338,5cyclictest0-21swapper/122:30:361
3194699336,18cyclictest0-21swapper/122:45:211
3194699332,16cyclictest9899-21unixbench_singl19:35:341
3194699332,15cyclictest0-21swapper/120:20:221
3194899327,22cyclictest0-21swapper/323:00:213
3194899322,13cyclictest7950irq/56-dwc_otg_19:55:073
3194899322,13cyclictest7950irq/56-dwc_otg_19:55:073
31948993212,11cyclictest7750irq/56-dwc_otg21:33:473
3194699327,15cyclictest0-21swapper/123:05:191
3194699325,17cyclictest0-21swapper/120:30:251
31946993213,5cyclictest21-21rcuc/119:53:421
31946993213,5cyclictest21-21rcuc/119:53:421
3194699321,16cyclictest20311-21grep21:20:351
3194899317,7cyclictest37-21rcuc/320:15:063
3194799311,19cyclictest8800-21apt-key21:05:072
3194799311,13cyclictest0-21swapper/219:59:222
3194699311,24cyclictest16473-21rm23:15:071
3194699311,17cyclictest0-21swapper/119:15:121
3194899308,5cyclictest16091-21if_eth021:55:283
3194899307,14cyclictest0-21swapper/320:35:203
31948993013,6cyclictest17147-21switchtime22:35:333
3194799301,11cyclictest0-21swapper/220:10:102
3194899292,12cyclictest7950irq/56-dwc_otg_19:55:243
3194899291,12cyclictest381ktimersoftd/320:07:203
3194799287,15cyclictest0-21swapper/220:45:202
3194799283,6cyclictest0-21swapper/220:30:182
313682283,18sleep30-21swapper/319:06:083
313682283,18sleep30-21swapper/319:06:083
307932284,14sleep230830-21ntp_states19:05:302
307932284,14sleep230830-21ntp_states19:05:302
3194899271,16cyclictest29146-21latency20:30:283
313142273,12sleep10-21swapper/119:05:371
313142273,12sleep10-21swapper/119:05:371
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional