You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-31 - 09:28

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Wed Dec 31, 2025 00:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
223849911837,74cyclictest0-21swapper/019:10:130
22384991027,68cyclictest0-21swapper/020:45:160
288142880,2sleep30-21swapper/323:55:303
288142880,2sleep30-21swapper/323:55:303
22384998615,58cyclictest32017-21fschecks_count21:05:280
10872840,2sleep20-21swapper/222:40:102
22384998215,58cyclictest32083-21awk00:05:230
22384998118,33cyclictest31935-21/usr/sbin/munin22:35:390
22384998018,40cyclictest29904-21munin-plugin-st22:30:110
22384998018,40cyclictest29904-21munin-plugin-st22:30:110
22384997914,53cyclictest26479-21taskset20:50:270
2238499773,45cyclictest0-21swapper/000:00:260
22384997715,42cyclictest2213-21sed21:10:390
200862760,2sleep10-21swapper/123:30:331
22384997416,35cyclictest29990-21aten_rbpower_cu21:00:240
22384997413,42cyclictest22398-21grep23:35:400
22384997413,41cyclictest0-21swapper/021:26:030
22386997313,45cyclictest10489-21aten_rbpower_en23:05:262
22386997313,45cyclictest10489-21aten_rbpower_en23:05:262
22384997315,37cyclictest13422-21awk23:10:400
22384997220,38cyclictest0-21swapper/022:00:230
22384997216,44cyclictest0-21swapper/000:35:260
22384997216,44cyclictest0-21swapper/000:35:260
22384997213,48cyclictest0-21swapper/020:55:160
22384997213,48cyclictest0-21swapper/020:55:160
22384997115,42cyclictest0-21swapper/019:25:000
22384997115,42cyclictest0-21swapper/019:25:000
22384997112,44cyclictest25884-21timerwakeupswit23:45:390
22384997020,39cyclictest5928-21taskset19:52:200
22384997017,42cyclictest22516-21latency_hist20:40:110
146742700,2sleep20-21swapper/220:15:402
22384996917,35cyclictest5564-21ls22:50:320
22384996916,35cyclictest25987-21taskset22:16:370
2238699687,5cyclictest7850irq/56-dwc_otg_22:30:242
22384996815,35cyclictest0-21swapper/022:40:590
22384996814,38cyclictest4362-21chrt22:46:240
2238499673,27cyclictest0-21swapper/021:20:240
22384996719,36cyclictest28097-21apt22:25:110
22384996717,39cyclictest17592-21/usr/sbin/munin21:55:260
22384996716,33cyclictest31047-21taskset19:32:100
22384996713,38cyclictest19256-21cut23:30:110
2238499667,45cyclictest0-21swapper/023:05:350
2238499667,45cyclictest0-21swapper/023:05:350
22384996612,40cyclictest0-21swapper/020:30:060
2238499657,44cyclictest0-21swapper/000:24:300
22384996512,39cyclictest23059-21/usr/sbin/munin23:40:250
22384996511,42cyclictest0-21swapper/021:47:100
22386996410,6cyclictest7850irq/56-dwc_otg_20:45:112
22384996423,27cyclictest22308-21taskset22:05:490
22384996422,39cyclictest16767-21taskset20:22:310
22384996415,6cyclictest14782-21grep20:15:410
22384996415,33cyclictest8200-21/usr/sbin/munin20:00:410
2238699637,5cyclictest7950irq/56-dwc_otg_23:35:322
22384996316,33cyclictest0-21swapper/020:15:010
22384996313,40cyclictest128-21systemd-journal21:31:200
22384996218,25cyclictest19270-21/usr/sbin/munin20:30:290
22384996218,25cyclictest19270-21/usr/sbin/munin20:30:290
22384996214,34cyclictest30624-21cut22:30:300
22384996116,38cyclictest0-21swapper/020:07:340
22384996113,36cyclictest0-21swapper/023:19:130
22384996112,33cyclictest1125-21runrttasks21:55:030
2238799607,24cyclictest0-21swapper/323:00:253
2238499609,36cyclictest0-21swapper/021:35:300
2238499609,36cyclictest0-21swapper/000:32:400
2238499608,9cyclictest7750irq/56-dwc_otg21:15:210
22384996016,41cyclictest24185-21taskset20:44:580
22384996014,35cyclictest0-21swapper/023:24:420
22384996014,26cyclictest29784-21taskset23:57:080
22384996014,26cyclictest29784-21taskset23:57:080
22384996012,45cyclictest0-21swapper/000:19:030
22384996012,37cyclictest0-21swapper/021:44:320
2238699594,11cyclictest7850irq/56-dwc_otg_19:40:122
2238699593,4cyclictest7950irq/56-dwc_otg_00:35:362
2238699593,4cyclictest7950irq/56-dwc_otg_00:35:362
2238699592,6cyclictest29680-21grep19:30:112
2238699591,17cyclictest24677-21aten_rbpower_vo20:45:282
22384995911,37cyclictest0-21swapper/022:10:380
22384995815,40cyclictest7960-21kworker/u8:220:00:100
22384995810,36cyclictest0-21swapper/022:57:340
2238699574,4cyclictest30568-21missed_timers21:00:322
2238699572,8cyclictest32116-21cut00:05:262
2238699572,12cyclictest0-21swapper/220:30:252
2238699572,12cyclictest0-21swapper/220:30:252
22386995713,5cyclictest2564-21latency_hist19:45:112
22386995713,5cyclictest2564-21latency_hist19:45:112
22384995713,29cyclictest0-21swapper/019:19:430
22384995712,31cyclictest0-21swapper/023:51:430
22384995711,35cyclictest0-21swapper/023:02:370
2238699562,16cyclictest0-21swapper/200:19:332
2238699561,6cyclictest19715-21iwlist22:00:302
22386995611,4cyclictest25844-21latency_hist19:20:112
22384995617,27cyclictest0-21swapper/019:27:130
22384995613,40cyclictest0-21swapper/000:10:510
2238699551,6cyclictest7850irq/56-dwc_otg_23:00:282
22384995516,25cyclictest0-21swapper/023:32:340
22384995516,12cyclictest8281-21taskset00:27:100
2238699546,5cyclictest7850irq/56-dwc_otg_21:05:402
2238699543,14cyclictest31492-21apt-key19:35:112
2238699541,4cyclictest7750irq/56-dwc_otg20:55:242
2238699541,4cyclictest7750irq/56-dwc_otg20:55:242
22384995414,23cyclictest0-21swapper/019:47:170
22384995316,34cyclictest530-21chrt19:37:340
22384995314,28cyclictest0-21swapper/019:42:310
22384995314,28cyclictest0-21swapper/019:42:310
2238799521,10cyclictest37-21rcuc/323:05:263
2238799521,10cyclictest37-21rcuc/323:05:263
2238699511,6cyclictest4769-21apt-get21:20:232
22386995014,9cyclictest1125-21runrttasks23:54:572
2238599494,15cyclictest7750irq/56-dwc_otg20:20:211
2238599493,5cyclictest0-21swapper/121:55:241
2238599488,26cyclictest0-21swapper/122:10:271
2238599482,14cyclictest7750irq/56-dwc_otg19:20:231
2238599482,14cyclictest7750irq/56-dwc_otg19:20:231
2238799477,26cyclictest0-21swapper/319:10:143
2238699479,5cyclictest301ktimersoftd/222:27:382
2238699479,5cyclictest301ktimersoftd/222:27:382
2238699477,26cyclictest0-21swapper/222:50:162
2238699471,4cyclictest13652-21sshd23:13:402
22386994712,5cyclictest1125-21runrttasks23:57:392
22386994712,5cyclictest1125-21runrttasks23:57:392
219212472,14sleep00-21swapper/019:07:470
2238799467,26cyclictest0-21swapper/322:20:243
2238599463,12cyclictest7750irq/56-dwc_otg22:50:231
2238599462,5cyclictest7750irq/56-dwc_otg20:05:221
2238799457,23cyclictest0-21swapper/319:45:253
2238799457,23cyclictest0-21swapper/300:15:263
2238599454,5cyclictest7850irq/56-dwc_otg_21:30:251
2238599452,3cyclictest0-21swapper/121:15:231
22385994519,6cyclictest21405-21fschecks_time22:05:301
2238799448,24cyclictest0-21swapper/323:25:253
2238799447,7cyclictest7850irq/56-dwc_otg_00:00:253
2238799444,5cyclictest7850irq/56-dwc_otg_00:30:283
22387994417,5cyclictest27917-21cron20:55:113
2238599447,25cyclictest0-21swapper/120:00:251
2238799437,23cyclictest0-21swapper/321:55:253
2238799437,23cyclictest0-21swapper/321:00:243
2238799437,22cyclictest0-21swapper/321:30:263
2238799437,22cyclictest0-21swapper/320:10:243
2238799437,21cyclictest0-21swapper/300:20:263
2238799436,23cyclictest0-21swapper/300:25:163
2238799434,7cyclictest7950irq/56-dwc_otg_22:35:213
2238699437,23cyclictest0-21swapper/200:30:282
2238799427,25cyclictest0-21swapper/320:05:243
2238799427,23cyclictest0-21swapper/319:15:233
2238799427,20cyclictest0-21swapper/320:20:243
2238799423,4cyclictest7950irq/56-dwc_otg_22:10:263
22387994223,5cyclictest39-21ksoftirqd/322:05:403
2238599423,10cyclictest0-21swapper/100:30:271
22385994213,17cyclictest0-21swapper/123:40:221
2238599421,30cyclictest31306-21apt-get19:35:101
2238799417,22cyclictest0-21swapper/322:30:243
2238799417,22cyclictest0-21swapper/320:15:253
2238799416,25cyclictest0-21swapper/319:20:163
2238799416,25cyclictest0-21swapper/319:20:163
2238599413,17cyclictest7950irq/56-dwc_otg_19:10:131
22385994118,12cyclictest19411-21aten_rbpower_vo22:00:261
2238799407,23cyclictest0-21swapper/321:50:153
2238799407,18cyclictest0-21swapper/323:45:253
2238799401,25cyclictest0-21swapper/322:50:163
2238599402,4cyclictest7750irq/56-dwc_otg23:20:211
2238599401,4cyclictest0-21swapper/120:40:231
2238799396,18cyclictest39-21ksoftirqd/300:05:413
2238699397,19cyclictest0-21swapper/200:10:252
2238699392,8cyclictest2838-21grep19:45:262
2238699391,6cyclictest7950irq/56-dwc_otg_21:10:232
2238599397,25cyclictest0-21swapper/121:25:251
2238799387,22cyclictest0-21swapper/320:45:163
2238799384,16cyclictest39-21ksoftirqd/321:50:103
22387993818,4cyclictest4709-21latency_hist22:50:113
2238799381,26cyclictest31976-21ls21:05:263
2238799381,25cyclictest28600-21cut22:25:283
2238799381,25cyclictest28600-21cut22:25:283
2238699382,9cyclictest0-21swapper/200:00:252
22385993811,4cyclictest0-21swapper/123:30:101
2238799379,16cyclictest19131-21wget20:30:273
2238799379,16cyclictest19131-21wget20:30:273
2238799376,15cyclictest39-21ksoftirqd/320:40:103
2238799375,23cyclictest0-21swapper/321:10:253
2238799372,3cyclictest0-21swapper/323:50:233
22387993716,4cyclictest31422-21latency_hist19:35:113
2238799371,20cyclictest3233-21cut21:15:273
2238699378,14cyclictest7950irq/56-dwc_otg_22:40:412
2238599376,5cyclictest6532-21aten_rbpower_vo19:55:281
2238599375,7cyclictest7850irq/56-dwc_otg_21:00:401
2238599374,18cyclictest7950irq/56-dwc_otg_00:25:171
22385993717,3cyclictest7750irq/56-dwc_otg21:10:261
2238599371,24cyclictest30428-21grep22:30:271
2238799365,19cyclictest7750irq/56-dwc_otg23:16:283
2238799365,17cyclictest6907-21fschecks_time21:25:293
22387993617,3cyclictest0-21swapper/323:10:283
2238799361,26cyclictest31843-21ls19:35:253
2238699364,7cyclictest8471-21fschecks_count20:00:282
2238699364,16cyclictest7850irq/56-dwc_otg_22:20:392
22386993618,11cyclictest23722-21seq19:12:152
2238699361,25cyclictest19691-21cut23:30:282
2238599367,25cyclictest0-21swapper/121:20:241
2238599362,9cyclictest0-21swapper/119:50:231
2238599362,8cyclictest30132-21latency_hist00:00:111
2238599362,8cyclictest30132-21latency_hist00:00:111
2238599361,9cyclictest28494-21fschecks_time20:55:301
2238599361,9cyclictest28494-21fschecks_time20:55:301
2238799359,6cyclictest7950irq/56-dwc_otg_23:20:313
2238799355,20cyclictest37-21rcuc/320:00:093
2238799353,20cyclictest7750irq/56-dwc_otg20:30:013
2238799351,8cyclictest2569-21munin-run19:45:113
2238799351,8cyclictest2569-21munin-run19:45:113
22386993519,5cyclictest1125-21runrttasks23:20:282
2238599358,6cyclictest7950irq/56-dwc_otg_23:50:251
2238599358,6cyclictest7850irq/56-dwc_otg_19:40:311
2238599358,6cyclictest7850irq/56-dwc_otg_19:40:311
2238599358,25cyclictest0-21swapper/120:45:271
2238599357,25cyclictest0-21swapper/121:50:161
2238599352,9cyclictest32168-21latency19:35:301
2238599352,19cyclictest7750irq/56-dwc_otg22:35:241
2238599351,7cyclictest0-21swapper/122:55:241
2238799349,5cyclictest39-21ksoftirqd/300:35:263
2238799349,5cyclictest39-21ksoftirqd/300:35:263
2238799347,15cyclictest0-21swapper/320:55:263
2238799347,15cyclictest0-21swapper/320:55:263
2238799345,13cyclictest7850irq/56-dwc_otg_19:30:103
2238799341,3cyclictest0-21swapper/321:35:223
2238799341,23cyclictest0-21swapper/323:35:253
2238699341,15cyclictest7750irq/56-dwc_otg20:25:252
2238599347,22cyclictest0-21swapper/100:00:261
2238599345,5cyclictest7950irq/56-dwc_otg_22:25:391
2238599345,5cyclictest7950irq/56-dwc_otg_22:25:391
2238599343,14cyclictest7950irq/56-dwc_otg_22:45:101
22385993418,12cyclictest0-21swapper/120:15:411
2238599341,5cyclictest7850irq/56-dwc_otg_22:45:291
22385993414,5cyclictest10169-21/usr/sbin/munin21:35:221
2238599341,3cyclictest7750irq/56-dwc_otg23:05:391
2238599341,3cyclictest7750irq/56-dwc_otg23:05:391
2238599341,27cyclictest12262-21cut21:40:281
2238599341,25cyclictest0-21swapper/123:15:241
205752348,17sleep120557-21/usr/sbin/munin19:05:261
2238799334,5cyclictest0-21swapper/322:00:383
2238799331,22cyclictest8962-21runrttasks20:00:363
2238699337,13cyclictest7950irq/56-dwc_otg_22:05:272
2238699333,5cyclictest7750irq/56-dwc_otg19:55:292
2238699332,7cyclictest7750irq/56-dwc_otg20:20:242
22386993316,8cyclictest25063-21fschecks_time22:15:292
22386993314,5cyclictest708950wget00:25:272
2238599334,5cyclictest7750irq/56-dwc_otg00:20:271
22385993319,4cyclictest32410-21/usr/sbin/munin21:05:331
2238599331,23cyclictest0-21swapper/100:35:251
2238599331,23cyclictest0-21swapper/100:35:251
2238799324,14cyclictest7850irq/56-dwc_otg_20:42:473
2238799323,13cyclictest7850irq/56-dwc_otg_19:53:153
2238799322,3cyclictest7950irq/56-dwc_otg_23:30:223
2238799321,9cyclictest1489-21aten_rbpower_en00:10:253
2238799321,26cyclictest2246-21timerandwakeup22:40:393
2238799321,19cyclictest0-21swapper/322:55:373
2238699327,7cyclictest7750irq/56-dwc_otg23:45:222
2238699327,22cyclictest0-21swapper/219:20:252
2238699327,22cyclictest0-21swapper/219:20:252
2238699327,15cyclictest0-21swapper/221:50:162
2238699321,4cyclictest7950irq/56-dwc_otg_21:40:222
22386993212,12cyclictest14726-21ntp_states23:15:342
2238599325,15cyclictest7950irq/56-dwc_otg_00:14:251
2238599324,18cyclictest24261-21cut19:15:231
22385993217,5cyclictest25473-21/usr/sbin/munin22:15:361
83972310,1sleep20-21swapper/223:00:112
2238799315,13cyclictest7950irq/56-dwc_otg_22:20:113
2238799313,7cyclictest7950irq/56-dwc_otg_23:45:113
2238799312,4cyclictest7950irq/56-dwc_otg_21:20:233
2238699312,5cyclictest6164-21grep00:20:412
2238699311,4cyclictest0-21swapper/222:46:042
2238599318,4cyclictest7950irq/56-dwc_otg_20:35:251
2238599317,15cyclictest0-21swapper/121:45:261
2238599313,4cyclictest7750irq/56-dwc_otg23:35:401
2238599311,26cyclictest26827-21cut22:20:281
22385993111,9cyclictest7850irq/56-dwc_otg_00:05:391
285152300,1sleep10-21swapper/119:25:321
2238799301,15cyclictest7850irq/56-dwc_otg_21:40:383
2238699304,12cyclictest7950irq/56-dwc_otg_21:30:292
22386993026,2cyclictest0-21swapper/221:25:392
2238699302,4cyclictest11917-21aten_rbpower_vo20:10:252
2238699302,17cyclictest0-21swapper/220:55:122
2238699301,19cyclictest23864-21timerandwakeup22:10:422
2238699301,13cyclictest7950irq/56-dwc_otg_23:40:282
2238599305,5cyclictest12217-21/usr/sbin/munin23:10:291
2238599304,5cyclictest7850irq/56-dwc_otg_20:25:321
22385993018,9cyclictest128-21systemd-journal20:55:111
2238599301,6cyclictest19458-21iwlist20:30:311
2238599301,6cyclictest19458-21iwlist20:30:311
2238599301,5cyclictest3535-21fschecks_time00:15:301
217612306,10sleep20-21swapper/219:05:432
2238699291,24cyclictest5124-21latency19:50:322
2238699291,17cyclictest0-21swapper/221:59:082
2238599297,5cyclictest7950irq/56-dwc_otg_19:45:291
2238599292,7cyclictest12333-21/usr/sbin/munin20:10:311
22385992923,4cyclictest8856-21fschecks_count23:00:281
2238699288,5cyclictest29-21rcuc/220:05:362
2238699281,15cyclictest0-21swapper/220:35:282
2238699281,14cyclictest10859-21ntpq21:35:342
2238699272,4cyclictest3770-21sensors_temp21:15:362
2238599271,17cyclictest0-21swapper/123:49:511
217772262,14sleep30-21swapper/319:05:563
2238699253,10cyclictest7850irq/56-dwc_otg_21:45:302
2238699251,5cyclictest17651-21apt-get23:25:222
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional