You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-10 - 05:03

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Tue Mar 10, 2026 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
994225720,4sleep10-21swapper/119:05:191
11399991272,120cyclictest0-21swapper/023:25:020
180332960,2sleep10-21swapper/121:42:471
11399999324,14cyclictest0-21swapper/022:35:150
11399999158,16cyclictest0-21swapper/022:46:130
327292860,2sleep20-21swapper/223:57:502
195682830,3sleep1221ktimersoftd/123:41:351
11399998330,50cyclictest101ktimersoftd/021:40:130
1139999792,63cyclictest13387-21unixbench_singl22:15:290
1139999771,38cyclictest0-21swapper/000:20:120
96752760,5sleep31141599cyclictest23:30:183
284752760,4sleep328443-21ssh21:55:213
145442730,1sleep2301ktimersoftd/222:17:302
1139999733,7cyclictest0-21swapper/021:35:130
1139999730,59cyclictest29174-21timerwakeupswit19:55:280
1139999718,44cyclictest0-21swapper/020:55:120
1139999711,56cyclictest0-21swapper/023:35:010
251542700,3sleep1221ktimersoftd/121:12:081
251542700,3sleep1221ktimersoftd/121:12:081
1139999697,43cyclictest0-21swapper/020:40:010
1139999696,15cyclictest0-21swapper/023:05:150
11399996926,15cyclictest0-21swapper/023:50:080
1139999692,44cyclictest19214-21aten_rbpower_cu21:00:130
1139999689,47cyclictest8305-21kworker/u8:023:15:060
1139999682,45cyclictest0-21swapper/022:25:010
11399996819,24cyclictest28465-21grep21:15:310
17672670,2sleep20-21swapper/200:00:082
1139999673,47cyclictest0-21swapper/021:45:170
1139999671,52cyclictest15454-21fschecks_count19:20:170
1139999671,46cyclictest27857-21unixbench_singl00:30:310
1139999671,45cyclictest640-21fschecks_count22:40:170
11399996710,38cyclictest3037-21grep00:00:280
191372660,3sleep10-21swapper/119:30:171
1139999668,41cyclictest0-21swapper/022:25:150
1139999662,45cyclictest520-21cron23:15:010
1139999661,51cyclictest4305-21grep21:25:290
1139999661,45cyclictest4191-21fschecks_time22:05:190
186582650,2sleep3381ktimersoftd/323:01:153
1139999657,42cyclictest0-21swapper/020:25:250
1139999652,47cyclictest0-21swapper/021:30:200
1139999651,48cyclictest4085-21grep20:15:320
1139999651,48cyclictest20080-21unixbench_singl19:30:290
1139999651,45cyclictest9862-21unixbench_multi22:50:290
11399996415,3cyclictest0-21swapper/023:45:130
11399996415,3cyclictest0-21swapper/023:45:130
1141099633,5cyclictest7850irq/56-dwc_otg_22:55:182
1139999634,40cyclictest26035-21latency_hist19:50:020
1139999634,40cyclictest26035-21latency_hist19:50:020
1139999633,44cyclictest24046-21fschecks_count21:50:180
1139999632,51cyclictest0-21swapper/022:32:570
1139999632,43cyclictest8336-21fschecks_time22:10:190
1139999631,41cyclictest30276-21grep20:00:180
11399996310,36cyclictest28181-21fschecks_count21:55:180
11415996219,4cyclictest21160-21aten_rbpower_po23:05:163
1139999627,41cyclictest1994550ssh23:03:380
11399996216,42cyclictest101ktimersoftd/021:20:140
1139999621,42cyclictest26816-21cron21:15:010
1139999621,42cyclictest26816-21cron21:15:010
1139999618,24cyclictest0-21swapper/020:40:140
1139999615,43cyclictest0-21swapper/019:15:170
1139999615,43cyclictest0-21swapper/019:15:170
11399996131,4cyclictest0-21swapper/000:15:140
1141599605,3cyclictest0-21swapper/323:46:033
1141599605,3cyclictest0-21swapper/323:46:033
11415996019,4cyclictest28072-21latency_hist19:55:023
1141099601,5cyclictest7850irq/56-dwc_otg_22:35:202
11410996011,5cyclictest19326-21taskset23:41:092
1141599591,6cyclictest25056-21users21:50:313
1141099593,10cyclictest7950irq/56-dwc_otg_23:55:012
1141099591,5cyclictest11428-21latency_hist19:10:022
1139999598,35cyclictest16932-21chrt20:52:390
1139999596,35cyclictest23674-21grep00:25:290
1139999591,30cyclictest22676-21aten_rbpower_cu19:40:140
1141599586,4cyclictest0-21swapper/300:01:523
1141599584,5cyclictest7950irq/56-dwc_otg_22:10:013
1141099587,11cyclictest32561-21unixbench_singl21:20:282
1141099583,16cyclictest7850irq/56-dwc_otg_23:20:182
1141099583,12cyclictest19744-21cut21:45:172
1141099582,16cyclictest7950irq/56-dwc_otg_22:25:152
1141099582,11cyclictest7950irq/56-dwc_otg_21:28:222
11399995839,8cyclictest0-21swapper/022:55:080
1139999581,44cyclictest0-21swapper/022:00:190
1139999581,44cyclictest0-21swapper/022:00:190
1139999581,40cyclictest0-21swapper/023:40:020
1141599574,4cyclictest0-21swapper/300:10:223
1141599571,4cyclictest14419-21df00:15:173
1141099575,10cyclictest7950irq/56-dwc_otg_20:55:302
1141099573,5cyclictest3540-21ssh22:43:532
1141099571,6cyclictest29472-21aten_rbpower_en23:15:142
1141099571,5cyclictest22011-21switchtime23:05:272
11410995710,4cyclictest0-21swapper/221:55:212
1139999579,34cyclictest7114-21ssh23:26:290
1141599566,4cyclictest0-21swapper/323:55:083
1141599565,4cyclictest7850irq/56-dwc_otg_22:43:533
1141599562,5cyclictest7750irq/56-dwc_otg21:15:013
1141599562,5cyclictest7750irq/56-dwc_otg21:15:013
1141099565,5cyclictest7750irq/56-dwc_otg00:30:162
1141099563,3cyclictest7950irq/56-dwc_otg_21:50:242
1141099563,3cyclictest7750irq/56-dwc_otg00:29:212
1141099562,4cyclictest14120-21rm00:15:072
11410995618,4cyclictest7626-21sh22:48:472
11410995618,4cyclictest17273-21fschecks_time23:00:202
1141099561,6cyclictest27365-21sed19:50:302
1141099561,4cyclictest7950irq/56-dwc_otg_19:20:312
1139999561,39cyclictest0-21swapper/020:45:280
1139999561,37cyclictest0-21swapper/023:55:200
1141599556,8cyclictest7950irq/56-dwc_otg_23:15:153
1141599556,5cyclictest0-21swapper/322:12:403
1141599552,9cyclictest7950irq/56-dwc_otg_21:35:243
1141599551,5cyclictest7950irq/56-dwc_otg_23:55:023
1141099552,4cyclictest7850irq/56-dwc_otg_19:33:572
1141099551,6cyclictest0-21swapper/223:10:112
1139999557,5cyclictest0-21swapper/021:10:020
1139999552,32cyclictest0-21swapper/000:35:290
1139999552,32cyclictest0-21swapper/000:35:290
1141599543,11cyclictest0-21swapper/322:23:403
1141099541,9cyclictest7950irq/56-dwc_otg_22:24:072
11410995417,4cyclictest12028-21sh22:54:152
1141099541,3cyclictest7950irq/56-dwc_otg_22:04:262
1141099541,3cyclictest7950irq/56-dwc_otg_22:04:262
1141099541,15cyclictest0-21swapper/221:33:502
1140499542,3cyclictest0-21swapper/122:40:111
1139999548,29cyclictest4956-21df_inode20:20:170
1139999548,29cyclictest4956-21df_inode20:20:170
1139999545,41cyclictest0-21swapper/019:14:590
1139999544,33cyclictest0-21swapper/023:40:120
1139999542,29cyclictest21500-21ntpq19:35:220
11399995410,41cyclictest26779-21latency19:50:220
1139999540,47cyclictest9777-21taskset20:33:300
1141599531,4cyclictest14001-21ssh22:55:293
1141099532,7cyclictest7950irq/56-dwc_otg_00:12:012
1141099531,3cyclictest7850irq/56-dwc_otg_00:23:212
1141099531,15cyclictest908-21runrttasks21:39:442
1139999534,35cyclictest0-21swapper/020:14:260
1139999531,37cyclictest0-21swapper/000:06:130
1141599529,6cyclictest0-21swapper/321:18:223
1141599524,3cyclictest0-21swapper/300:06:143
1141599521,6cyclictest0-21swapper/321:42:363
1141099521,2cyclictest0-21swapper/223:36:552
1141599511,16cyclictest0-21swapper/300:34:343
11415995110,4cyclictest381ktimersoftd/320:30:553
1141099517,8cyclictest7950irq/56-dwc_otg_19:15:072
1141099517,8cyclictest7950irq/56-dwc_otg_19:15:072
1141099515,4cyclictest7750irq/56-dwc_otg21:40:122
1139999511,26cyclictest0-21swapper/000:11:250
1141599501,14cyclictest6655-21ssh22:47:013
1141099502,3cyclictest0-21swapper/223:30:162
1141099501,3cyclictest0-21swapper/221:14:122
1141099501,3cyclictest0-21swapper/221:14:122
1139999507,32cyclictest779-21runrttasks20:09:040
107832503,14sleep00-21swapper/019:05:590
1141099491,16cyclictest0-21swapper/223:27:212
1141599481,5cyclictest1579-21ssh22:01:343
1141599481,5cyclictest1579-21ssh22:01:343
1141599481,10cyclictest7950irq/56-dwc_otg_00:26:133
1141099487,4cyclictest7850irq/56-dwc_otg_21:15:202
1141099487,3cyclictest0-21swapper/200:35:452
1141099487,3cyclictest0-21swapper/200:35:452
1141099487,30cyclictest0-21swapper/219:35:062
1141099484,4cyclictest7850irq/56-dwc_otg_00:05:222
1141099481,6cyclictest7850irq/56-dwc_otg_21:03:432
103642480,5sleep21141099cyclictest20:35:182
32612470,2sleep10-21swapper/122:04:371
32612470,2sleep10-21swapper/122:04:371
1141599476,23cyclictest0-21swapper/319:55:073
11415994618,16cyclictest381ktimersoftd/323:35:273
1141599461,18cyclictest0-21swapper/321:28:423
1141099467,25cyclictest0-21swapper/220:45:152
1139999461,38cyclictest0-21swapper/019:25:420
1141599451,5cyclictest1986250ssh21:45:183
1141599447,25cyclictest0-21swapper/319:35:063
1141599447,22cyclictest0-21swapper/320:35:163
1141099441,5cyclictest24701-21ssh23:48:262
1141099441,5cyclictest24701-21ssh23:48:262
1140499432,9cyclictest29775-21fschecks_time23:15:181
11404994329,4cyclictest21653-21sensors19:35:251
1141099405,10cyclictest0-21swapper/222:32:332
1140499406,18cyclictest13064-21cron19:15:011
11404994022,5cyclictest23409-21idleruntime-cro21:50:001
1141599396,21cyclictest0-21swapper/322:50:153
1141599393,5cyclictest0-21swapper/300:35:143
1141599393,5cyclictest0-21swapper/300:35:143
1140499392,9cyclictest0-21swapper/121:05:151
1140499392,5cyclictest0-21swapper/120:35:141
1141599381,5cyclictest0-21swapper/320:50:013
1141599381,34cyclictest7950irq/56-dwc_otg_21:30:213
1140499385,7cyclictest7750irq/56-dwc_otg00:20:281
1140499382,4cyclictest0-21swapper/123:31:511
1140499382,17cyclictest7850irq/56-dwc_otg_23:50:011
1140499382,17cyclictest7850irq/56-dwc_otg_23:50:011
11404993820,8cyclictest11260-1kworker/u9:021:35:281
11404993813,4cyclictest0-21swapper/119:15:131
11404993813,4cyclictest0-21swapper/119:15:131
1141099371,25cyclictest22811-21ls19:40:152
1140499377,6cyclictest9550irq/80-mmc023:25:111
1140499371,7cyclictest2181-21grep00:00:181
11404993715,9cyclictest22565-21diskmemload22:20:341
1140499371,16cyclictest31813-21rm23:56:091
1141599366,7cyclictest39-21ksoftirqd/320:05:193
1141599365,8cyclictest24225-21ssh22:30:013
11415993613,4cyclictest21227-21fschecks_count21:05:193
1141099361,5cyclictest9262-21unixbench_singl22:10:302
1140499363,8cyclictest6639-21sshd20:25:171
1140499362,10cyclictest7750irq/56-dwc_otg21:55:121
11404993617,4cyclictest15565-21/usr/sbin/munin20:50:251
1140499361,17cyclictest0-21swapper/123:05:561
11404993611,5cyclictest25495-21switchtime22:30:271
214302350,1sleep20-21swapper/221:05:212
1141599355,6cyclictest7850irq/56-dwc_otg_21:00:273
1141599354,5cyclictest7850irq/56-dwc_otg_20:55:183
1141599354,24cyclictest7950irq/56-dwc_otg_00:20:123
11415993514,4cyclictest381ktimersoftd/320:10:143
1140499358,4cyclictest0-21swapper/122:10:281
1140499357,7cyclictest7750irq/56-dwc_otg19:45:011
1140499353,7cyclictest23589-21sed00:25:281
11404993529,4cyclictest10343-21fschecks_count00:10:181
1140499352,10cyclictest0-21swapper/120:45:141
11404993518,5cyclictest7019-21sh22:47:401
11404993513,15cyclictest0-21swapper/100:15:151
286142341,4sleep128711-21ls19:55:211
1141599344,6cyclictest7850irq/56-dwc_otg_22:15:193
1141599344,4cyclictest7850irq/56-dwc_otg_22:38:103
1141599341,6cyclictest748950ssh23:27:113
1141099341,23cyclictest13260-21ls19:15:022
1140499347,6cyclictest7750irq/56-dwc_otg22:55:291
1140499346,7cyclictest0-21swapper/121:50:151
1140499345,5cyclictest7850irq/56-dwc_otg_21:15:191
1140499345,15cyclictest7950irq/56-dwc_otg_00:35:161
1140499345,15cyclictest7950irq/56-dwc_otg_00:35:161
11404993418,5cyclictest8399-21/usr/sbin/munin20:30:151
1141599335,15cyclictest0-21swapper/320:20:153
1141599335,15cyclictest0-21swapper/320:20:153
1141599334,7cyclictest7950irq/56-dwc_otg_20:55:013
11415993310,13cyclictest39-21ksoftirqd/323:20:193
1141599330,16cyclictest0-21swapper/320:29:173
1141099331,6cyclictest7950irq/56-dwc_otg_20:40:142
1141099331,20cyclictest7694-21ls22:10:012
1140499338,14cyclictest29815-21timerwakeupswit22:35:301
1140499336,5cyclictest7750irq/56-dwc_otg23:20:271
1140499336,17cyclictest13825-21cut23:35:171
11404993325,5cyclictest4626-21sh22:05:251
11404993316,8cyclictest18733-21sh23:01:231
1141599325,4cyclictest7750irq/56-dwc_otg19:20:173
11415993212,5cyclictest32413-21/usr/sbin/munin21:20:273
1141099324,6cyclictest7850irq/56-dwc_otg_20:05:192
1141099324,17cyclictest0-21swapper/220:20:152
1141099324,17cyclictest0-21swapper/220:20:152
1140499326,5cyclictest26876-21fschecks_count00:30:191
1140499326,4cyclictest7850irq/56-dwc_otg_23:10:151
11404993226,4cyclictest3594-21ls21:25:211
11404993225,5cyclictest31365-21aten_rbpower_en21:20:141
1140499322,16cyclictest7850irq/56-dwc_otg_22:25:201
1141599318,3cyclictest0-21swapper/323:10:323
1141599317,6cyclictest7950irq/56-dwc_otg_19:30:133
1141599315,5cyclictest7850irq/56-dwc_otg_20:40:153
1141599314,6cyclictest25063-21/usr/sbin/munin22:30:213
1141599311,21cyclictest18764-21ssh23:40:293
1141099315,5cyclictest7850irq/56-dwc_otg_20:10:182
1141099314,5cyclictest7850irq/56-dwc_otg_19:25:202
11410993116,4cyclictest24612-21cpuspeed19:45:162
11410993116,4cyclictest24612-21cpuspeed19:45:162
11410993110,15cyclictest16065-21latency20:50:222
1140499316,18cyclictest0-21swapper/122:54:321
1140499316,10cyclictest7850irq/56-dwc_otg_00:05:241
1140499311,8cyclictest0-21swapper/123:50:391
1140499311,6cyclictest12334-21/usr/sbin/munin22:15:161
11404993110,4cyclictest10991-21latency_hist21:35:021
1141599304,15cyclictest39-21ksoftirqd/320:15:293
1141099307,14cyclictest0-21swapper/219:55:072
1141099302,4cyclictest7850irq/56-dwc_otg_20:30:282
11410993014,7cyclictest7850irq/56-dwc_otg_20:25:182
1140499305,17cyclictest18711-21latency_hist19:30:011
1141599295,11cyclictest13468-21wget19:15:153
1141599295,11cyclictest13468-21wget19:15:153
1141599291,4cyclictest24449-21apt-get19:45:133
1141599291,4cyclictest24449-21apt-get19:45:133
11415992913,5cyclictest149-21systemd-journal19:15:013
1141599291,15cyclictest23567-21ls19:40:273
1141599291,12cyclictest17111-21wget19:25:153
1141599291,10cyclictest30268-21cut20:00:183
1140499295,7cyclictest0-21swapper/119:50:351
1140499295,4cyclictest7750irq/56-dwc_otg20:05:291
1140499292,20cyclictest0-21swapper/119:46:291
1140499292,20cyclictest0-21swapper/119:46:291
1140499291,5cyclictest7750irq/56-dwc_otg20:15:181
1140499291,19cyclictest0-21swapper/120:24:521
1140499291,19cyclictest0-21swapper/120:24:521
107292298,13sleep30-21swapper/319:05:303
1141099287,11cyclictest7950irq/56-dwc_otg_20:02:402
1140499286,6cyclictest0-21swapper/120:01:591
1140499281,5cyclictest7950irq/56-dwc_otg_21:00:201
1140499271,4cyclictest7750irq/56-dwc_otg20:40:201
11404992713,5cyclictest908-21runrttasks19:22:291
1141099262,5cyclictest7950irq/56-dwc_otg_20:15:152
1140499261,6cyclictest1815-21ntp_states20:10:231
1140499255,3cyclictest7750irq/56-dwc_otg20:55:271
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional