You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-01-10 - 08:44

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Sat Jan 10, 2026 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
14206999423,43cyclictest0-21swapper/019:45:280
1420699877,59cyclictest0-21swapper/022:30:290
81612860,6sleep21420899cyclictest20:20:422
1420699866,35cyclictest0-21swapper/020:55:210
1420699866,35cyclictest0-21swapper/020:55:210
14206997830,14cyclictest0-21swapper/021:35:270
14206997333,6cyclictest0-21swapper/022:00:250
1420699711,56cyclictest101ktimersoftd/023:15:170
1420699686,42cyclictest18261-21latency_hist22:20:170
138362681,15sleep10-21swapper/119:09:001
1420699678,45cyclictest4171-21ntpq20:10:370
1420699665,50cyclictest17342-21tune2fs23:45:330
1420699656,42cyclictest32055-21sed21:25:420
14206996520,26cyclictest25073-21unixbench_singl22:35:440
14206996510,51cyclictest101ktimersoftd/020:50:390
14206996431,19cyclictest0-21swapper/020:20:250
14206996411,33cyclictest21534-21aten_rbpower_en19:30:300
14206996411,33cyclictest21534-21aten_rbpower_en19:30:300
1420699640,47cyclictest0-21swapper/021:04:040
14206996324,5cyclictest435-21cron23:10:150
14206996322,21cyclictest29916-21grep00:20:300
172922620,2sleep117291-21netstat22:15:361
1420699625,26cyclictest0-21swapper/021:55:260
14206996236,17cyclictest0-21swapper/021:45:010
14206996221,21cyclictest0-21swapper/023:20:170
1420999611,3cyclictest0-21swapper/321:50:163
1420699616,34cyclictest0-21swapper/000:00:290
1420699616,34cyclictest0-21swapper/000:00:290
14206996139,9cyclictest29070-21grep21:20:170
1420699611,47cyclictest10650-21ls20:30:160
1420699611,29cyclictest0-21swapper/000:05:270
1420699607,30cyclictest0-21swapper/020:05:290
14206996024,18cyclictest16415-21munin-plugin-st22:15:160
1420999592,11cyclictest14468-21/usr/sbin/munin20:40:243
14206995931,9cyclictest0-21swapper/022:50:410
1420999581,13cyclictest7950irq/56-dwc_otg_21:20:293
1420699587,14cyclictest0-21swapper/022:20:280
1420699587,14cyclictest0-21swapper/022:20:280
1420699585,27cyclictest0-21swapper/023:55:420
1420699583,33cyclictest0-21swapper/023:30:290
1420699583,33cyclictest0-21swapper/023:30:290
14206995833,11cyclictest0-21swapper/020:05:160
14206995814,6cyclictest0-21swapper/019:55:270
1420999571,13cyclictest0-21swapper/300:31:163
1420699573,34cyclictest0-21swapper/023:50:570
14206995725,22cyclictest0-21swapper/023:00:290
14206995725,22cyclictest0-21swapper/023:00:290
1420699572,29cyclictest29187-21unixbench_singl00:15:440
1420699572,29cyclictest17408-21unixbench_multi20:45:440
1420999565,8cyclictest7750irq/56-dwc_otg21:50:363
1420699564,37cyclictest0-21swapper/019:43:510
14206995620,4cyclictest0-21swapper/020:35:290
1420699561,44cyclictest27793-21modprobe00:15:160
1420699557,28cyclictest16070-21cat20:45:160
1420699556,8cyclictest311372sleep022:55:290
14206995529,14cyclictest19451-21idleruntime-cro19:25:160
14206995529,11cyclictest7750irq/56-dwc_otg00:30:330
1420699552,29cyclictest446-21grep21:30:310
1420699552,29cyclictest446-21grep21:30:310
1420999541,5cyclictest7850irq/56-dwc_otg_23:45:443
14209995415,4cyclictest2046-21run-parts23:05:133
14209995415,4cyclictest2046-21run-parts23:05:133
14206995424,5cyclictest25564-21aten_rbpower_cu21:10:290
14206995423,21cyclictest0-21swapper/019:25:320
1420999531,5cyclictest18554-21aten_rbpower_po22:20:293
1420999531,5cyclictest18554-21aten_rbpower_po22:20:293
14209995315,5cyclictest4613-21unixbench_multi20:10:433
1420699532,9cyclictest6878-21sed21:45:410
14206995328,12cyclictest101ktimersoftd/022:45:270
1420699531,29cyclictest8273-21ntpq21:50:370
1420999527,5cyclictest949-21unixbench_multi20:00:443
1420999521,11cyclictest28166-21netstat22:45:373
1420999511,12cyclictest29151-21unixbench_multi00:15:443
1420799516,6cyclictest7850irq/56-dwc_otg_21:15:271
14206995135,3cyclictest0-21swapper/021:20:390
14206995112,27cyclictest5297-21/usr/sbin/munin20:15:370
14206995112,20cyclictest16377-21fschecks_time19:15:320
1420999502,3cyclictest7750irq/56-dwc_otg23:40:353
14206995032,6cyclictest7950irq/56-dwc_otg_21:05:370
1420699502,10cyclictest10928-21sed23:25:430
1420699501,5cyclictest14619-21munin-run22:10:160
1420699496,21cyclictest15351-21aten_rbpower_en23:40:290
14206994925,6cyclictest7750irq/56-dwc_otg22:40:430
1420999481,5cyclictest7750irq/56-dwc_otg21:28:543
1420999481,16cyclictest17463-21users20:45:453
1420699482,29cyclictest0-21swapper/023:35:390
1420999477,25cyclictest0-21swapper/323:25:293
1420999477,24cyclictest0-21swapper/323:55:283
1420699473,30cyclictest0-21swapper/000:26:120
14206994727,12cyclictest0-21swapper/023:23:590
1420699471,36cyclictest0-21swapper/020:30:350
1420999466,24cyclictest0-21swapper/319:15:283
1420999464,3cyclictest7750irq/56-dwc_otg20:50:263
1420999461,9cyclictest0-21swapper/300:25:353
138452462,36sleep00-21swapper/019:09:070
1420999457,24cyclictest0-21swapper/322:55:293
1420999454,6cyclictest7950irq/56-dwc_otg_19:30:453
1420999454,6cyclictest7950irq/56-dwc_otg_19:30:453
14206994533,3cyclictest0-21swapper/019:14:310
14206994516,21cyclictest0-21swapper/000:39:010
14206994516,21cyclictest0-21swapper/000:39:010
1420999447,22cyclictest0-21swapper/322:35:303
1420999447,22cyclictest0-21swapper/319:10:283
1420999447,22cyclictest0-21swapper/300:00:293
1420999447,22cyclictest0-21swapper/300:00:293
1420999442,6cyclictest1125-21runrttasks20:00:043
14206994426,11cyclictest0-21swapper/022:25:510
1420899431,14cyclictest7850irq/56-dwc_otg_23:25:332
14206994330,5cyclictest101ktimersoftd/019:51:540
1420999424,23cyclictest0-21swapper/321:05:223
1420799422,7cyclictest7850irq/56-dwc_otg_23:35:251
14206994219,14cyclictest0-21swapper/019:35:190
193322410,2sleep20-21swapper/222:20:402
193322410,2sleep20-21swapper/222:20:402
1420899414,9cyclictest7950irq/56-dwc_otg_23:35:252
1420999407,26cyclictest0-21swapper/323:20:223
1420999407,23cyclictest0-21swapper/321:15:293
1420999401,15cyclictest0-21swapper/300:36:343
1420999401,15cyclictest0-21swapper/300:36:343
14207994018,4cyclictest30876-21cron22:55:161
1420799401,5cyclictest789-21munin-run00:30:161
1420999397,22cyclictest0-21swapper/319:20:273
14209993917,5cyclictest30561-21sh00:20:393
1420899393,8cyclictest0-21swapper/221:40:272
1420899391,6cyclictest7950irq/56-dwc_otg_00:35:272
1420899391,6cyclictest7950irq/56-dwc_otg_00:35:272
14207993921,5cyclictest16430-21idleruntime-cro22:15:161
1420899384,4cyclictest7950irq/56-dwc_otg_23:15:282
1420899381,24cyclictest29002-21cut19:50:332
1420899380,18cyclictest7950irq/56-dwc_otg_22:40:292
14207993817,5cyclictest1125-21runrttasks00:10:341
14207993814,6cyclictest7750irq/56-dwc_otg22:25:321
1420799381,31cyclictest25699-21ls21:10:301
1420999377,4cyclictest13155-21ls20:35:353
14209993713,5cyclictest23593-21fschecks_time19:35:323
1420899377,14cyclictest7950irq/56-dwc_otg_20:55:432
1420899377,14cyclictest7950irq/56-dwc_otg_20:55:432
1420899373,16cyclictest7950irq/56-dwc_otg_19:45:162
1420899368,6cyclictest0-21swapper/221:20:292
1420899366,14cyclictest7950irq/56-dwc_otg_19:20:422
1420899365,14cyclictest7950irq/56-dwc_otg_21:10:162
1420899364,6cyclictest5341-21aten_rbpower_cu20:15:292
1420899363,21cyclictest6083-21cut21:45:312
1420799367,5cyclictest9550irq/80-mmc020:20:221
1420799362,3cyclictest7950irq/56-dwc_otg_23:50:271
14207993619,6cyclictest1363-21fschecks_time00:30:331
14207993618,5cyclictest316-21irqstats20:00:361
1420799361,4cyclictest0-21swapper/119:40:251
25682350,1sleep20-21swapper/223:05:322
1420999351,14cyclictest0-21swapper/320:29:443
1420899356,6cyclictest7950irq/56-dwc_otg_23:30:302
1420899356,6cyclictest7950irq/56-dwc_otg_23:30:302
1420899356,4cyclictest0-21swapper/219:25:302
1420899354,5cyclictest7850irq/56-dwc_otg_22:15:352
1420899351,23cyclictest31452-21cut22:55:332
14208993510,6cyclictest3442-21cat20:10:172
14208993510,4cyclictest0-21swapper/222:30:292
1420799356,8cyclictest0-21swapper/123:55:261
1420799352,7cyclictest4680-21grep21:40:371
1420799351,7cyclictest9550irq/80-mmc019:15:161
1420799351,5cyclictest7750irq/56-dwc_otg19:25:311
14207993515,5cyclictest16342-21aten_rbpower_en20:45:301
14207993511,11cyclictest7850irq/56-dwc_otg_23:15:361
1420999346,15cyclictest0-21swapper/320:20:283
1420899344,8cyclictest0-21swapper/222:50:282
14208993417,5cyclictest1311-21seq20:03:492
14208993414,3cyclictest0-21swapper/223:40:392
14208993412,5cyclictest8515-21taskset21:50:412
1420899341,11cyclictest32586-21munin-run21:30:162
1420799347,5cyclictest8467-21/usr/sbin/munin23:20:341
1420799343,3cyclictest0-21swapper/122:00:361
1420799342,5cyclictest11095-21cut20:30:341
14207993418,5cyclictest9229-21cpuspeed20:25:301
14207993417,6cyclictest18688-21expr19:20:391
14207993415,5cyclictest3121650wget22:55:301
1420999337,14cyclictest0-21swapper/323:50:283
1420999336,15cyclictest0-21swapper/322:10:283
1420999334,5cyclictest7950irq/56-dwc_otg_21:10:433
1420999331,24cyclictest27947-21ls00:15:163
1420899333,27cyclictest7950irq/56-dwc_otg_00:30:272
1420899332,6cyclictest16398-21grep20:45:312
1420899331,21cyclictest22126-21cut21:00:332
1420899331,17cyclictest4972-21grep23:10:402
1420899331,15cyclictest7950irq/56-dwc_otg_23:50:292
14207993326,5cyclictest25471-21latency_hist21:10:171
1420799331,5cyclictest7750irq/56-dwc_otg19:35:271
1420799331,4cyclictest7850irq/56-dwc_otg_21:50:261
1420799331,4cyclictest7750irq/56-dwc_otg21:00:331
14207993313,12cyclictest145172chrt22:09:161
14207993312,8cyclictest1125-21runrttasks21:27:171
1420999322,17cyclictest0-21swapper/323:20:163
1420999321,6cyclictest7850irq/56-dwc_otg_19:45:423
14209993214,5cyclictest22917-21unixbench_multi21:00:443
14209993212,4cyclictest7950irq/56-dwc_otg_23:10:363
14209993212,12cyclictest7950irq/56-dwc_otg_20:30:343
1420899324,4cyclictest7850irq/56-dwc_otg_22:10:382
1420899324,13cyclictest7950irq/56-dwc_otg_22:05:432
1420899322,6cyclictest0-21swapper/221:15:272
1420899321,5cyclictest7950irq/56-dwc_otg_22:45:282
1420799329,12cyclictest26881-21grep22:40:431
1420799326,7cyclictest7750irq/56-dwc_otg00:15:301
1420799326,6cyclictest7750irq/56-dwc_otg20:00:161
1420799324,4cyclictest7750irq/56-dwc_otg21:45:311
1420799321,5cyclictest3304-21unixbench_multi21:35:431
14207993214,5cyclictest1125-21runrttasks23:30:141
14207993214,4cyclictest15459-21timerwakeupswit20:40:401
14207993213,5cyclictest5798-21idleruntime-cro23:15:161
307772310,1sleep30-21swapper/322:54:023
1420999313,7cyclictest2876-21/usr/sbin/munin23:05:363
1420999311,5cyclictest7750irq/56-dwc_otg21:40:323
1420899317,4cyclictest7750irq/56-dwc_otg00:00:442
1420899317,4cyclictest7750irq/56-dwc_otg00:00:442
1420899315,5cyclictest7850irq/56-dwc_otg_19:10:322
1420899313,4cyclictest7850irq/56-dwc_otg_22:35:302
1420899312,13cyclictest7750irq/56-dwc_otg23:55:322
1420899311,15cyclictest0-21swapper/223:45:352
1420799315,6cyclictest7950irq/56-dwc_otg_00:05:161
1420799315,6cyclictest7950irq/56-dwc_otg_00:05:161
1420799312,5cyclictest0-21swapper/123:00:341
1420799312,5cyclictest0-21swapper/123:00:341
1420799311,7cyclictest25529-21tail00:05:431
1420799311,5cyclictest1723-21wget20:05:291
14207993115,4cyclictest10607-21kworker/u8:122:25:161
14207993115,4cyclictest10607-21kworker/u8:122:25:161
1420799311,4cyclictest7750irq/56-dwc_otg19:50:351
1420799311,19cyclictest16969-21ls19:15:411
123682316,16sleep212370-21acpi19:05:252
1420999301,22cyclictest0-21swapper/320:57:453
1420999301,22cyclictest0-21swapper/320:57:453
1420899301,5cyclictest3278-21grep21:35:432
1420899301,5cyclictest0-21swapper/223:00:372
1420899301,5cyclictest0-21swapper/223:00:372
14208993013,4cyclictest27814-21basename00:15:162
1420899301,24cyclictest26097-21missed_timers21:10:362
1420899301,15cyclictest21851-21latency_hist22:30:162
14208993010,4cyclictest0-21swapper/220:39:242
1420799306,12cyclictest7950irq/56-dwc_otg_20:55:431
1420799306,12cyclictest7950irq/56-dwc_otg_20:55:431
1420799305,11cyclictest0-21swapper/120:10:341
1420799303,17cyclictest0-21swapper/120:50:271
1420799303,16cyclictest0-21swapper/122:39:171
1420799302,6cyclictest3436-21tail23:05:431
1420799302,5cyclictest7850irq/56-dwc_otg_23:45:161
1420799301,6cyclictest6892-21cron20:20:161
14207993016,5cyclictest30132-21fschecks_count00:20:331
14207993014,7cyclictest221ktimersoftd/121:21:221
1420799301,12cyclictest7850irq/56-dwc_otg_00:35:361
1420799301,12cyclictest7850irq/56-dwc_otg_00:35:361
1420799301,12cyclictest7750irq/56-dwc_otg21:56:531
221832290,3sleep122186-21aten_rbpower_vo22:30:291
1420999297,9cyclictest441-21aten_rbpower_po21:30:313
1420999297,9cyclictest441-21aten_rbpower_po21:30:313
1420999295,6cyclictest7850irq/56-dwc_otg_22:30:303
1420999293,5cyclictest5648-21fschecks_time20:15:333
1420999292,7cyclictest7850irq/56-dwc_otg_19:50:333
1420999292,16cyclictest0-21swapper/322:40:433
1420999291,13cyclictest7750irq/56-dwc_otg23:35:393
1420899298,4cyclictest21842-21cat19:30:342
1420899298,4cyclictest21842-21cat19:30:342
1420899296,9cyclictest7950irq/56-dwc_otg_19:35:282
1420899296,4cyclictest7750irq/56-dwc_otg00:25:392
1420899293,7cyclictest0-21swapper/200:16:352
14208992923,4cyclictest31-21ksoftirqd/221:35:172
14208992923,4cyclictest31-21ksoftirqd/221:35:172
1420899291,6cyclictest7850irq/56-dwc_otg_20:25:352
1420899291,19cyclictest18406-21uniq20:50:332
1420799299,13cyclictest131682chrt23:34:371
1420799299,13cyclictest131682chrt23:34:371
1420799292,9cyclictest13514-21ls20:35:411
14207992911,9cyclictest26885-21/usr/sbin/munin19:45:321
1420999287,18cyclictest0-21swapper/322:00:273
1420999282,6cyclictest25173-21grep00:05:403
1420899286,9cyclictest7950irq/56-dwc_otg_19:45:372
1420899286,4cyclictest7850irq/56-dwc_otg_00:05:332
1420899283,11cyclictest7950irq/56-dwc_otg_20:30:342
1420899282,14cyclictest7850irq/56-dwc_otg_19:15:332
14208992811,4cyclictest14638-21grep20:40:282
1420799281,8cyclictest7950irq/56-dwc_otg_19:30:361
1420799281,8cyclictest7950irq/56-dwc_otg_19:30:361
14207992817,4cyclictest660-21fschecks_time21:30:341
14207992817,4cyclictest660-21fschecks_time21:30:341
1420799281,19cyclictest27775-21cut22:45:331
1420999276,6cyclictest39-21ksoftirqd/319:40:333
1420999273,9cyclictest9703-21/usr/sbin/munin21:55:323
1420999271,14cyclictest0-21swapper/322:25:343
1420899275,11cyclictest8033-21/usr/sbin/munin23:20:332
14208992711,4cyclictest30288-21if_wlan000:20:342
1420799273,15cyclictest0-21swapper/123:45:331
136942274,13sleep30-21swapper/319:07:083
1420999262,16cyclictest0-21swapper/322:15:283
14209992615,8cyclictest19793-21aten_rbpower_vo19:25:313
14209992615,8cyclictest1759-21aten_rbpower_po20:05:293
1420999251,5cyclictest7750irq/56-dwc_otg23:30:443
1420999251,5cyclictest7750irq/56-dwc_otg23:30:443
1420899257,15cyclictest0-21swapper/219:55:292
1420899253,7cyclictest11221-21/usr/sbin/munin22:00:322
1420899252,4cyclictest9421-21apt-get21:55:262
1420899252,13cyclictest0-21swapper/220:13:302
14209992418,4cyclictest3741-21seq21:40:133
1420999235,9cyclictest7950irq/56-dwc_otg_22:05:353
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional