You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-01-02 - 04:24

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Fri Jan 02, 2026 00:43:37)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1679021440,4sleep10-21swapper/119:05:411
1029821040,2sleep110299-21mkdir20:16:081
1766799874,58cyclictest0-21swapper/019:10:140
1766799761,49cyclictest0-21swapper/023:40:230
227292740,6sleep21766999cyclictest20:50:342
1766799686,38cyclictest0-21swapper/022:50:420
1766799674,45cyclictest0-21swapper/023:35:260
61542660,2sleep36146-21munin-run00:35:123
17667996544,10cyclictest0-21swapper/000:35:430
1766799651,51cyclictest26827-21unixbench_singl21:00:440
1766799642,39cyclictest128-21systemd-journal00:05:120
1766799641,48cyclictest7082-21grep21:35:420
1766799641,48cyclictest10208-21unixbench_singl20:15:420
1766799633,45cyclictest0-21swapper/021:00:120
1766799632,58cyclictest9823-21cut23:15:270
1766799632,49cyclictest8811-21cron20:15:110
259532620,2sleep125954-21grep22:30:281
1766799621,49cyclictest29200-21idleruntime-cro22:40:120
1766799621,42cyclictest0-21swapper/023:30:250
17667996143,6cyclictest29857-21unixbench_multi19:40:400
1766799611,50cyclictest0-21swapper/023:20:270
1766799611,46cyclictest685-21ntpq19:50:350
1766799611,43cyclictest17428-21awk22:05:370
1766799611,43cyclictest17428-21awk22:05:370
17670996022,8cyclictest29057-21munin-plugin-st21:10:123
1766799606,40cyclictest0-21swapper/023:10:260
17667996040,13cyclictest24792-21cron19:30:120
1766799602,43cyclictest30535-21wc00:10:380
1766799592,44cyclictest3046-21proc_pri21:25:380
1766799591,43cyclictest0-21swapper/022:00:350
17667995910,40cyclictest1125-21runrttasks21:11:500
1766799582,45cyclictest20294-21latency_hist22:15:120
1766799582,44cyclictest14245-21grep21:55:410
17667995820,18cyclictest0-21swapper/023:50:230
1766799581,47cyclictest27468-21/usr/sbin/munin21:05:270
1766799581,37cyclictest0-21swapper/000:20:260
1766799572,52cyclictest4138-21grep20:00:320
1766799572,52cyclictest4138-21grep20:00:320
1766799572,39cyclictest0-21swapper/000:15:220
1766799571,42cyclictest0-21swapper/020:25:400
1766799562,45cyclictest0-21swapper/019:45:520
1766799561,40cyclictest11049-21aten_rbpower_en20:20:250
1766799556,36cyclictest12895-21cron21:55:120
17667995543,5cyclictest7850irq/56-dwc_otg_21:35:110
1766799552,45cyclictest0-21swapper/020:40:500
1766799551,45cyclictest2375-21kworker/0:000:28:570
17667995437,6cyclictest31105-21modprobe22:45:120
17667995437,6cyclictest31105-21modprobe22:45:120
1766799542,44cyclictest0-21swapper/022:35:120
1766799542,39cyclictest0-21swapper/021:40:280
1766799541,41cyclictest31679-21wc21:15:320
1766799541,41cyclictest31679-21wc21:15:320
1766799536,40cyclictest1125-21runrttasks22:25:150
17667995329,9cyclictest0-21swapper/023:05:110
1766799532,37cyclictest17142-21wc20:35:360
1766799531,41cyclictest0-21swapper/019:55:350
1766799531,40cyclictest0-21swapper/019:35:230
1766799531,38cyclictest20734-21latency20:45:320
1766799531,35cyclictest0-21swapper/019:15:310
17667995240,3cyclictest0-21swapper/023:25:280
17667995240,3cyclictest0-21swapper/023:25:280
1766799521,40cyclictest0-21swapper/019:35:120
1766799511,43cyclictest0-21swapper/020:50:160
1766799506,34cyclictest0-21swapper/019:22:510
1766799506,34cyclictest0-21swapper/019:22:510
1766799501,40cyclictest0-21swapper/000:30:320
1766799492,6cyclictest22035-21latency_hist22:20:120
1766799492,37cyclictest0-21swapper/021:46:180
1766799492,36cyclictest0-21swapper/022:55:480
17667994915,32cyclictest23939-21latency_hist22:25:120
17668994821,11cyclictest2140350wget19:20:251
17668994821,11cyclictest2140350wget19:20:251
1766799482,37cyclictest0-21swapper/000:05:320
1766799482,34cyclictest0-21swapper/020:05:140
17667994817,15cyclictest7950irq/56-dwc_otg_22:50:110
1766799481,40cyclictest0-21swapper/023:07:490
1766799481,36cyclictest1125-21runrttasks21:21:540
17670994612,16cyclictest0-21swapper/300:00:373
1766799461,39cyclictest0-21swapper/023:45:230
1766799461,34cyclictest7950irq/56-dwc_otg_20:35:120
171752463,37sleep00-21swapper/019:07:270
17670994511,5cyclictest29472-21sed22:40:133
1766799442,32cyclictest0-21swapper/023:55:290
1766999438,22cyclictest3318-21grep21:25:402
1766999423,13cyclictest0-21swapper/219:10:142
17668994111,5cyclictest1125-21runrttasks19:15:491
1766999401,26cyclictest0-21swapper/200:15:382
17668994017,5cyclictest20811-21if_eth022:15:321
1766999397,21cyclictest12986-21latency_hist21:55:122
1766899392,10cyclictest8075-21ls21:40:311
17668993916,14cyclictest24717-21ntp_states22:25:371
1767099383,15cyclictest0-21swapper/319:10:143
17670993814,14cyclictest1125-21runrttasks23:32:043
1767099381,21cyclictest0-21swapper/319:17:593
1766999384,27cyclictest0-21swapper/219:40:422
1766999382,26cyclictest0-21swapper/219:31:032
1766999381,7cyclictest26788-21grep21:00:442
17669993813,5cyclictest14977-21taskset23:30:122
17669993813,5cyclictest14977-21taskset23:30:122
17669993813,4cyclictest18702-21cat23:40:122
1766899386,5cyclictest7950irq/56-dwc_otg_23:50:251
1767099371,4cyclictest0-21swapper/321:55:413
17670993711,11cyclictest26951-21taskset19:35:243
17669993715,4cyclictest1125-21runrttasks20:48:272
1766999371,22cyclictest0-21swapper/219:29:552
17669993711,4cyclictest1125-21runrttasks20:36:402
17668993715,4cyclictest554150wget20:05:261
17668993714,12cyclictest14362-21latency_hist20:30:131
1767099364,4cyclictest7950irq/56-dwc_otg_22:55:253
1767099364,24cyclictest20231-21/usr/sbin/munin20:45:373
17670993616,4cyclictest1296-21/usr/sbin/munin21:20:373
17670993614,4cyclictest27400-21latency_hist22:35:123
1766999369,7cyclictest25414-21cron21:00:122
1766899365,16cyclictest7750irq/56-dwc_otg00:05:261
17668993615,11cyclictest126422chrt21:51:561
17670993514,5cyclictest1125-21runrttasks20:22:313
17670993510,7cyclictest28903-21cpu19:40:263
1766999355,19cyclictest15568-21ls22:00:342
1766999352,3cyclictest0-21swapper/222:15:112
1766999351,5cyclictest1774-21ls19:55:132
17669993513,9cyclictest31653-21unixbench_multi19:45:422
17669993513,5cyclictest7850irq/56-dwc_otg_22:45:122
17669993513,5cyclictest7850irq/56-dwc_otg_22:45:122
1766899356,16cyclictest7750irq/56-dwc_otg19:50:371
17668993517,4cyclictest11349-21latency_hist23:20:131
278982340,1sleep10-21swapper/122:35:311
233172340,2sleep20-21swapper/223:50:392
1767099347,6cyclictest7750irq/56-dwc_otg22:50:433
1767099342,12cyclictest0-21swapper/300:21:493
17670993417,4cyclictest20625-21/usr/sbin/munin23:45:423
1767099341,6cyclictest26617-21idleruntime-cro19:35:123
1767099341,6cyclictest0-21swapper/322:06:223
1767099341,6cyclictest0-21swapper/322:06:223
17670993413,11cyclictest0-21swapper/319:20:333
17670993413,11cyclictest0-21swapper/319:20:333
1767099341,27cyclictest0-21swapper/320:36:103
1766999347,14cyclictest0-21swapper/222:10:132
1766999347,14cyclictest0-21swapper/222:10:132
1766999342,5cyclictest11619-21grep23:20:262
1766999342,4cyclictest27634-21awk00:05:122
1766999342,4cyclictest0-21swapper/223:10:262
17669993417,8cyclictest4066-21if_wlan020:00:312
17669993417,8cyclictest4066-21if_wlan020:00:312
17669993417,8cyclictest301ktimersoftd/223:15:252
1766999341,6cyclictest0-21swapper/222:18:212
1766999341,4cyclictest21782-21head23:45:422
1766999341,4cyclictest10819-21latency_hist20:20:122
17669993414,4cyclictest14095-21timerandwakeup21:55:402
1766999341,3cyclictest0-21swapper/223:05:432
17669993413,11cyclictest5443-21unixbench_multi23:00:412
1766899345,8cyclictest7750irq/56-dwc_otg00:00:121
1766899345,15cyclictest7950irq/56-dwc_otg_20:35:401
1767099333,10cyclictest0-21swapper/300:35:433
1767099331,7cyclictest11598-21basename23:20:263
17670993317,5cyclictest4435-21grep00:30:123
1767099331,6cyclictest24117-21cut20:55:293
17670993315,6cyclictest15531-21missed_timers22:00:343
1767099331,21cyclictest0-21swapper/323:07:033
1766999336,17cyclictest7698-21if_wlan020:10:312
1766999334,19cyclictest0-21swapper/221:10:362
17669993320,4cyclictest6127-21cron00:35:122
1766999331,5cyclictest19135-21taskset20:40:372
17669993312,5cyclictest6027-21cut21:35:282
1766999331,23cyclictest0-21swapper/222:56:552
1766999331,13cyclictest0-21swapper/221:22:452
1766899334,9cyclictest15457-21fschecks_count23:30:291
1766899332,5cyclictest7850irq/56-dwc_otg_20:20:291
17668993315,5cyclictest5319-21latency_hist20:05:131
17668993315,5cyclictest5319-21latency_hist20:05:131
17668993315,4cyclictest201132cut20:45:121
17668993314,5cyclictest22766-21load22:20:331
1767099328,12cyclictest0-21swapper/323:40:293
1767099327,5cyclictest28280-21if_eth000:05:323
1767099326,5cyclictest0-21swapper/322:45:293
1767099323,6cyclictest0-21swapper/321:40:273
1767099321,9cyclictest1125-21runrttasks19:25:283
17670993218,5cyclictest4210-21aten_rbpower_vo21:30:253
17670993218,4cyclictest3739-21run-parts21:28:483
1767099321,6cyclictest26836-21sed21:00:443
1767099321,4cyclictest32465-21/usr/sbin/munin19:50:353
1767099321,3cyclictest0-21swapper/300:10:373
17670993212,5cyclictest9830-21aten_rbpower_po23:15:273
17670993212,5cyclictest606-21latency_hist00:20:123
17670993211,9cyclictest15038-21cut23:30:133
17670993211,9cyclictest15038-21cut23:30:133
1766999323,7cyclictest28395-21ls00:05:332
1766999322,4cyclictest0-21swapper/200:10:402
1766999322,14cyclictest0-21swapper/222:50:092
17669993220,4cyclictest7750irq/56-dwc_otg00:35:412
17669993219,8cyclictest22759-21sshd19:23:512
17669993219,8cyclictest22759-21sshd19:23:512
1766999321,7cyclictest0-21swapper/223:30:272
1766999321,5cyclictest31574-21uname21:15:312
1766999321,5cyclictest31574-21uname21:15:312
17669993215,8cyclictest28235-21missed_timers22:35:352
1766999321,4cyclictest0-21swapper/222:25:122
17669993213,4cyclictest26301-21kernelversion22:30:332
17669993212,4cyclictest1125-21runrttasks22:52:112
1766999321,20cyclictest0-21swapper/220:25:162
1766999321,14cyclictest0-21swapper/221:45:422
1766899327,8cyclictest7750irq/56-dwc_otg00:10:351
1766899327,5cyclictest7950irq/56-dwc_otg_22:40:181
1766899327,5cyclictest7950irq/56-dwc_otg_22:40:181
1766899327,4cyclictest7850irq/56-dwc_otg_19:30:121
17668993214,4cyclictest4426-21sed00:30:121
17668993211,5cyclictest15626-21ntp_kernel_err22:00:351
163792326,13sleep20-21swapper/219:05:352
1767099318,4cyclictest7850irq/56-dwc_otg_20:25:403
1767099311,8cyclictest31668-21memory21:15:323
1767099311,8cyclictest31668-21memory21:15:323
1767099311,5cyclictest7517-21tune2fs20:10:293
1767099311,5cyclictest10893-21cat20:20:123
17670993112,7cyclictest1125-21runrttasks19:45:523
1766999317,6cyclictest4139-21grep21:30:252
1766999312,4cyclictest0-21swapper/219:36:462
1766999311,5cyclictest11047-21aten_rbpower_en20:20:252
1766999311,5cyclictest0-21swapper/220:06:002
1766999311,3cyclictest0-21swapper/221:05:272
1766999311,19cyclictest0-21swapper/222:25:212
1766999311,18cyclictest0-21swapper/219:18:472
1766999311,18cyclictest0-21swapper/200:26:132
1766899314,13cyclictest15852-21grep20:30:451
1766899313,5cyclictest17024-21cut22:05:321
1766899313,5cyclictest17024-21cut22:05:321
17668993124,4cyclictest26150-21wget00:00:291
17668993118,4cyclictest1125-21runrttasks21:35:301
17668993117,5cyclictest29052-21latency_hist21:10:121
1766899311,6cyclictest2898-21grep19:55:401
1767099308,15cyclictest0-21swapper/323:35:303
1767099301,8cyclictest0-21swapper/322:25:353
17670993017,4cyclictest6230-21fschecks_time21:35:313
1767099301,4cyclictest7850irq/56-dwc_otg_19:55:403
1767099301,4cyclictest15519-21/usr/sbin/munin20:30:423
1767099301,4cyclictest0-21swapper/322:15:323
1767099301,16cyclictest7950irq/56-dwc_otg_23:10:233
1766999303,10cyclictest851-21apt-get00:20:272
1766999301,4cyclictest18829-21apt-get23:40:242
1766999301,3cyclictest0-21swapper/223:55:402
1766999301,3cyclictest0-21swapper/220:30:542
1766999301,20cyclictest0-21swapper/219:55:172
1766899307,6cyclictest7850irq/56-dwc_otg_00:34:051
1766899306,8cyclictest7950irq/56-dwc_otg_21:15:361
1766899306,8cyclictest7950irq/56-dwc_otg_21:15:361
1766899306,7cyclictest7750irq/56-dwc_otg20:10:291
1766899304,5cyclictest20698-21aten_rbpower_en23:45:261
1766899304,4cyclictest7750irq/56-dwc_otg19:40:281
1766899302,4cyclictest478-21apt-get21:20:221
17668993024,4cyclictest2434-21idleruntime-cro00:25:111
17668993024,4cyclictest221ktimersoftd/123:05:271
1766899301,6cyclictest6642-21fschecks_count00:35:311
1766899301,6cyclictest0-21swapper/123:00:421
17668993015,4cyclictest20397-21latency_hist23:45:121
17668993013,4cyclictest828-21cpu22:50:281
1767099298,4cyclictest30169-21date22:40:333
1767099298,4cyclictest30169-21date22:40:333
1767099292,16cyclictest0-21swapper/320:04:533
1767099292,16cyclictest0-21swapper/320:04:533
1767099291,7cyclictest18421-21/usr/sbin/munin20:40:393
1767099291,22cyclictest0-21swapper/321:14:503
1767099291,14cyclictest20228-21latency_hist22:15:123
1766999291,3cyclictest0-21swapper/221:40:272
1766899294,4cyclictest7950irq/56-dwc_otg_23:20:311
1766899294,10cyclictest7850irq/56-dwc_otg_23:35:271
1766899293,4cyclictest7750irq/56-dwc_otg23:25:301
1766899293,4cyclictest7750irq/56-dwc_otg23:25:301
1766899292,4cyclictest29964-21ntpq21:10:351
17668992922,5cyclictest17725-21wget19:10:261
1766899291,5cyclictest1124-21snmpd23:11:351
1766899291,4cyclictest7950irq/56-dwc_otg_21:25:301
17668992910,4cyclictest7950irq/56-dwc_otg_22:55:381
1767099285,4cyclictest7950irq/56-dwc_otg_22:20:363
1767099281,5cyclictest128-21systemd-journal20:51:053
1766899285,6cyclictest4750irq/17-3f00b88022:10:341
1766899284,5cyclictest32290-21/usr/sbin/munin00:15:361
1766899284,4cyclictest7750irq/56-dwc_otg21:45:241
1766899281,5cyclictest480-21idleruntime-cro22:50:111
17668992815,4cyclictest22747-21ntp_states20:50:351
1766899281,4cyclictest30556-21/usr/sbin/munin19:45:421
1767099274,13cyclictest5456-21apt-get20:05:233
1767099271,6cyclictest0-21swapper/323:55:413
17670992713,6cyclictest5894-21cron23:05:113
1767099271,20cyclictest0-21swapper/323:50:233
1767099271,18cyclictest1125-21runrttasks21:50:193
17668992711,5cyclictest5672-21latency_hist21:35:121
174962273,13sleep317615-21latency_hist19:10:133
17670992613,5cyclictest9519-21/usr/sbin/munin21:45:433
1766899262,3cyclictest0-21swapper/120:55:321
17668992620,4cyclictest27748-21rt-features19:35:381
1766899261,7cyclictest26131-21taskset21:00:341
1766899261,12cyclictest20244-21apt-get20:45:231
1766899251,5cyclictest13563-21if_eth021:55:321
1766899242,4cyclictest7750irq/56-dwc_otg19:30:381
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional