You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-13 - 14:15

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Sat Dec 13, 2025 12:43:35)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2298326110,6sleep00-21swapper/007:08:130
23667998314,40cyclictest0-21swapper/012:27:590
23667997814,50cyclictest2296-21/usr/sbin/munin07:43:130
2366799777,49cyclictest15926-21grep11:18:040
2366799766,57cyclictest15183-21grep08:18:040
218952760,2sleep20-21swapper/211:33:132
2366799756,53cyclictest12773-21latency_hist08:10:020
2366799749,46cyclictest27937-21aten_rbpower_en08:53:040
232212730,2sleep10-21swapper/110:08:071
70842710,5sleep32367099cyclictest10:53:093
2366799716,45cyclictest30776-21grep08:58:220
2366799696,53cyclictest28419-21aten_rbpower_cu11:53:000
2366799693,54cyclictest2105-21runrttasks09:09:120
2366799692,50cyclictest0-21swapper/009:01:300
2366999682,4cyclictest7950irq/56-dwc_otg_10:37:592
2366799684,44cyclictest0-21swapper/010:08:150
96632670,1sleep30-21swapper/312:28:163
2366799678,45cyclictest0-21swapper/009:14:500
2366799678,45cyclictest0-21swapper/009:14:500
2366799666,45cyclictest13372-21cron11:10:010
2366799664,54cyclictest11593-21chrt12:33:240
2366799661,36cyclictest0-21swapper/007:33:020
2366799661,36cyclictest0-21swapper/007:33:020
23667996610,8cyclictest0-21swapper/010:17:590
23668996510,4cyclictest1211-21seq07:38:251
2366799655,41cyclictest0-21swapper/012:38:040
2366799653,46cyclictest3565-21ntpq10:43:090
2366799653,30cyclictest0-21swapper/010:48:000
23667996527,18cyclictest0-21swapper/011:23:000
73542640,2sleep20-21swapper/209:23:162
2366899641,14cyclictest14143-21timerwakeupswit08:13:141
2366799649,38cyclictest0-21swapper/008:28:010
2366799647,41cyclictest0-21swapper/008:45:220
2366799647,41cyclictest0-21swapper/008:45:220
2366799643,46cyclictest0-21swapper/008:13:040
2366999635,44cyclictest7850irq/56-dwc_otg_12:15:032
2366999635,44cyclictest7850irq/56-dwc_otg_12:15:032
2366799639,45cyclictest0-21swapper/010:38:070
2366999613,46cyclictest4086-21cron09:15:022
2366999613,46cyclictest4086-21cron09:15:022
2366899611,13cyclictest14938-21unixbench_multi11:13:141
2366799618,34cyclictest26014-21cron11:45:010
2366799614,41cyclictest669-21grep12:03:160
23667996120,23cyclictest0-21swapper/011:38:010
2366899601,5cyclictest7850irq/56-dwc_otg_10:38:011
2366999595,41cyclictest14225-21grep08:13:152
2366999591,54cyclictest17757-21fschecks_time11:23:062
2366999591,50cyclictest27063-21missed_timers11:48:122
2366899591,7cyclictest29492-21grep11:53:141
2366799599,47cyclictest11479-21apt-key11:05:020
2366799597,13cyclictest11098-21tail09:33:160
2366799593,46cyclictest8993-21mkdir07:59:200
2366999582,5cyclictest0-21swapper/211:15:022
2366999582,43cyclictest8565-21if_err_wlan009:28:072
2366999581,46cyclictest0-21swapper/210:29:532
2366899581,8cyclictest8459-21fschecks_time09:28:061
2366899581,22cyclictest20069-21timerwakeupswit09:58:131
2366799584,31cyclictest0-21swapper/007:13:410
2366799581,32cyclictest4694-21latency_hist12:15:030
2366799581,32cyclictest4694-21latency_hist12:15:030
2366999573,8cyclictest7950irq/56-dwc_otg_12:23:052
2366799577,37cyclictest0-21swapper/008:42:350
2366799575,39cyclictest0-21swapper/011:28:550
2366799571,26cyclictest829-21sort07:38:200
23667995710,35cyclictest22308-21latency_hist10:05:020
2366799570,39cyclictest29845-21runrttasks10:27:060
2366999561,43cyclictest0-21swapper/210:03:022
2366999561,41cyclictest606-21aten_rbpower_vo07:38:162
23668995613,9cyclictest221ktimersoftd/109:08:011
2366799564,44cyclictest6332-21runrttasks09:22:380
2366799561,52cyclictest0-21swapper/010:58:010
2366799561,44cyclictest0-21swapper/011:56:060
2366999553,4cyclictest7850irq/56-dwc_otg_11:53:112
2366999552,45cyclictest23809-21unixbench_multi10:08:152
2366999551,44cyclictest237872sleep207:11:262
2366999550,4cyclictest7750irq/56-dwc_otg08:53:122
2366899553,10cyclictest7750irq/56-dwc_otg09:55:021
2366799556,40cyclictest17955-21runrttasks08:23:290
2366799556,38cyclictest0-21swapper/007:21:420
2366799553,39cyclictest0-21swapper/009:28:000
23667995519,6cyclictest0-21swapper/007:17:570
23667995517,19cyclictest7950irq/56-dwc_otg_11:13:090
2366799551,30cyclictest0-21swapper/009:18:150
2366999546,38cyclictest7950irq/56-dwc_otg_07:29:542
2366999543,4cyclictest0-21swapper/212:28:052
2366999542,43cyclictest0-21swapper/209:20:022
2366999542,42cyclictest1124-21snmpd09:57:012
2366999542,40cyclictest0-21swapper/211:42:252
23668995411,6cyclictest128-21systemd-journal11:32:011
2366799548,22cyclictest10878-21taskset08:05:020
2366799546,15cyclictest0-21swapper/010:13:010
2366799546,15cyclictest0-21swapper/010:13:010
23667995425,7cyclictest1629-21fschecks_count12:08:060
2366799542,43cyclictest0-21swapper/011:50:020
2366999534,6cyclictest7950irq/56-dwc_otg_08:58:532
2366999531,6cyclictest16087-21sed08:18:152
2366799535,35cyclictest16777-21chrt09:49:300
2366799532,48cyclictest0-21swapper/009:39:010
2366799532,38cyclictest0-21swapper/010:24:460
23667995312,18cyclictest6332-21latency_hist12:20:010
2366999528,4cyclictest7850irq/56-dwc_otg_08:23:392
2366999526,37cyclictest39722sleep207:46:202
2366999525,34cyclictest7950irq/56-dwc_otg_12:06:572
2366999521,40cyclictest1124-21snmpd10:16:452
2366999521,10cyclictest3404-21unixbench_multi07:43:162
2366799527,36cyclictest0-21swapper/007:53:040
2366799527,32cyclictest0-21swapper/009:44:240
2366799525,26cyclictest23666-21cyclictest08:33:070
2366799523,38cyclictest0-21swapper/010:35:020
2366799522,43cyclictest6367-21runrttasks10:51:380
2366799521,41cyclictest0-21swapper/009:54:520
172622520,1sleep30-21swapper/308:23:083
2366999514,4cyclictest7850irq/56-dwc_otg_11:37:012
2366999514,39cyclictest7950irq/56-dwc_otg_08:37:242
2366999512,7cyclictest12771-21latency_hist08:10:022
2366999511,7cyclictest2969-21aten_rbpower_po10:43:012
2366999511,7cyclictest26091-21aten_rbpower_vo08:48:022
2366999511,7cyclictest26091-21aten_rbpower_vo08:48:022
2366799518,32cyclictest30163-21sensors07:28:130
2366799518,27cyclictest6788-21dpkg12:22:590
2366799518,27cyclictest0-21swapper/008:39:330
23667995115,24cyclictest0-21swapper/009:58:000
2366799511,21cyclictest0-21swapper/011:32:590
2366999502,6cyclictest0-21swapper/212:40:022
2366999501,8cyclictest10454-21aten_rbpower_en12:33:022
2366999501,5cyclictest11989-21apt-get11:08:002
2366999501,40cyclictest0-21swapper/211:18:142
2366999501,3cyclictest7950irq/56-dwc_otg_11:28:042
2366799505,33cyclictest4096-21/usr/sbin/munin07:48:170
2366999494,5cyclictest7850irq/56-dwc_otg_11:56:122
2366999491,9cyclictest11188-21unixbench_multi11:03:162
2366999491,9cyclictest0-21swapper/207:16:262
2366999491,8cyclictest7850irq/56-dwc_otg_09:06:382
2366999491,7cyclictest28453-21timerandwakeup07:23:142
2366999491,7cyclictest0-21swapper/212:17:392
2366999491,7cyclictest0-21swapper/208:00:022
2366999491,4cyclictest7950irq/56-dwc_otg_09:53:012
2366999484,37cyclictest7950irq/56-dwc_otg_08:32:012
2366999482,5cyclictest0-21swapper/208:03:052
2366999481,6cyclictest32582-21grep09:03:162
2366999481,5cyclictest4747-21grep10:48:012
2366999481,5cyclictest31877-21chrt12:01:342
2366999481,5cyclictest25501-21cron08:45:022
23669994815,30cyclictest10065-21aten_rbpower_po09:33:032
2366999481,39cyclictest0-21swapper/210:31:482
2366999472,7cyclictest15689-21ls09:48:032
2366999472,6cyclictest6149-21grep07:53:052
2366999471,7cyclictest31818-21/usr/sbin/munin07:33:112
2366999471,7cyclictest31818-21/usr/sbin/munin07:33:112
2366999471,7cyclictest24590-21grep10:13:022
2366999471,7cyclictest24590-21grep10:13:022
2366999471,7cyclictest12122-21fschecks_count09:38:082
2366999471,6cyclictest28358-21fschecks_count10:23:052
2366999471,6cyclictest14950-21sshd09:44:122
2366899477,11cyclictest0-21swapper/109:33:161
2366999468,35cyclictest9385-21unixbench_multi10:58:152
2366999468,30cyclictest63532chrt10:51:272
2366999461,5cyclictest0-21swapper/208:28:012
164852460,2sleep316486-21/usr/sbin/munin11:18:123
2366899451,3cyclictest0-21swapper/111:27:581
2367099434,3cyclictest0-21swapper/312:12:593
2367099434,3cyclictest0-21swapper/312:12:593
2367099432,6cyclictest7750irq/56-dwc_otg08:12:593
2367099426,5cyclictest7950irq/56-dwc_otg_09:28:023
2366899411,25cyclictest0-21swapper/112:38:001
2366899391,27cyclictest0-21swapper/111:03:021
2367099381,7cyclictest7950irq/56-dwc_otg_10:57:593
23668993817,4cyclictest617-21latency_hist10:35:021
160472380,2sleep30-21swapper/309:48:093
2367099372,7cyclictest7850irq/56-dwc_otg_10:02:593
2366899371,23cyclictest0-21swapper/108:50:071
2366899371,23cyclictest0-21swapper/108:03:151
2367099364,8cyclictest7950irq/56-dwc_otg_12:32:593
2367099361,30cyclictest6729-21ls09:23:073
2366899361,26cyclictest0-21swapper/108:08:081
2366899361,25cyclictest0-21swapper/111:09:591
2366899361,22cyclictest0-21swapper/107:50:071
2366899358,14cyclictest7950irq/56-dwc_otg_11:58:041
2366899356,5cyclictest7950irq/56-dwc_otg_11:43:021
2366899351,22cyclictest0-21swapper/108:18:011
23668993510,15cyclictest0-21swapper/111:50:021
17902350,5sleep32367099cyclictest12:08:073
58872340,4sleep35860-21switchtime12:18:133
2367099349,15cyclictest0-21swapper/308:53:013
23670993414,5cyclictest112850lldpd10:05:053
2367099341,19cyclictest30797-21ls07:30:023
2366899348,12cyclictest7950irq/56-dwc_otg_08:43:021
2366899346,7cyclictest7750irq/56-dwc_otg08:00:021
2366899345,14cyclictest2420-21sed12:08:161
2366899343,5cyclictest7750irq/56-dwc_otg10:48:151
2366899342,3cyclictest7750irq/56-dwc_otg12:13:011
2366899342,3cyclictest7750irq/56-dwc_otg12:13:011
2366899342,19cyclictest23546-21grep11:38:111
2366899341,5cyclictest22454-21aten_rbpower_po08:38:111
2366899340,25cyclictest0-21swapper/109:21:291
23670993326,5cyclictest10206-21wget11:03:033
2367099332,24cyclictest0-21swapper/311:43:033
2366899337,6cyclictest21128-21fschecks_count10:03:041
2366899332,8cyclictest4855-21ps07:48:121
2366899332,6cyclictest0-21swapper/110:18:001
2366899332,15cyclictest7850irq/56-dwc_otg_07:29:561
23668993319,5cyclictest18344-21latency_hist08:25:031
2366899331,22cyclictest0-21swapper/108:25:071
2366899331,21cyclictest10719-21uniq12:33:051
23668993310,15cyclictest0-21swapper/109:35:081
2367099329,5cyclictest7950irq/56-dwc_otg_07:58:003
2366899324,7cyclictest0-21swapper/110:28:061
2366899323,11cyclictest7850irq/56-dwc_otg_07:43:091
2366899322,17cyclictest7950irq/56-dwc_otg_09:48:021
2366899321,8cyclictest507-21latency_hist09:05:021
2366899321,7cyclictest9806-21latency_hist11:00:031
2367099317,11cyclictest7950irq/56-dwc_otg_09:40:013
2367099315,5cyclictest7750irq/56-dwc_otg08:50:033
2367099315,5cyclictest7750irq/56-dwc_otg08:50:033
2367099314,5cyclictest7750irq/56-dwc_otg09:18:003
23670993125,4cyclictest24032-21aten_rbpower_vo07:13:033
2367099312,20cyclictest0-21swapper/309:51:503
23670993117,5cyclictest13678-21/usr/sbin/munin09:42:583
2367099311,5cyclictest7850irq/56-dwc_otg_10:18:123
2367099311,22cyclictest30211-21uniq10:28:053
23668993117,8cyclictest257122chrt07:17:531
2366899311,28cyclictest24524-21ls07:13:091
2366899311,16cyclictest29255-21grep10:23:161
228052315,9sleep20-21swapper/207:08:122
2367099309,4cyclictest7750irq/56-dwc_otg10:40:023
2367099304,13cyclictest7950irq/56-dwc_otg_12:21:143
2367099303,3cyclictest0-21swapper/311:30:033
2367099302,7cyclictest7950irq/56-dwc_otg_11:13:013
2367099302,6cyclictest7850irq/56-dwc_otg_09:08:203
2367099302,14cyclictest7950irq/56-dwc_otg_08:28:023
2367099301,4cyclictest7750irq/56-dwc_otg09:33:023
23668993016,4cyclictest9155-21missed_timers12:28:091
23668993015,5cyclictest17873-21if_eth011:23:071
2366899301,21cyclictest0-21swapper/109:13:051
2366899301,21cyclictest0-21swapper/109:13:051
2366899301,15cyclictest7950irq/56-dwc_otg_12:18:021
2367099294,5cyclictest3971-21grep10:43:153
2367099293,14cyclictest1124-21snmpd07:18:103
23670992923,4cyclictest15231-21fschecks_time08:18:043
2367099292,17cyclictest0-21swapper/311:46:493
2367099291,9cyclictest0-21swapper/308:43:013
23670992919,7cyclictest19409-21fschecks_time09:58:043
2367099291,6cyclictest7750irq/56-dwc_otg08:38:153
2367099291,21cyclictest0-21swapper/307:24:563
23670992910,9cyclictest1125-21runrttasks07:50:553
2366899294,7cyclictest7950irq/56-dwc_otg_09:43:131
2366899293,24cyclictest0-21swapper/108:58:011
2366899291,5cyclictest15927-21cut11:18:041
2366899291,16cyclictest27375-21latency_hist08:50:021
2366899291,16cyclictest27375-21latency_hist08:50:021
2366899291,15cyclictest1031-21latency_hist12:05:031
2366899291,13cyclictest31745-21missed_timers07:33:101
2366899291,13cyclictest31745-21missed_timers07:33:101
23668992910,11cyclictest275432sleep107:23:011
2367099283,5cyclictest7950irq/56-dwc_otg_08:03:063
2367099283,5cyclictest7850irq/56-dwc_otg_10:23:023
2367099282,4cyclictest7850irq/56-dwc_otg_11:38:143
2367099282,19cyclictest0-21swapper/311:33:113
2367099281,4cyclictest32458-21/usr/sbin/munin10:33:123
2366899286,4cyclictest7750irq/56-dwc_otg09:18:151
2366899284,6cyclictest7750irq/56-dwc_otg10:13:041
2366899284,6cyclictest7750irq/56-dwc_otg10:13:041
2366899281,6cyclictest4228-21munin-run10:45:021
2366899281,15cyclictest0-21swapper/108:34:121
2366899281,14cyclictest0-21swapper/112:22:111
220782284,13sleep322146-21aten_rbpower_po07:08:013
220262282,17sleep10-21swapper/107:07:391
2367099279,5cyclictest1011-21latency_hist12:05:033
2367099277,4cyclictest7950irq/56-dwc_otg_12:40:023
2367099272,5cyclictest7850irq/56-dwc_otg_11:58:093
2367099271,5cyclictest12643-21/usr/sbin/munin11:08:093
2367099271,18cyclictest0-21swapper/309:11:213
2367099271,18cyclictest0-21swapper/309:11:213
2367099271,11cyclictest7950irq/56-dwc_otg_08:08:083
2366899271,17cyclictest0-21swapper/110:53:021
2367099267,14cyclictest0-21swapper/311:50:073
2367099264,9cyclictest7950irq/56-dwc_otg_11:21:593
2367099262,5cyclictest7850irq/56-dwc_otg_07:38:233
2367099261,5cyclictest30003-21fschecks_time08:58:123
2367099261,23cyclictest4672-21missed_timers07:48:093
2367099261,13cyclictest7950irq/56-dwc_otg_10:48:063
2367099261,13cyclictest7950irq/56-dwc_otg_10:11:143
2367099261,13cyclictest7950irq/56-dwc_otg_10:11:143
2367099251,5cyclictest3656-21modprobe07:45:013
2367099251,15cyclictest0-21swapper/309:05:023
2367099251,11cyclictest0-21swapper/307:32:273
2367099251,11cyclictest0-21swapper/307:32:273
2367099241,8cyclictest19997-21apt-get08:30:073
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional