You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-15 - 10:22

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Mon Dec 15, 2025 00:43:35)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
30222997341,15cyclictest101ktimersoftd/000:28:020
30222997228,11cyclictest0-21swapper/023:07:590
30222997033,18cyclictest10051-21grep19:43:150
30222997030,15cyclictest0-21swapper/020:18:020
257432700,2sleep10-21swapper/120:28:081
3022399669,6cyclictest0-21swapper/123:52:591
30222996648,5cyclictest101ktimersoftd/021:20:030
30222996617,4cyclictest0-21swapper/021:13:010
30222996510,9cyclictest30221-21cyclictest19:48:010
30222996440,4cyclictest2926-21cat23:53:090
3022299616,14cyclictest0-21swapper/019:13:020
30222996134,18cyclictest101ktimersoftd/023:45:030
30222996052,5cyclictest101ktimersoftd/020:45:030
281382600,3sleep027468-21/usr/sbin/munin23:33:130
30222995937,15cyclictest12724-21cron00:20:020
30222995934,15cyclictest101ktimersoftd/021:28:070
30222995930,16cyclictest2552-21ntpq20:53:100
3022299591,34cyclictest0-21swapper/021:48:010
30222995836,5cyclictest0-21swapper/022:43:040
3022299581,43cyclictest0-21swapper/021:08:070
3022399578,34cyclictest0-21swapper/119:33:061
3022399578,34cyclictest0-21swapper/119:33:061
30222995731,14cyclictest101ktimersoftd/023:18:110
30222995721,28cyclictest23821-21/usr/sbin/munin21:53:030
30222995717,33cyclictest18660-21aten_rbpower_en00:38:020
3022299571,33cyclictest15505-21head19:58:160
3022299566,7cyclictest19391-21latency_hist20:10:030
3022299565,41cyclictest9-21ksoftirqd/020:13:060
3022299563,42cyclictest0-21swapper/023:48:020
3022299562,35cyclictest15880-21unixbench_singl22:58:160
30222995619,4cyclictest0-21swapper/022:02:590
30222995619,4cyclictest0-21swapper/022:02:590
3022299561,52cyclictest27338-21ls20:33:100
30222995532,13cyclictest101ktimersoftd/000:15:020
3022299552,32cyclictest25710-21fschecks_time21:58:060
3022299551,31cyclictest14230-21latency_hist22:55:030
3022299551,23cyclictest0-21swapper/021:23:100
3022299546,20cyclictest16816-21cut23:03:070
3022299545,40cyclictest13-21rcuc/019:38:120
30222995429,15cyclictest101ktimersoftd/023:10:080
30222995412,38cyclictest0-21swapper/019:28:090
30222995411,29cyclictest1125-21runrttasks22:48:040
30222995411,25cyclictest5565-21wget21:03:160
30222995411,24cyclictest128-21systemd-journal19:55:020
3022399536,5cyclictest7750irq/56-dwc_otg23:13:011
30222995332,14cyclictest101ktimersoftd/022:11:210
3022299532,25cyclictest0-21swapper/021:38:000
30222995322,16cyclictest0-21swapper/022:28:020
298822533,44sleep20-21swapper/219:09:092
3022499527,17cyclictest7750irq/56-dwc_otg20:18:022
30222995236,3cyclictest0-21swapper/022:37:590
30222995229,14cyclictest101ktimersoftd/020:48:030
30222995225,5cyclictest23919-21grep23:23:010
30222995225,5cyclictest23919-21grep23:23:010
30222995225,16cyclictest23196-21chrt20:20:540
30222995225,16cyclictest23196-21chrt20:20:540
3022299522,40cyclictest0-21swapper/020:35:540
3022299522,33cyclictest16445-21fschecks_time20:03:050
3022299521,8cyclictest30165-21grep22:08:170
3022299521,6cyclictest7044-21unixbench_multi00:03:160
3022299519,7cyclictest2778-21grep19:23:170
3022299511,30cyclictest5644-21latency_hist00:00:040
3022299511,30cyclictest5644-21latency_hist00:00:040
3022499502,9cyclictest0-21swapper/223:07:592
3022299506,27cyclictest13478-21grep00:23:070
30222995031,9cyclictest7850irq/56-dwc_otg_21:43:050
3022299502,40cyclictest0-21swapper/019:30:090
3022299502,40cyclictest0-21swapper/019:30:090
3022299501,5cyclictest5012-21awk21:00:030
3022299501,5cyclictest5012-21awk21:00:030
30225994923,7cyclictest3712-21idleruntime-cro23:55:033
3022499497,16cyclictest0-21swapper/219:30:082
3022499497,16cyclictest0-21swapper/219:30:082
30222994920,5cyclictest5734-21aten_rbpower_vo22:33:030
3022299491,27cyclictest0-21swapper/022:17:590
3022499489,8cyclictest7850irq/56-dwc_otg_22:02:592
3022499489,8cyclictest7850irq/56-dwc_otg_22:02:592
30224994813,26cyclictest0-21swapper/222:55:082
30222994828,13cyclictest25560-21runrttasks23:26:410
3022299481,5cyclictest29367-21grep23:38:030
283422480,4sleep328334-21munin-run20:35:023
3022599477,25cyclictest0-21swapper/321:18:033
3022599473,10cyclictest7950irq/56-dwc_otg_23:13:013
30222994725,10cyclictest0-21swapper/000:06:360
30222994716,16cyclictest0-21swapper/019:18:000
30222994715,19cyclictest7950irq/56-dwc_otg_21:35:020
285882463,12sleep00-21swapper/019:07:370
30223994513,23cyclictest0-21swapper/121:18:031
30222994518,20cyclictest0-21swapper/020:25:090
153102450,3sleep20-21swapper/200:28:052
3022499446,25cyclictest0-21swapper/221:28:032
30222994420,8cyclictest0-21swapper/022:24:310
30222994419,5cyclictest7950irq/56-dwc_otg_00:35:030
3022499437,24cyclictest0-21swapper/220:38:012
3022499432,4cyclictest12513-21ls22:50:032
3022499427,25cyclictest0-21swapper/220:48:032
3022499426,27cyclictest0-21swapper/219:13:022
3022499422,6cyclictest0-21swapper/221:48:012
3022399427,6cyclictest7750irq/56-dwc_otg23:18:031
3022399427,25cyclictest0-21swapper/100:33:021
3022599417,25cyclictest0-21swapper/319:58:013
3022499417,24cyclictest0-21swapper/220:58:022
3022499417,24cyclictest0-21swapper/220:58:022
30224994115,16cyclictest29-21rcuc/223:31:352
3022399418,24cyclictest0-21swapper/119:58:011
3022399417,23cyclictest0-21swapper/122:23:031
30223994113,9cyclictest7850irq/56-dwc_otg_21:38:071
30225994016,4cyclictest20690-21/usr/sbin/munin21:43:103
3022499407,25cyclictest0-21swapper/221:33:022
3022499407,23cyclictest0-21swapper/223:23:002
3022499407,23cyclictest0-21swapper/223:23:002
30224994017,14cyclictest0-21swapper/200:23:032
30223994016,5cyclictest9404-21fschecks_time21:13:071
30223994010,7cyclictest128-21systemd-journal21:45:021
109672401,33sleep311069-21grep19:48:063
3022599397,22cyclictest0-21swapper/320:43:033
3022499399,18cyclictest31-21ksoftirqd/222:13:022
3022499397,23cyclictest0-21swapper/222:38:012
3022499391,28cyclictest14286-21ls21:25:032
30223993919,4cyclictest10103-21cat00:13:081
30223993912,5cyclictest7750irq/56-dwc_otg22:20:031
3022599387,17cyclictest6496-21cat22:33:143
3022599381,30cyclictest5685-21ls00:00:043
3022599381,30cyclictest5685-21ls00:00:043
3022499387,25cyclictest0-21swapper/219:18:022
3022499387,24cyclictest0-21swapper/223:43:032
3022499387,24cyclictest0-21swapper/221:43:012
3022499381,8cyclictest12811-21/usr/sbin/munin22:53:142
30223993818,6cyclictest9162-21/usr/sbin/munin19:43:031
30223993815,7cyclictest6078-21wget00:03:031
3022599378,14cyclictest0-21swapper/321:38:003
3022499377,23cyclictest0-21swapper/220:40:082
3022499377,22cyclictest0-21swapper/223:10:082
3022499374,28cyclictest7950irq/56-dwc_otg_00:03:002
3022499371,26cyclictest18798-21ls00:38:032
3022399374,17cyclictest7950irq/56-dwc_otg_20:35:021
3022399372,7cyclictest7950irq/56-dwc_otg_22:48:001
30223993715,6cyclictest21901-21aten_rbpower_po21:48:031
30223993712,4cyclictest8393-21unixbench_singl21:08:181
3022399371,18cyclictest0-21swapper/100:08:171
3022599362,19cyclictest0-21swapper/322:43:073
30225993614,10cyclictest12836-21aten_rbpower_en21:23:003
30224993617,5cyclictest29-21rcuc/219:37:492
3022399365,3cyclictest0-21swapper/123:33:051
30223993613,5cyclictest11568-21ls00:18:031
3022599357,15cyclictest0-21swapper/322:23:033
3022599353,2cyclictest0-21swapper/320:28:013
3022499354,20cyclictest29-21rcuc/219:27:332
3022499352,4cyclictest0-21swapper/221:13:012
3022499352,23cyclictest0-21swapper/221:37:312
3022499351,27cyclictest891-21ls23:48:072
3022499351,25cyclictest11748-21ls00:18:062
30224993510,12cyclictest29-21rcuc/221:55:122
3022399357,23cyclictest0-21swapper/121:20:081
3022399357,22cyclictest0-21swapper/120:40:071
3022399355,6cyclictest468-21rs:main1
30223993514,13cyclictest0-21swapper/100:28:111
30223993510,6cyclictest16174-21sort23:00:031
3022599347,15cyclictest0-21swapper/300:33:023
3022599342,14cyclictest0-21swapper/320:13:403
30225993418,9cyclictest789-21missed_timers22:18:093
3022599341,3cyclictest7850irq/56-dwc_otg_19:12:593
30225993413,10cyclictest0-21swapper/322:13:033
3022599341,25cyclictest0-21swapper/300:14:253
3022599341,14cyclictest4776-21sed20:58:163
3022599341,14cyclictest4776-21sed20:58:163
3022499347,24cyclictest0-21swapper/220:53:022
30224993414,4cyclictest29-21rcuc/220:10:032
3022399347,6cyclictest23854-21fschecks_count21:53:051
3022399342,8cyclictest30629-21apt23:40:021
30223993415,6cyclictest7850irq/56-dwc_otg_22:13:021
30223993415,3cyclictest0-21swapper/119:53:031
30223993414,5cyclictest18393-21if_wlan020:08:061
30223993413,5cyclictest12195-21latency_hist19:50:031
30223993413,4cyclictest23356-21/usr/sbin/munin20:23:081
30223993413,4cyclictest23356-21/usr/sbin/munin20:23:081
3022399341,23cyclictest19756-21apt-config23:10:031
30223993411,5cyclictest5251-21grep23:58:181
30223993411,5cyclictest5251-21grep23:58:181
3022599338,6cyclictest7850irq/56-dwc_otg_23:40:023
3022599334,4cyclictest7750irq/56-dwc_otg23:18:013
3022599334,19cyclictest3123-21ls19:25:033
3022599332,17cyclictest0-21swapper/320:55:033
30225993317,9cyclictest7955-21sensors_temp19:38:143
3022599331,23cyclictest0-21swapper/322:45:333
3022599331,13cyclictest7850irq/56-dwc_otg_20:40:033
30225993311,14cyclictest129132chrt22:53:033
3022499336,18cyclictest0-21swapper/222:24:282
3022499336,12cyclictest29-21rcuc/223:53:102
3022499335,18cyclictest29-21rcuc/223:40:032
3022499331,9cyclictest17501-21munin-run20:05:022
30224993317,8cyclictest5210-21unixbench-2d23:58:182
30224993317,8cyclictest5210-21unixbench-2d23:58:182
30224993314,11cyclictest29-21rcuc/220:20:492
30224993314,11cyclictest29-21rcuc/220:20:492
3022499331,13cyclictest7950irq/56-dwc_otg_22:28:132
3022399337,5cyclictest797-21fschecks_count23:48:061
3022399335,5cyclictest8556-21grep22:38:161
299032330,1sleep20-21swapper/222:08:152
3022599326,14cyclictest0-21swapper/320:08:003
3022599322,13cyclictest0-21swapper/319:25:503
30225993220,5cyclictest234302chrt21:50:453
30225993212,8cyclictest0-21swapper/319:33:103
30225993212,8cyclictest0-21swapper/319:33:103
3022599321,21cyclictest0-21swapper/323:50:033
3022599321,20cyclictest0-21swapper/321:55:463
3022599321,15cyclictest7950irq/56-dwc_otg_00:28:163
3022599321,12cyclictest0-21swapper/321:49:393
3022499325,8cyclictest7950irq/56-dwc_otg_00:30:442
3022499325,4cyclictest7750irq/56-dwc_otg22:43:162
3022499321,8cyclictest24730-21grep21:53:162
3022499321,4cyclictest7850irq/56-dwc_otg_22:18:002
30224993214,10cyclictest13929-21latency_hist19:55:022
30224993212,6cyclictest29-21rcuc/220:34:142
3022499321,22cyclictest10923-21latency_hist00:15:022
3022499321,21cyclictest9468-21ls19:43:072
3022399326,5cyclictest7750irq/56-dwc_otg22:08:111
3022399325,12cyclictest7850irq/56-dwc_otg_20:48:071
3022399325,11cyclictest7950irq/56-dwc_otg_21:30:031
30223993212,9cyclictest26448-21processes23:28:131
30223993211,5cyclictest0-21swapper/120:18:021
30223993210,5cyclictest30137-21ls20:40:021
63622310,1sleep30-21swapper/300:03:073
3022599317,9cyclictest12846-21ls00:20:033
3022599315,16cyclictest7950irq/56-dwc_otg_21:33:133
3022599312,19cyclictest0-21swapper/321:05:363
3022599312,17cyclictest0-21swapper/323:23:203
3022599312,17cyclictest0-21swapper/323:23:203
3022599311,26cyclictest6322-21switchtime21:03:273
3022599311,23cyclictest15241-21latency22:58:083
3022599311,23cyclictest14858-21cut21:28:063
3022599311,22cyclictest0-21swapper/322:26:553
3022599311,21cyclictest0-21swapper/320:20:283
3022599311,21cyclictest0-21swapper/320:20:283
3022599311,18cyclictest1124-21snmpd22:39:183
30225993111,4cyclictest7750irq/56-dwc_otg23:33:023
3022499316,16cyclictest0-21swapper/223:28:132
3022499316,15cyclictest0-21swapper/223:03:032
3022499315,5cyclictest7750irq/56-dwc_otg22:33:032
3022499314,5cyclictest7950irq/56-dwc_otg_19:48:062
30224993115,4cyclictest31-21ksoftirqd/221:06:292
30224993114,4cyclictest31-21ksoftirqd/223:18:112
3022499311,21cyclictest20112-21idleruntime20:13:062
30224993110,4cyclictest29-21rcuc/220:29:122
3022399318,7cyclictest7850irq/56-dwc_otg_23:43:181
3022399314,12cyclictest7850irq/56-dwc_otg_21:58:001
3022399312,6cyclictest0-21swapper/120:55:031
3022399312,16cyclictest0-21swapper/121:33:171
3022399312,16cyclictest0-21swapper/120:12:271
3022399311,3cyclictest0-21swapper/100:23:041
85002300,1sleep20-21swapper/200:08:132
3022599301,22cyclictest0-21swapper/319:53:043
3022599301,19cyclictest0-21swapper/320:17:593
3022599301,18cyclictest9377-21if_wlan019:43:063
3022599301,15cyclictest0-21swapper/319:15:263
3022599301,13cyclictest18634-21wget00:38:023
3022599301,13cyclictest0-21swapper/323:29:483
3022499304,14cyclictest11457-21memory21:18:102
30224993013,9cyclictest15530-21users19:58:162
30224993012,10cyclictest2157-21latency19:23:092
3022399307,10cyclictest7850irq/56-dwc_otg_19:28:031
3022399304,13cyclictest0-21swapper/122:28:031
3022399303,5cyclictest0-21swapper/122:53:171
3022399302,6cyclictest9476-21fschecks_count22:43:071
3022399302,14cyclictest7750irq/56-dwc_otg19:13:021
3022399301,6cyclictest18834-21/usr/sbin/munin00:38:051
30223993013,4cyclictest6357-21wc21:03:271
3022599295,6cyclictest7850irq/56-dwc_otg_00:08:013
3022599292,15cyclictest0-21swapper/321:10:383
3022599291,6cyclictest112450snmpd23:04:013
3022599291,21cyclictest0-21swapper/320:00:483
3022599291,20cyclictest0-21swapper/320:47:213
3022599291,19cyclictest0-21swapper/323:07:033
3022599291,19cyclictest0-21swapper/300:21:123
3022599291,13cyclictest31942-21ps23:43:143
3022499293,4cyclictest7850irq/56-dwc_otg_21:03:192
3022399295,12cyclictest7950irq/56-dwc_otg_19:18:111
3022399285,4cyclictest0-21swapper/123:23:101
3022399285,4cyclictest0-21swapper/123:23:101
3022399285,4cyclictest0-21swapper/123:03:171
3022399284,5cyclictest0-21swapper/119:38:161
3022399281,8cyclictest7950irq/56-dwc_otg_20:58:081
3022399281,8cyclictest7950irq/56-dwc_otg_20:58:081
3022399281,17cyclictest2338-21ntpq19:23:121
285842282,16sleep10-21swapper/119:07:341
3022599272,17cyclictest0-21swapper/322:00:053
3022599272,17cyclictest0-21swapper/322:00:053
3022399272,4cyclictest128-21systemd-journal20:02:261
284472274,15sleep30-21swapper/319:05:463
3022599261,17cyclictest0-21swapper/322:08:083
3022399264,4cyclictest0-21swapper/122:03:061
3022399264,4cyclictest0-21swapper/122:03:061
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional