You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-24 - 09:06

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Mon Nov 24, 2025 00:39:46)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2154120996857,7cyclictest2253511-21ssh22:34:120
2154121996454,6cyclictest2334350-21sendmail00:20:011
2154122995345,5cyclictest422-21dbus-daemon21:45:012
2154122995143,4cyclictest0-21swapper/221:40:012
2154122994941,5cyclictest2319127-21dpkg-db-backup00:00:012
2154122994936,8cyclictest421-21avahi-daemon23:20:172
2154122994840,5cyclictest2187085-21sh21:00:002
215412299475,31cyclictest2245959-21ssh22:24:162
2154122994636,6cyclictest263320-21cups-browsed21:59:222
2154122994632,10cyclictest2200256-21kernelversion21:24:092
2154122994632,10cyclictest2200256-21kernelversion21:24:092
2154121994638,4cyclictest2250731-21kworker/u8:13-xprtiod00:04:131
2154121994638,4cyclictest2250731-21kworker/u8:13-xprtiod00:04:131
2154122994533,7cyclictest422-21dbus-daemon21:10:022
2154122994335,5cyclictest2185595-21munin-plugin-st20:55:012
2154122994335,5cyclictest2185595-21munin-plugin-st20:55:012
2154122994333,6cyclictest2284430-21tail23:14:262
2154121994335,5cyclictest2179625-21systemd-run20:35:011
2154121994335,5cyclictest2163144-21systemd-run19:40:011
2154121994331,8cyclictest422-21dbus-daemon22:22:401
2154120994336,4cyclictest1-21systemd23:30:020
2154120994333,6cyclictest151ktimers/020:54:130
2154120994333,6cyclictest151ktimers/020:54:130
2154122994236,3cyclictest0-21swapper/222:59:162
2154122994234,5cyclictest2166111-21grep19:50:012
2154122994234,5cyclictest2166111-21grep19:50:012
2154122994231,8cyclictest2348898-21ssh00:40:002
2154122994231,8cyclictest2348898-21ssh00:40:002
2154122994229,9cyclictest2231711-21idleruntime-cro22:05:012
2154121994234,5cyclictest2170617-21cut20:05:011
2154121994234,5cyclictest2170617-21cut20:05:011
2154121994134,3cyclictest0-21swapper/123:00:011
2154121994132,5cyclictest0-21swapper/121:49:141
2154122994033,4cyclictest2334341-21munin-run00:20:012
2154122994016,16cyclictest422-21dbus-daemon22:49:162
2154121994033,5cyclictest2344412-21ntp_kernel_pll_00:34:161
2154121994033,5cyclictest2344412-21ntp_kernel_pll_00:34:161
2154121994032,5cyclictest474-21in:imuxsock22:00:011
2154121994031,6cyclictest2315279-21ssh23:55:001
2154121994031,6cyclictest2315279-21ssh23:55:001
2154121994031,6cyclictest2200253-21kernelversion21:24:091
2154121994031,6cyclictest2200253-21kernelversion21:24:091
2154121994031,4cyclictest0-21swapper/100:39:141
2154121994031,4cyclictest0-21swapper/100:39:141
2154121994028,9cyclictest2211241-21aten_r2power_vo21:39:041
2154121994014,12cyclictest28-21ksoftirqd/123:24:151
2154120994031,7cyclictest2242050-21sshd22:19:110
2154120994030,4cyclictest2332997-21fschecks_time00:19:100
2154122993932,3cyclictest0-21swapper/223:40:012
2154122993930,6cyclictest2321715-21ssh00:04:092
2154122993930,6cyclictest2321715-21ssh00:04:092
2154122993930,6cyclictest1-21systemd23:50:012
2154122993930,6cyclictest1-21systemd23:50:012
2154122993930,5cyclictest2176633-21kworker/u8:6-rpciod22:06:202
2154122993930,4cyclictest0-21swapper/223:44:262
2154122993930,4cyclictest0-21swapper/223:44:262
2154122993929,6cyclictest1-21systemd00:15:022
2154122993929,6cyclictest1-21systemd00:15:022
2154121993913,13cyclictest28-21ksoftirqd/120:54:171
2154121993913,13cyclictest28-21ksoftirqd/120:54:171
2154120993927,8cyclictest2192979-21missed_timers21:14:100
215412299383,26cyclictest2219347-21ssh21:49:122
2154122993830,5cyclictest2300065-21idleruntime-cro23:35:012
2154121993830,5cyclictest2216649-21cat21:45:021
2154121993828,6cyclictest263320-21cups-browsed22:34:471
2154120993829,6cyclictest2223539-21switchtime21:54:240
2154120993829,6cyclictest151ktimers/019:44:240
2154122993727,7cyclictest2176745-21kworker/u8:11-rpciod21:29:222
2154122993727,7cyclictest2176745-21kworker/u8:11-rpciod21:29:222
2154122993727,6cyclictest2340255-21tail00:29:052
2154122993727,6cyclictest2340255-21tail00:29:052
2154121993729,5cyclictest2319182-21ssh00:00:021
2154121993729,5cyclictest2300092-21ssh23:35:021
2154121993729,5cyclictest2237806-21aten_r2power_vo22:14:041
2154121993729,4cyclictest0-21swapper/122:54:141
2154121993717,15cyclictest263320-21cups-browsed22:49:161
2154121993712,13cyclictest28-21ksoftirqd/123:37:201
2154121993712,13cyclictest28-21ksoftirqd/121:28:281
2154121993712,13cyclictest28-21ksoftirqd/121:28:281
2154120993732,2cyclictest0-21swapper/022:44:120
2154120993728,6cyclictest263320-21cups-browsed22:21:130
2154120993727,7cyclictest0-21swapper/000:04:130
2154120993727,7cyclictest0-21swapper/000:04:130
2154122993629,3cyclictest0-21swapper/222:39:142
2154122993626,7cyclictest956-21mta-sts-daemon23:54:112
2154122993626,7cyclictest956-21mta-sts-daemon23:54:112
2154122993619,12cyclictest422-21dbus-daemon23:19:442
2154121993631,2cyclictest0-21swapper/123:09:071
2154121993629,4cyclictest0-21swapper/120:40:011
2154121993628,5cyclictest2283590-21sh23:14:101
2154121993628,5cyclictest2208667-21unixbench_singl21:34:241
2154121993628,5cyclictest2208667-21unixbench_singl21:34:241
215412199362,27cyclictest2306764-21rm23:44:141
215412199362,27cyclictest2306764-21rm23:44:141
2154121993613,12cyclictest28-21ksoftirqd/122:27:421
2154120993631,3cyclictest191rcuc/020:24:150
2154120993631,2cyclictest0-21swapper/000:24:130
2154120993631,2cyclictest0-21swapper/000:24:130
2154120993630,4cyclictest2160111-21idleruntime-cro19:30:010
2154120993629,4cyclictest1-21systemd20:30:010
2154120993625,9cyclictest2212753-21idleruntime-cro21:40:010
2154120993612,5cyclictest14-21ksoftirqd/022:14:170
215412299353,25cyclictest2223148-21ssh21:54:132
2154122993528,4cyclictest0-21swapper/223:29:162
2154122993528,4cyclictest0-21swapper/222:20:022
2154122993527,5cyclictest2197697-21cut21:20:002
2154122993527,5cyclictest2197697-21cut21:20:002
2154122993525,5cyclictest0-21swapper/221:35:022
2154122993525,5cyclictest0-21swapper/221:35:022
2154122993524,7cyclictest2249385-21gltestperf22:29:102
2154121993529,3cyclictest0-21swapper/123:05:011
2154121993529,3cyclictest0-21swapper/120:19:181
2154121993526,6cyclictest263320-21cups-browsed23:49:171
2154121993526,6cyclictest263320-21cups-browsed23:49:171
2154121993526,6cyclictest263320-21cups-browsed22:04:081
215412199352,25cyclictest2295209-21ssh23:29:131
2154121993514,4cyclictest28-21ksoftirqd/100:23:511
2154121993514,4cyclictest28-21ksoftirqd/100:23:511
2154120993529,4cyclictest433-21polkitd23:49:170
2154120993529,4cyclictest433-21polkitd23:49:170
2154120993528,3cyclictest0-21swapper/021:19:120
2154120993528,3cyclictest0-21swapper/021:19:120
2154120993527,5cyclictest2326415-21grep00:09:300
215412299342,25cyclictest2268830-21ssh22:54:182
2154121993412,6cyclictest28-21ksoftirqd/122:16:061
2154121993412,13cyclictest28-21ksoftirqd/122:41:281
2154121993412,12cyclictest28-21ksoftirqd/123:15:481
215412099343,27cyclictest2329598-21ssh00:14:180
215412099343,27cyclictest2329598-21ssh00:14:180
2154120993430,2cyclictest0-21swapper/023:20:010
2154120993427,4cyclictest2341296-21timerwakeupswit00:29:260
2154120993427,4cyclictest2341296-21timerwakeupswit00:29:260
2154120993427,4cyclictest2205229-21munin-plugin-st21:30:000
2154120993427,4cyclictest2205229-21munin-plugin-st21:30:000
2154120993427,4cyclictest1-21systemd19:15:020
2154120993420,6cyclictest12450irq/32-eth021:59:120
2154120993415,5cyclictest12450irq/32-eth023:54:180
2154120993415,5cyclictest12450irq/32-eth023:54:180
2154120993411,12cyclictest14-21ksoftirqd/023:24:210
215412299333,12cyclictest955-21mta-sts-daemon00:09:192
2154122993326,4cyclictest955-21mta-sts-daemon00:34:052
2154122993326,4cyclictest955-21mta-sts-daemon00:34:052
2154122993325,4cyclictest0-21swapper/223:04:122
2154122993324,6cyclictest1-21systemd22:45:012
215412199337,9cyclictest2326670-21ssh00:09:551
2154121993327,3cyclictest0-21swapper/120:45:011
2154121993327,3cyclictest0-21swapper/100:29:211
2154121993327,3cyclictest0-21swapper/100:29:211
2154121993326,3cyclictest0-21swapper/121:54:051
2154121993312,6cyclictest28-21ksoftirqd/100:10:351
2154121993312,6cyclictest28-21ksoftirqd/100:10:351
2154121993311,12cyclictest28-21ksoftirqd/122:09:171
2154121993311,11cyclictest28-21ksoftirqd/121:13:541
2154121993310,13cyclictest28-21ksoftirqd/121:16:531
2154121993310,13cyclictest28-21ksoftirqd/121:16:531
215412099339,4cyclictest14-21ksoftirqd/021:49:140
2154120993328,2cyclictest0-21swapper/000:00:010
215412099331,27cyclictest2283859-21ssh23:14:150
2154120993311,5cyclictest14-21ksoftirqd/021:31:400
2154120993311,5cyclictest14-21ksoftirqd/021:31:400
2154120993311,4cyclictest14-21ksoftirqd/019:49:170
2154120993311,4cyclictest14-21ksoftirqd/019:49:170
2154120993310,5cyclictest14-21ksoftirqd/022:54:360
2154120993310,4cyclictest14-21ksoftirqd/000:34:180
2154120993310,4cyclictest14-21ksoftirqd/000:34:180
2154120993310,11cyclictest14-21ksoftirqd/023:00:140
2154122993224,5cyclictest2170617-21munin-plugin-st20:05:012
2154122993224,5cyclictest2170617-21munin-plugin-st20:05:012
2154122993223,6cyclictest2192722-21sh21:14:062
2154122993222,6cyclictest421-21avahi-daemon22:10:332
2154122993220,9cyclictest2163983-21ntp_kernel_err19:44:132
2154122993220,8cyclictest422-21dbus-daemon19:10:012
2154121993225,4cyclictest2176617-21munin-plugin-st20:25:011
2154121993223,4cyclictest0-21swapper/122:39:171
2154121993211,3cyclictest28-21ksoftirqd/120:59:151
2154121993210,9cyclictest28-21ksoftirqd/120:14:121
2154121993210,10cyclictest28-21ksoftirqd/119:19:121
215412099329,5cyclictest14-21ksoftirqd/023:35:520
215412099329,4cyclictest14-21ksoftirqd/022:49:180
215412099328,4cyclictest14-21ksoftirqd/022:26:500
2154120993226,4cyclictest2235198-21unixbench_singl22:09:230
2154120993226,3cyclictest151ktimers/020:44:170
2154120993223,6cyclictest2158650-21latency_hist19:25:020
2154120993218,9cyclictest12450irq/32-eth020:09:170
2154120993212,5cyclictest14-21ksoftirqd/020:19:140
2154120993211,11cyclictest14-21ksoftirqd/000:35:090
2154120993211,11cyclictest14-21ksoftirqd/000:35:090
2154120993210,5cyclictest14-21ksoftirqd/022:38:130
2154120993210,4cyclictest14-21ksoftirqd/022:55:470
2154122993124,3cyclictest0-21swapper/221:04:242
2154122993123,5cyclictest2337751-21grep00:24:242
2154122993123,5cyclictest2337751-21grep00:24:242
2154122993120,7cyclictest0-21swapper/222:32:352
215412199318,11cyclictest28-21ksoftirqd/119:49:101
215412199318,11cyclictest28-21ksoftirqd/119:49:101
2154121993111,12cyclictest28-21ksoftirqd/119:12:051
2154121993110,4cyclictest28-21ksoftirqd/119:34:151
2154121993110,11cyclictest28-21ksoftirqd/121:05:011
215412099319,4cyclictest14-21ksoftirqd/023:06:200
215412099319,4cyclictest14-21ksoftirqd/021:21:300
215412099319,4cyclictest14-21ksoftirqd/021:21:300
215412099319,11cyclictest14-21ksoftirqd/020:49:140
215412099318,11cyclictest14-21ksoftirqd/019:59:140
215412099318,11cyclictest14-21ksoftirqd/019:59:140
215412099317,11cyclictest14-21ksoftirqd/023:41:460
215412099317,11cyclictest14-21ksoftirqd/023:41:460
2154120993110,5cyclictest14-21ksoftirqd/023:31:590
2154120993110,5cyclictest14-21ksoftirqd/020:14:190
215412299302,20cyclictest1994697-21sendmail-mta19:14:182
2154122993021,5cyclictest2157147-21systemd-run19:20:022
215412199309,4cyclictest28-21ksoftirqd/120:49:051
215412199309,4cyclictest28-21ksoftirqd/119:54:121
215412199308,5cyclictest28-21ksoftirqd/119:29:061
2154121993022,5cyclictest263320-21cups-browsed20:26:201
215412099308,5cyclictest14-21ksoftirqd/021:40:490
2154120993025,3cyclictest2187005-21unixbench_multi20:59:220
2154120993023,4cyclictest955-21mta-sts-daemon19:39:110
2154120993023,4cyclictest433-21polkitd22:01:450
215412299294,21cyclictest2280138-21ssh23:09:162
2154122992921,5cyclictest2169092-21sendmail20:00:012
2154122992921,5cyclictest2169092-21sendmail20:00:012
2154122992921,4cyclictest956-21mta-sts-daemon19:29:072
2154122992917,9cyclictest2157986-21ntp_kernel_err19:24:122
215412199299,5cyclictest28-21ksoftirqd/119:59:191
215412199299,5cyclictest28-21ksoftirqd/119:59:191
215412199299,4cyclictest28-21ksoftirqd/119:44:251
215412199297,10cyclictest28-21ksoftirqd/121:09:121
2154121992910,10cyclictest28-21ksoftirqd/120:09:041
2154121992910,10cyclictest28-21ksoftirqd/119:10:011
215412099298,5cyclictest14-21ksoftirqd/019:10:010
215412099298,3cyclictest14-21ksoftirqd/019:54:160
215412099298,12cyclictest14-21ksoftirqd/020:39:170
215412099297,9cyclictest14-21ksoftirqd/019:19:040
2154120992918,4cyclictest2161512-21tail19:34:240
2154120992917,4cyclictest2189995-21unixbench_multi21:09:250
2154122992821,3cyclictest0-21swapper/220:20:012
2154122992819,5cyclictest2181667-21fschecks_time20:44:062
2154122992813,12cyclictest351ktimers/220:34:162
215412199287,4cyclictest28-21ksoftirqd/119:24:061
215412099288,4cyclictest14-21ksoftirqd/021:04:110
2154122992719,5cyclictest421-21avahi-daemon19:34:202
2154122992716,8cyclictest698-21cron19:55:012
215412099278,11cyclictest14-21ksoftirqd/020:04:050
215412099278,11cyclictest14-21ksoftirqd/020:04:050
2154122992620,3cyclictest0-21swapper/219:40:012
215412099266,5cyclictest14-21ksoftirqd/020:34:080
2154122992519,3cyclictest0-21swapper/220:40:012
2154122992518,4cyclictest2175407-21aten_r2power_cu20:24:032
2154122992516,6cyclictest453-21systemd-logind20:30:012
2154122992417,5cyclictest2170930-21aten_r2power_en20:09:022
215412299233,14cyclictest437-21mta-sts-daemon20:49:162
2154122992216,3cyclictest959-21mta-sts-daemon20:13:412
215412399212,11cyclictest0-21swapper/300:04:133
215412399212,11cyclictest0-21swapper/300:04:133
215412399193,9cyclictest0-21swapper/300:24:113
215412399193,9cyclictest0-21swapper/300:24:113
215412399193,8cyclictest0-21swapper/321:34:153
215412399193,8cyclictest0-21swapper/321:34:153
215412399183,8cyclictest0-21swapper/323:24:203
215412399182,8cyclictest0-21swapper/323:19:123
215412399182,10cyclictest0-21swapper/322:04:223
215412399181,9cyclictest0-21swapper/323:14:183
2154123991813,3cyclictest0-21swapper/300:19:203
2154123991811,4cyclictest0-21swapper/323:09:113
215412399176,4cyclictest0-21swapper/319:44:233
215412399173,9cyclictest0-21swapper/323:04:123
215412399172,9cyclictest0-21swapper/300:34:223
215412399172,9cyclictest0-21swapper/300:34:223
215412399171,9cyclictest0-21swapper/323:29:133
215412399171,9cyclictest0-21swapper/320:04:133
215412399171,9cyclictest0-21swapper/320:04:133
215412399163,8cyclictest0-21swapper/323:44:213
215412399163,8cyclictest0-21swapper/323:44:213
215412399163,8cyclictest0-21swapper/322:24:193
215412399162,9cyclictest0-21swapper/321:39:133
215412399161,8cyclictest0-21swapper/322:49:113
215412399153,8cyclictest0-21swapper/322:29:183
215412399153,8cyclictest0-21swapper/322:09:103
215412399153,8cyclictest0-21swapper/321:54:183
215412399153,7cyclictest0-21swapper/323:54:133
215412399153,7cyclictest0-21swapper/323:54:133
215412399152,9cyclictest0-21swapper/321:59:163
215412399152,9cyclictest0-21swapper/300:09:193
215412399152,8cyclictest0-21swapper/323:39:153
215412399152,8cyclictest0-21swapper/323:34:043
215412399152,8cyclictest0-21swapper/321:24:123
215412399152,8cyclictest0-21swapper/321:24:123
215412399152,8cyclictest0-21swapper/321:19:123
215412399152,8cyclictest0-21swapper/321:19:123
215412399152,6cyclictest0-21swapper/321:04:183
215412399152,6cyclictest0-21swapper/320:29:133
215412399152,6cyclictest0-21swapper/319:55:303
215412399152,6cyclictest0-21swapper/319:55:303
215412399151,6cyclictest0-21swapper/320:24:143
215412399148,4cyclictest0-21swapper/319:19:133
215412399143,8cyclictest0-21swapper/320:50:023
215412399143,7cyclictest0-21swapper/323:49:133
215412399143,7cyclictest0-21swapper/323:49:133
215412399143,7cyclictest0-21swapper/322:34:113
215412399142,9cyclictest0-21swapper/322:59:133
215412399142,8cyclictest0-21swapper/323:59:183
215412399142,8cyclictest0-21swapper/322:44:123
215412399142,8cyclictest0-21swapper/322:19:143
215412399142,8cyclictest0-21swapper/322:14:133
215412399142,8cyclictest0-21swapper/321:10:053
215412399142,8cyclictest0-21swapper/300:29:153
215412399142,8cyclictest0-21swapper/300:29:153
215412399142,8cyclictest0-21swapper/300:14:163
215412399142,8cyclictest0-21swapper/300:14:163
215412399142,6cyclictest0-21swapper/320:39:123
215412399141,8cyclictest0-21swapper/321:49:163
215412399141,8cyclictest0-21swapper/321:29:223
215412399141,8cyclictest0-21swapper/321:29:223
215412399141,7cyclictest0-21swapper/320:54:113
215412399141,7cyclictest0-21swapper/320:54:113
215412399141,7cyclictest0-21swapper/319:29:193
215412399138,3cyclictest0-21swapper/321:44:063
215412399138,3cyclictest0-21swapper/320:14:113
215412399137,4cyclictest0-21swapper/322:54:123
215412399137,4cyclictest0-21swapper/320:59:223
215412399136,4cyclictest0-21swapper/319:54:183
215412399135,5cyclictest0-21swapper/319:40:013
215412399135,5cyclictest0-21swapper/319:14:053
215412399135,4cyclictest0-21swapper/322:36:583
215412399131,8cyclictest0-21swapper/300:39:143
215412399131,8cyclictest0-21swapper/300:39:143
215412399131,6cyclictest0-21swapper/319:49:133
215412399131,6cyclictest0-21swapper/319:49:133
215412399127,3cyclictest0-21swapper/320:19:153
215412399126,3cyclictest0-21swapper/321:07:043
215412399116,3cyclictest0-21swapper/320:44:073
215412399116,3cyclictest0-21swapper/320:34:023
215412399116,3cyclictest0-21swapper/319:24:093
215412399115,3cyclictest0-21swapper/319:34:053
215412399111,6cyclictest0-21swapper/320:09:143
215412399104,3cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional