You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-08 - 08:04

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Mon Dec 08, 2025 00:39:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1029377995952,3cyclictest0-21swapper/221:10:012
1029376995950,6cyclictest1134140-21unixbench_multi22:39:351
1029376995143,5cyclictest1095376-21sh21:49:291
1029375995125,7cyclictest171rcu_preempt20:49:260
1029376994837,7cyclictest0-21swapper/122:34:241
1029375994738,4cyclictest0-21swapper/023:19:260
1029375994738,4cyclictest0-21swapper/023:19:260
1029375994731,13cyclictest1203381-21latency_hist00:10:030
1029377994638,5cyclictest1119020-21munin-plugin-st22:20:012
1029376994639,4cyclictest959-21mta-sts-daemon20:04:211
1029376994638,5cyclictest1156448-21missed_timers23:09:251
1029376994637,6cyclictest1220161-21cron00:35:011
1029375994639,3cyclictest0-21swapper/022:25:020
102937599462,35cyclictest1125838-21ssh22:29:220
1029375994623,12cyclictest12450irq/32-eth021:49:230
1029377994537,5cyclictest1126751-21systemd-run22:30:012
1029377994536,5cyclictest1196087-21cut00:00:022
1029377994536,5cyclictest1106523-21latency22:04:192
1029376994536,6cyclictest1211952-21aten_r2power_po00:24:111
1029376994536,6cyclictest1029380-21systemd-run19:10:011
1029377994438,3cyclictest0-21swapper/221:55:012
1029377994436,5cyclictest1220191-21systemd-run00:35:022
1029376994436,5cyclictest1063854-21sh21:05:011
1029375994436,5cyclictest1119016-21idleruntime-cro22:20:010
102937599442,38cyclictest1079842-21ssh21:29:210
1029377994335,4cyclictest0-21swapper/220:40:012
1029376994335,5cyclictest1069464-21latency_hist21:15:021
102937699433,32cyclictest657-21snmpd19:44:271
1029377994232,6cyclictest1029837-21/usr/sbin/munin19:14:142
1029376994235,4cyclictest1223364-21sendmail00:40:011
1029375994228,11cyclictest1149222-21switchtime22:59:340
1029377994131,7cyclictest422-21dbus-daemon22:39:222
1029376994135,3cyclictest0-21swapper/123:40:011
1029376994134,4cyclictest1199844-21cron00:05:011
1029376994133,5cyclictest0-21swapper/121:20:011
1029376994132,6cyclictest1038389-21systemd-run19:40:021
1029376994132,5cyclictest1079855-21ssh21:29:211
1029376994130,5cyclictest0-21swapper/121:54:371
1029375994134,5cyclictest1196013-21idleruntime-cro00:00:010
1029375994127,9cyclictest12450irq/32-eth023:53:020
1029377994030,6cyclictest474-21in:imuxsock23:53:032
102937799402,29cyclictest1212593-21ssh00:24:242
1029376994035,3cyclictest0-21swapper/122:54:331
1029376994035,2cyclictest0-21swapper/100:00:021
1029376994034,4cyclictest1029374-21cyclictest21:24:301
1029376994032,5cyclictest1087962-21/usr/sbin/munin21:39:331
1029376994030,7cyclictest421-21avahi-daemon23:28:461
1029376994030,7cyclictest421-21avahi-daemon23:28:461
1029376994030,7cyclictest1103804-21sendmail22:00:011
1029377993933,3cyclictest0-21swapper/222:00:032
1029377993932,4cyclictest1111351-21cron22:10:012
102937799392,7cyclictest1065352-21diskmemload00:09:252
1029377993926,9cyclictest1168142-21ntp_offset23:24:252
102937699394,26cyclictest1148849-21ssh22:59:231
1029376993931,5cyclictest266-21systemd-journal22:10:021
1029376993929,7cyclictest1184124-21unixbench_multi23:44:351
1029376993929,6cyclictest1091408-21ntp_kernel_pll_21:44:221
1029375993928,9cyclictest1208984-21fschecks_time00:19:160
1029375993928,8cyclictest1175022-21aten_r2power_cu23:34:120
1029375993928,8cyclictest1175022-21aten_r2power_cu23:34:120
1029375993926,10cyclictest1138035-21unixbench_multi22:44:330
1029375993924,12cyclictest0-21swapper/021:00:010
1029375993912,7cyclictest171rcu_preempt21:04:270
1029377993829,4cyclictest0-21swapper/223:35:012
1029377993829,4cyclictest0-21swapper/223:35:012
1029377993827,8cyclictest1160996-21unixbench_singl23:14:322
102937699383,26cyclictest1152732-21ssh23:04:241
1029376993832,3cyclictest1191686-21sshd23:54:331
1029376993827,8cyclictest1115178-21sh22:15:011
1029376993827,7cyclictest1-21systemd22:29:301
1029375993831,4cyclictest1133883-21switchtime22:39:330
1029375993830,5cyclictest1103787-21cron22:00:010
1029375993828,6cyclictest1103835-21kworker/u8:2-nfsiod22:55:020
1029375993827,8cyclictest1179603-21ntp_kernel_pll_23:39:230
1029377993729,5cyclictest1223099-21unixbench_multi00:39:342
1029377993725,8cyclictest1079135-21/usr/sbin/munin21:29:182
1029376993729,5cyclictest1159953-21fschecks_count23:14:131
1029376993728,5cyclictest1107366-21unixbench_singl22:04:361
1029376993728,5cyclictest1056906-21fschecks_count20:44:181
1029376993728,4cyclictest0-21swapper/100:29:261
1029376993726,8cyclictest1056353-21idleruntime-cro20:40:011
1029375993730,4cyclictest1-21systemd23:15:020
1029375993728,6cyclictest421-21avahi-daemon19:34:320
102937599372,29cyclictest1206044-21ssh00:14:250
1029377993627,5cyclictest1215918-21sh00:29:262
1029377993626,7cyclictest1084715-21latency_hist21:35:022
1029377993624,7cyclictest421-21avahi-daemon23:07:182
1029377993612,6cyclictest171rcu_preempt22:44:272
102937699366,20cyclictest437-21mta-sts-daemon19:19:271
1029376993627,6cyclictest1-21systemd22:25:011
1029376993627,4cyclictest0-21swapper/121:34:241
1029376993626,6cyclictest956-21mta-sts-daemon22:48:331
1029376993626,6cyclictest1187994-21unixbench_singl23:49:341
1029375993629,4cyclictest1141876-21grep22:49:350
1029377993529,3cyclictest0-21swapper/220:00:012
1029377993528,3cyclictest0-21swapper/219:24:312
1029376993527,5cyclictest1205454-21sort00:14:111
1029376993527,5cyclictest1138536-21latency_hist22:45:031
1029376993526,5cyclictest698-21cron23:25:011
1029376993523,9cyclictest1049749-21ntp_kernel_pll_20:19:231
1029375993526,6cyclictest12450irq/32-eth022:34:270
1029375993525,8cyclictest1099205-21kworker/u8:0+rpciod22:05:020
1029375993521,5cyclictest1172451-21unixbench-2d23:29:350
1029375993521,5cyclictest1172451-21unixbench-2d23:29:350
1029375993521,10cyclictest12450irq/32-eth022:09:270
1029377993427,4cyclictest0-21swapper/221:44:202
1029377993426,4cyclictest0-21swapper/223:39:322
1029377993424,7cyclictest698-21cron20:55:012
1029377993424,6cyclictest1088462-21awk21:40:012
1029376993427,3cyclictest0-21swapper/123:34:231
1029376993427,3cyclictest0-21swapper/123:34:231
1029376993426,5cyclictest0-21swapper/122:20:011
1029376993421,9cyclictest3339547-21cups-browsed20:05:131
1029375993428,3cyclictest0-21swapper/023:24:230
1029375993427,4cyclictest956-21mta-sts-daemon22:12:480
1029375993427,4cyclictest1073182-21munin-plugin-st21:20:010
1029375993426,5cyclictest1056388-21systemd-run20:40:020
102937599342,25cyclictest657-21snmpd23:44:270
1029375993421,9cyclictest12450irq/32-eth023:49:200
1029377993327,3cyclictest0-21swapper/222:34:132
1029377993326,4cyclictest0-21swapper/200:04:152
1029377993325,5cyclictest1144890-21missed_timers22:54:182
1029377993322,7cyclictest3339547-21cups-browsed23:48:462
1029377993321,9cyclictest1142156-21latency_hist22:50:032
1029376993326,4cyclictest1203542-21latency_hist00:10:041
1029376993324,6cyclictest1042765-21unixbench_multi19:54:351
1029375993319,11cyclictest151ktimers/000:24:290
1029375993318,9cyclictest12450irq/32-eth021:24:220
1029375993315,11cyclictest12450irq/32-eth000:39:260
1029377993224,5cyclictest1039868-21munin-plugin-st19:45:012
1029377993221,8cyclictest3339547-21cups-browsed22:59:122
1029377993210,8cyclictest171rcu_preempt19:34:272
1029376993226,3cyclictest0-21swapper/119:15:011
1029376993226,3cyclictest0-21swapper/100:20:011
1029376993224,5cyclictest1051833-21grep20:24:371
1029376993222,5cyclictest0-21swapper/120:49:241
1029375993226,4cyclictest1054741-21sed20:34:320
1029375993226,3cyclictest0-21swapper/020:20:010
1029375993221,8cyclictest0-21swapper/000:29:260
102937799317,19cyclictest1068502-21diskmemload21:14:212
1029377993125,3cyclictest0-21swapper/222:15:012
1029377993124,5cyclictest1075457-21aten2.4-expect21:24:132
1029377993124,5cyclictest0-21swapper/220:10:012
1029377993124,3cyclictest0-21swapper/221:49:242
1029377993124,3cyclictest0-21swapper/200:19:322
1029376993125,3cyclictest0-21swapper/119:25:011
1029376993125,2cyclictest0-21swapper/119:50:011
1029376993123,5cyclictest1044343-21sh20:00:011
1029376993115,10cyclictest1164330-21sh23:19:261
1029376993115,10cyclictest1164330-21sh23:19:261
1029375993125,4cyclictest1030859-21cut19:15:010
1029375993121,6cyclictest1065352-21diskmemload21:14:210
1029377993024,3cyclictest0-21swapper/223:30:012
1029377993024,3cyclictest0-21swapper/223:30:012
1029377993024,3cyclictest0-21swapper/223:19:222
1029377993024,3cyclictest0-21swapper/223:19:222
1029377993023,5cyclictest1050358-21munin-plugin-st20:20:002
1029377993023,5cyclictest1029374-21cyclictest20:14:252
1029377993023,4cyclictest1054713-21unixbench-2d20:34:312
1029377993022,5cyclictest1035388-21systemd-run19:30:012
1029377993022,5cyclictest1035388-21systemd-run19:30:012
102937799302,24cyclictest1121946-21ssh22:24:212
1029377993021,6cyclictest1073180-21munin-plugin-st21:20:012
1029377993020,7cyclictest1062012-21switchtime20:59:342
1029376993023,5cyclictest0-21swapper/121:10:011
1029375993020,6cyclictest1156635-21ntpq23:09:300
1029375993016,11cyclictest0-21swapper/021:10:010
1029377992922,3cyclictest0-21swapper/200:14:102
1029377992921,5cyclictest3339547-21cups-browsed21:04:192
1029377992920,5cyclictest0-21swapper/223:04:302
1029377992919,7cyclictest1058757-21ntp_kernel_pll_20:49:242
1029376992924,2cyclictest0-21swapper/120:30:011
1029376992914,9cyclictest271ktimers/119:34:271
102937799285,16cyclictest956-21mta-sts-daemon20:29:212
1029377992821,4cyclictest0-21swapper/219:20:012
1029377992820,5cyclictest1038344-21cron19:40:012
1029377992815,9cyclictest422-21dbus-daemon23:40:422
102937799281,21cyclictest3339547-21cups-browsed20:44:302
1029376992818,6cyclictest1048855-21munin-plugin-st20:15:011
1029375992817,8cyclictest0-21swapper/023:04:130
1029375992814,10cyclictest422-21dbus-daemon21:54:250
102937599281,24cyclictest657-21snmpd00:00:160
1029376992713,11cyclictest271ktimers/120:54:261
102937599272,20cyclictest1087578-21ssh21:39:230
1029375992720,4cyclictest1059650-21aten_r2power_en20:54:120
1029375992720,3cyclictest0-21swapper/020:06:150
1029375992714,10cyclictest0-21swapper/021:44:240
1029377992618,5cyclictest959-21mta-sts-daemon19:54:142
1029376992618,5cyclictest421-21avahi-daemon20:33:291
1029376992614,10cyclictest271ktimers/120:59:231
102937599262,17cyclictest1219433-21ssh00:34:250
1029375992619,5cyclictest1038389-21systemd-run19:40:020
1029375992619,5cyclictest0-21swapper/021:34:350
1029375992618,5cyclictest3339547-21cups-browsed20:41:110
1029375992618,5cyclictest3339547-21cups-browsed20:14:010
1029375992614,9cyclictest0-21swapper/019:19:320
1029377992518,4cyclictest955-21mta-sts-daemon20:04:192
102937699251,5cyclictest1034822-21ntpq19:29:261
102937699251,5cyclictest1034822-21ntpq19:29:261
1029375992517,4cyclictest151ktimers/019:44:260
1029377992416,6cyclictest1051752-21unixbench_multi20:24:362
1029375992417,4cyclictest3339547-21cups-browsed20:27:480
1029375992416,6cyclictest1051167-21missed_timers20:24:220
1029375992416,5cyclictest3339547-21cups-browsed19:27:380
1029375992416,5cyclictest3339547-21cups-browsed19:27:380
1029375992317,3cyclictest956-21mta-sts-daemon19:24:100
1029377992210,8cyclictest453-21systemd-logind19:10:012
102937599224,14cyclictest437-21mta-sts-daemon19:49:270
102937599222,15cyclictest1045317-21ntpq20:04:230
102937599222,15cyclictest1043769-21ntpq19:59:230
1029375992212,4cyclictest959-21mta-sts-daemon19:54:170
102937799213,10cyclictest959-21mta-sts-daemon19:49:252
102937599200,8cyclictest1029393-21latency_hist19:10:020
102937899161,8cyclictest0-21swapper/322:14:223
102937899151,7cyclictest0-21swapper/323:49:203
102937899143,7cyclictest0-21swapper/323:44:273
102937899143,4cyclictest0-21swapper/319:29:243
102937899143,4cyclictest0-21swapper/319:29:243
102937899142,7cyclictest0-21swapper/323:19:213
102937899142,7cyclictest0-21swapper/323:19:213
102937899142,6cyclictest0-21swapper/319:59:263
102937899141,7cyclictest0-21swapper/323:59:243
102937899141,7cyclictest0-21swapper/322:44:183
102937899141,7cyclictest0-21swapper/322:34:353
102937899141,7cyclictest0-21swapper/300:09:293
102937899141,6cyclictest0-21swapper/323:54:223
102937899141,6cyclictest0-21swapper/320:09:243
102937899141,6cyclictest0-21swapper/319:39:213
102937899141,6cyclictest0-21swapper/319:14:273
102937899132,6cyclictest0-21swapper/321:49:213
102937899132,6cyclictest0-21swapper/300:04:253
102937899131,7cyclictest0-21swapper/322:39:213
102937899131,7cyclictest0-21swapper/321:19:213
102937899131,7cyclictest0-21swapper/320:34:203
102937899131,6cyclictest0-21swapper/322:09:223
102937899124,6cyclictest0-21swapper/322:29:213
102937899123,5cyclictest0-21swapper/319:54:243
102937899122,7cyclictest0-21swapper/300:39:223
102937899122,6cyclictest0-21swapper/323:39:243
102937899122,6cyclictest0-21swapper/323:34:233
102937899122,6cyclictest0-21swapper/323:34:233
102937899122,6cyclictest0-21swapper/322:19:293
102937899122,6cyclictest0-21swapper/321:22:303
102937899122,6cyclictest0-21swapper/320:49:243
102937899122,6cyclictest0-21swapper/300:25:013
102937899122,5cyclictest0-21swapper/322:59:233
102937899122,4cyclictest0-21swapper/320:54:213
102937899121,7cyclictest0-21swapper/322:24:293
102937899121,7cyclictest0-21swapper/322:04:343
102937899121,7cyclictest0-21swapper/321:54:243
102937899121,6cyclictest0-21swapper/323:22:343
102937899121,6cyclictest0-21swapper/323:09:283
102937899121,6cyclictest0-21swapper/321:44:203
102937899121,5cyclictest0-21swapper/321:09:223
102937899121,5cyclictest0-21swapper/320:24:173
102937899121,5cyclictest0-21swapper/320:04:193
102937899112,7cyclictest0-21swapper/322:54:123
102937899111,7cyclictest0-21swapper/323:04:223
102937899111,7cyclictest0-21swapper/321:34:353
102937899111,7cyclictest0-21swapper/300:29:203
102937899111,6cyclictest0-21swapper/323:14:173
102937899111,6cyclictest0-21swapper/321:59:183
102937899111,6cyclictest0-21swapper/321:39:223
102937899111,6cyclictest0-21swapper/319:19:233
102937899111,6cyclictest0-21swapper/300:19:273
102937899103,5cyclictest0-21swapper/321:14:243
102937899102,6cyclictest0-21swapper/319:44:143
102937899102,5cyclictest0-21swapper/321:04:293
102937899102,5cyclictest0-21swapper/320:59:253
102937899102,5cyclictest0-21swapper/300:14:093
102937899101,6cyclictest0-21swapper/322:45:343
102937899101,6cyclictest0-21swapper/320:39:133
102937899101,5cyclictest0-21swapper/323:28:463
102937899101,5cyclictest0-21swapper/323:28:463
102937899101,5cyclictest0-21swapper/321:25:313
102937899101,5cyclictest0-21swapper/320:29:213
102937899101,5cyclictest0-21swapper/320:19:143
10293789991,5cyclictest0-21swapper/320:14:243
10293789991,5cyclictest0-21swapper/319:34:213
10293789991,5cyclictest0-21swapper/319:24:143
10293789991,4cyclictest0-21swapper/320:44:173
10293789991,4cyclictest0-21swapper/319:49:123
10293789991,4cyclictest0-21swapper/319:10:023
10293789991,3cyclictest0-21swapper/300:34:253
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional