You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-22 - 22:53

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Sun Mar 22, 2026 12:43:35)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
4023804998673,9cyclictest4175739-21kworker/u8:12-xprtiod11:30:061
4023803997767,8cyclictest4181037-21latency_hist11:30:040
4023805996554,6cyclictest0-21swapper/210:45:302
4023805996553,6cyclictest0-21swapper/210:00:292
4023805996451,9cyclictest4180779-40mandb11:30:032
402380599594,43cyclictest4060823-21ssh09:10:212
402380399580,52cyclictest18039-21ssh12:05:230
402380399580,52cyclictest18039-21ssh12:05:230
4023803995547,5cyclictest4086046-21systemctl09:40:010
4023803995547,5cyclictest4086046-21systemctl09:40:010
4023804995439,8cyclictest0-21swapper/111:30:041
402380499543,22cyclictest5288-21ssh11:50:291
4023803995442,6cyclictest151ktimers/008:40:210
4023804995226,23cyclictest0-21swapper/110:35:221
4023803995145,4cyclictest4175739-21kworker/u8:12+xprtiod11:30:020
4023803995134,10cyclictest12450irq/33-eth011:55:230
4023803995134,10cyclictest12450irq/33-eth011:55:230
402380599493,38cyclictest13862-21ssh12:00:272
4023804994941,5cyclictest1056-21mta-sts-daemon11:55:231
4023804994941,5cyclictest1056-21mta-sts-daemon11:55:231
4023804994938,7cyclictest1056-21mta-sts-daemon12:10:251
4023804994938,7cyclictest1056-21mta-sts-daemon12:10:251
402380499493,20cyclictest4104371-21ssh10:00:231
4023803994936,11cyclictest4059790-21diskmemload11:10:200
4023803994936,11cyclictest4059790-21diskmemload11:10:200
402380599483,38cyclictest4087202-21ssh09:40:252
402380499483,20cyclictest4078515-21ssh09:30:251
4023804994829,15cyclictest420-21avahi-daemon11:36:451
4023804994829,15cyclictest420-21avahi-daemon11:36:451
4023804994827,18cyclictest0-21swapper/108:15:011
4023803994840,5cyclictest0-21swapper/009:20:230
4023803994838,7cyclictest421-21dbus-daemon10:45:300
402380399483,41cyclictest4100163-21ssh09:55:270
402380399480,42cyclictest0-21swapper/012:15:270
4023805994741,3cyclictest0-21swapper/211:05:002
4023805994741,3cyclictest0-21swapper/211:05:002
4023804994737,6cyclictest47033-21latency_hist12:40:021
402380499473,12cyclictest4143214-21ssh10:45:341
4023804994722,4cyclictest4100684-21sed09:55:351
402380499472,23cyclictest4069679-21ssh09:20:231
402380499472,21cyclictest35250-21ssh12:25:271
402380399473,33cyclictest4160326-21ssh11:05:250
402380399473,33cyclictest4160326-21ssh11:05:250
4023803994726,18cyclictest4034804-21fschecks_count07:45:180
402380499468,15cyclictest420-21avahi-daemon08:55:261
402380399469,34cyclictest4066028-21ssh09:15:420
4023803994639,5cyclictest1-21systemd12:35:010
4023803994624,14cyclictest151ktimers/010:50:290
402380399461,13cyclictest4172914-21ssh11:20:180
4023805994537,5cyclictest4043303-21systemd-run08:15:012
4023805994537,4cyclictest0-21swapper/207:20:242
4023805994535,4cyclictest0-21swapper/211:30:052
4023805994532,5cyclictest0-21swapper/209:35:222
4023805994532,5cyclictest0-21swapper/209:35:222
4023805994531,7cyclictest0-21swapper/210:20:262
4023805994531,11cyclictest4129018-21latency_hist10:30:022
402380499452,26cyclictest4095715-21ssh09:50:221
402380499451,21cyclictest4108799-21ntp_states10:05:281
4023804994510,6cyclictest171rcu_preempt10:30:231
402380399457,35cyclictest4171241-21ssh11:18:250
402380399456,33cyclictest4151705-21ssh10:55:250
402380399456,33cyclictest4151705-21ssh10:55:250
4023803994535,5cyclictest151ktimers/008:20:240
4023803994535,5cyclictest151ktimers/008:20:240
402380399451,4cyclictest4110648-21ssh10:07:500
402380399451,39cyclictest4047135-21ntpq08:25:210
402380399451,38cyclictest0-21swapper/009:05:290
4023804994436,4cyclictest0-21swapper/111:00:221
4023804994436,4cyclictest0-21swapper/111:00:221
402380499442,9cyclictest4082882-21ntpq09:35:251
402380499442,9cyclictest4082882-21ntpq09:35:251
4023804994419,3cyclictest0-21swapper/108:30:341
4023804994414,6cyclictest3138547-21cups-browsed11:22:241
402380499441,23cyclictest4113094-21ssh10:10:281
402380399447,35cyclictest4097983-21ssh09:53:170
402380399440,38cyclictest0-21swapper/009:30:250
4023805994335,5cyclictest4068634-21ssh09:20:022
4023805994332,5cyclictest0-21swapper/207:35:262
4023804994333,5cyclictest0-21swapper/109:45:191
4023804994317,5cyclictest39416-21sh12:30:211
402380499431,20cyclictest4065438-21ssh09:15:301
402380399437,34cyclictest0-21swapper/012:20:510
402380399434,37cyclictest4192352-21ssh11:42:370
402380399434,37cyclictest4192352-21ssh11:42:370
402380399433,36cyclictest753-21ntpd07:10:300
4023803994328,6cyclictest12350irq/32-eth010:20:350
402380399432,37cyclictest4048664-21ntpq08:30:230
402380399432,36cyclictest4030744-21ntpq07:30:260
402380399432,35cyclictest4039650-21ntpq08:00:230
402380399431,32cyclictest4077153-21ssh09:29:410
402380399431,30cyclictest4159078-21sh11:04:460
402380399431,30cyclictest4159078-21sh11:04:460
402380399431,2cyclictest4053199-21ntpq08:45:260
402380399431,11cyclictest4036636-21ntpq07:50:230
402380399430,33cyclictest4127022-21ssh10:26:310
402380599423,34cyclictest31043-21rm12:20:272
4023804994212,9cyclictest4125927-21ld10:25:271
402380399422,35cyclictest4033694-21ntpq07:40:250
402380399422,34cyclictest4113093-21ntpq10:10:280
402380399422,33cyclictest3138542-21cupsd09:00:230
4023803994218,16cyclictest12350irq/32-eth009:45:220
4023803994214,24cyclictest12350irq/32-eth010:15:230
402380399421,38cyclictest13717-21ntpq12:00:220
402380399421,37cyclictest4042754-21ntpq08:10:270
402380399421,36cyclictest4104454-21ntpq10:00:250
402380399421,36cyclictest4061029-21ntpq09:10:280
402380399421,36cyclictest4029141-21ntpq07:25:240
402380399421,36cyclictest4026182-21ntpq07:15:250
402380399421,10cyclictest1667-21ssh11:45:500
402380399421,10cyclictest1667-21ssh11:45:500
4023805994132,6cyclictest4046314-21systemd-run08:25:012
4023805994132,6cyclictest4046314-21systemd-run08:25:012
4023804994133,4cyclictest0-21swapper/109:40:231
4023804994132,6cyclictest421-21dbus-daemon10:25:011
402380499412,18cyclictest26626-21ssh12:15:241
402380499411,17cyclictest4169072-21ssh11:15:281
4023803994124,11cyclictest12350irq/32-eth012:25:240
402380399411,9cyclictest4188570-21ssh11:38:350
402380399411,9cyclictest4188570-21ssh11:38:350
402380399411,37cyclictest4132621-21ssh10:33:490
402380399411,35cyclictest4134410-21ntpq10:35:240
402380399411,35cyclictest4056155-21ntpq08:55:240
402380399410,4cyclictest4139804-21ssh10:41:190
4023805994030,6cyclictest4190929-21threads11:40:342
4023805994030,6cyclictest4190929-21threads11:40:342
4023805994028,9cyclictest1051-21mta-sts-daemon09:55:252
4023805994014,16cyclictest351ktimers/211:50:242
4023804994032,5cyclictest4059832-21latency_hist09:10:021
402380499402,18cyclictest18100-21ssh12:05:251
402380499402,18cyclictest18100-21ssh12:05:251
402380399402,34cyclictest43783-21ntpq12:35:250
402380399402,33cyclictest4041171-21ntpq08:05:250
402380399401,3cyclictest4090123-21ssh09:44:370
402380399401,36cyclictest8043-21ssh11:54:280
402380399401,36cyclictest4038146-21ntpq07:55:230
402380399401,34cyclictest4027685-21ntpq07:20:220
402380399401,23cyclictest24560-21ssh12:13:170
402380399401,23cyclictest24560-21ssh12:13:170
402380599394,32cyclictest4095966-21ssh09:50:302
4023805993932,3cyclictest0-21swapper/208:00:012
402380499394,31cyclictest4164743-21ssh11:10:291
402380499394,31cyclictest4164743-21ssh11:10:291
4023804993931,3cyclictest0-21swapper/110:50:291
402380499392,18cyclictest4190469-21ssh11:40:221
402380499392,18cyclictest4190469-21ssh11:40:221
402380499392,18cyclictest4074052-21ssh09:25:221
402380499391,17cyclictest30910-21ssh12:20:231
402380399392,34cyclictest4032254-21ntpq07:35:270
402380399391,34cyclictest4044183-21ntpq08:15:250
402380399390,3cyclictest4050189-21ntpq08:35:260
4023805993829,6cyclictest46960-21cron12:40:012
4023804993832,3cyclictest0-21swapper/110:15:261
4023804993832,3cyclictest0-21swapper/108:20:011
4023804993829,6cyclictest4038828-21latency_hist08:00:021
4023804993827,8cyclictest4159740-21aten_r2power_vo11:05:151
4023804993827,8cyclictest4159740-21aten_r2power_vo11:05:151
402380399381,34cyclictest4054761-21ntpq08:50:290
402380599379,18cyclictest1055-21mta-sts-daemon07:45:302
4023805993727,7cyclictest4056784-21idleruntime-cro09:00:012
4023805993727,5cyclictest0-21swapper/209:20:262
4023805993725,7cyclictest0-21swapper/212:20:002
402380599371,29cyclictest35347-21ssh12:25:312
402380499378,9cyclictest428-21mta-sts-daemon12:03:291
4023805993629,3cyclictest0-21swapper/212:00:022
4023805993629,3cyclictest0-21swapper/212:00:022
4023805993629,3cyclictest0-21swapper/211:35:292
4023805993629,3cyclictest0-21swapper/211:35:292
4023805993627,7cyclictest18638-21grep12:05:352
4023805993627,7cyclictest18638-21grep12:05:352
402380599362,26cyclictest4164625-21ssh11:10:242
402380599362,26cyclictest4164625-21ssh11:10:242
4023804993628,4cyclictest0-21swapper/110:40:261
402380499362,18cyclictest4151737-21sh10:55:261
402380499362,18cyclictest4151737-21sh10:55:261
402380399361,32cyclictest4023816-21munin-run07:10:020
402380399361,32cyclictest4023816-21munin-run07:10:020
402380599358,18cyclictest1054-21mta-sts-daemon08:40:272
4023805993530,2cyclictest0-21swapper/212:10:312
4023805993530,2cyclictest0-21swapper/212:10:312
4023805993528,4cyclictest1056-21mta-sts-daemon09:45:242
4023805993527,5cyclictest4117938-21unixbench_singl10:15:362
4023805993526,6cyclictest4034210-21grep07:40:352
402380599352,27cyclictest4138832-21ssh10:40:282
402380599352,20cyclictest659-21snmpd07:30:272
4023805993423,8cyclictest4053132-21ntp_kernel_err08:45:232
402380599342,25cyclictest4168914-21ssh11:15:232
4023805993421,8cyclictest548-21gdbus10:35:252
402380599341,25cyclictest4074261-21ssh09:25:292
402380599332,25cyclictest846-21ssh11:45:242
402380599332,25cyclictest846-21ssh11:45:242
4023804993327,3cyclictest0-21swapper/107:25:011
4023804993325,5cyclictest4029809-21systemd-run07:30:011
4023805993224,5cyclictest39216-21wc12:30:192
402380599322,24cyclictest4108795-21ssh10:05:272
402380599321,23cyclictest4078434-21ssh09:30:222
402380499326,15cyclictest1054-21mta-sts-daemon08:45:281
4023805993124,4cyclictest4040872-21if_err_wlan008:05:192
4023805993121,8cyclictest4154889-21sendmail11:00:012
4023805993121,8cyclictest4154889-21sendmail11:00:012
402380599311,24cyclictest4160366-21ssh11:05:272
402380599311,24cyclictest4160366-21ssh11:05:272
4023804993125,3cyclictest0-21swapper/107:50:301
4023804993123,5cyclictest4033309-21fschecks_count07:40:171
4023804993123,4cyclictest0-21swapper/108:25:231
4023804993114,12cyclictest3138547-21cups-browsed08:50:291
402380599302,25cyclictest4112986-21ssh10:10:242
4023805993022,5cyclictest4059811-21systemd-run09:10:012
4023805993019,8cyclictest4147106-21latency10:50:192
4023805993018,8cyclictest3138547-21cups-browsed07:50:302
4023804993022,5cyclictest4026921-21latency_hist07:20:021
4023804993021,6cyclictest261-21systemd-journal07:40:011
4023805992923,3cyclictest0-21swapper/207:30:012
4023805992922,4cyclictest0-21swapper/207:20:002
402380599291,5cyclictest171rcu_preempt08:15:242
4023804992923,3cyclictest0-21swapper/111:50:021
4023804992923,3cyclictest0-21swapper/111:50:021
4023805992822,3cyclictest0-21swapper/209:05:012
4023805992820,5cyclictest3138547-21cups-browsed11:21:182
4023805992820,5cyclictest1-21systemd08:35:022
4023805992819,4cyclictest0-21swapper/208:55:012
402380599281,22cyclictest4130071-21sh10:30:222
4023804992819,6cyclictest4051868-21systemctl08:40:291
4023804992810,12cyclictest421-21dbus-daemon08:00:241
4023805992720,4cyclictest4039091-21aten_r2power_en08:00:132
4023805992719,5cyclictest1-21systemd08:40:022
402380499272,22cyclictest421-21dbus-daemon09:00:231
4023804992718,6cyclictest420-21avahi-daemon07:45:201
4023805992617,7cyclictest1051-21mta-sts-daemon08:27:432
402380499263,21cyclictest3138547-21cups-browsed07:30:291
4023804992620,3cyclictest0-21swapper/109:10:211
4023804992619,4cyclictest1056-21mta-sts-daemon08:06:591
4023804992518,3cyclictest0-21swapper/107:10:301
4023804992516,6cyclictest3138547-21cups-browsed08:36:331
4023805992417,5cyclictest4023802-21cyclictest07:15:002
402380499243,16cyclictest4045850-21ps08:20:301
402380499243,16cyclictest4045850-21ps08:20:301
4023804992112,6cyclictest4023815-21systemd-run07:10:021
4023804992112,6cyclictest4023815-21systemd-run07:10:021
402380699202,10cyclictest0-21swapper/312:15:283
402380599198,8cyclictest421-21dbus-daemon07:10:022
402380599198,8cyclictest421-21dbus-daemon07:10:022
402380699182,8cyclictest0-21swapper/310:25:213
402380699182,10cyclictest0-21swapper/309:20:233
402380699182,10cyclictest0-21swapper/308:55:263
402380699181,11cyclictest0-21swapper/311:30:073
402380699181,10cyclictest0-21swapper/310:45:303
402380699174,8cyclictest0-21swapper/309:15:013
402380699173,9cyclictest0-21swapper/311:20:223
402380699173,8cyclictest0-21swapper/311:10:013
402380699173,8cyclictest0-21swapper/311:10:013
402380699172,9cyclictest0-21swapper/311:30:033
402380699172,10cyclictest0-21swapper/310:20:013
402380699163,8cyclictest0-21swapper/312:05:263
402380699163,8cyclictest0-21swapper/312:05:263
402380699163,7cyclictest0-21swapper/312:10:253
402380699163,7cyclictest0-21swapper/312:10:253
402380699163,7cyclictest0-21swapper/307:15:003
402380699162,8cyclictest0-21swapper/312:20:293
402380699162,8cyclictest0-21swapper/311:50:283
402380699162,8cyclictest0-21swapper/310:20:283
402380699162,8cyclictest0-21swapper/309:40:223
402380699162,8cyclictest0-21swapper/309:35:223
402380699162,8cyclictest0-21swapper/309:35:223
402380699162,8cyclictest0-21swapper/309:25:223
402380699161,9cyclictest0-21swapper/312:25:313
402380699161,9cyclictest0-21swapper/311:00:223
402380699161,9cyclictest0-21swapper/311:00:223
402380699161,7cyclictest0-21swapper/308:40:263
402380699161,7cyclictest0-21swapper/308:35:263
402380699161,6cyclictest0-21swapper/307:55:243
402380699161,6cyclictest0-21swapper/307:25:243
402380699161,10cyclictest0-21swapper/309:15:313
402380699153,8cyclictest0-21swapper/311:15:133
402380699153,7cyclictest0-21swapper/311:10:253
402380699153,7cyclictest0-21swapper/311:10:253
402380699152,9cyclictest0-21swapper/312:30:293
402380699152,9cyclictest0-21swapper/310:35:243
402380699152,8cyclictest0-21swapper/310:40:223
402380699152,8cyclictest0-21swapper/308:00:243
402380699152,7cyclictest0-21swapper/311:55:193
402380699152,7cyclictest0-21swapper/311:55:193
402380699152,6cyclictest0-21swapper/308:25:263
402380699151,9cyclictest0-21swapper/311:40:223
402380699151,9cyclictest0-21swapper/311:40:223
402380699151,8cyclictest0-21swapper/310:10:243
402380699151,8cyclictest0-21swapper/309:45:233
402380699151,7cyclictest0-21swapper/310:00:183
402380699151,7cyclictest0-21swapper/308:45:273
402380699151,7cyclictest0-21swapper/308:15:233
402380699151,10cyclictest0-21swapper/312:35:353
402380699151,10cyclictest0-21swapper/308:30:243
402380699150,6cyclictest0-21swapper/307:15:223
402380699143,7cyclictest0-21swapper/307:35:263
402380699142,8cyclictest0-21swapper/310:30:253
402380699142,7cyclictest0-21swapper/312:00:133
402380699141,9cyclictest0-21swapper/310:05:183
402380699141,8cyclictest0-21swapper/309:30:233
402380699141,7cyclictest0-21swapper/308:05:313
402380699141,7cyclictest0-21swapper/307:40:243
402380699141,10cyclictest0-21swapper/311:45:213
402380699141,10cyclictest0-21swapper/311:45:213
402380699132,7cyclictest0-21swapper/311:35:193
402380699132,7cyclictest0-21swapper/311:35:193
402380699132,7cyclictest0-21swapper/309:10:013
402380699132,5cyclictest0-21swapper/307:30:223
402380699131,9cyclictest0-21swapper/309:55:113
402380699131,8cyclictest0-21swapper/309:50:223
402380699131,7cyclictest0-21swapper/310:55:213
402380699131,7cyclictest0-21swapper/310:55:213
402380699131,7cyclictest0-21swapper/310:50:133
402380699131,7cyclictest0-21swapper/307:50:303
402380699131,6cyclictest0-21swapper/308:20:233
402380699131,6cyclictest0-21swapper/308:20:233
402380699130,7cyclictest0-21swapper/307:20:213
402380699123,5cyclictest0-21swapper/309:00:233
402380699121,6cyclictest0-21swapper/308:10:223
402380699112,6cyclictest0-21swapper/307:45:203
402380699111,7cyclictest0-21swapper/308:52:443
40238069991,4cyclictest0-21swapper/307:10:023
40238069991,4cyclictest0-21swapper/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional