You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-07 - 22:45

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Tue Jul 07, 2026 12:43:20)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
4033627995435,15cyclictest4148460-21latency_hist11:20:021
4033626995039,6cyclictest4125272-21sshd10:40:320
4033627994927,18cyclictest1000-21mta-sts-daemon11:05:351
4033627994927,18cyclictest1000-21mta-sts-daemon11:05:351
4033626994839,6cyclictest3232609-21cups-browsed07:10:450
4033628994738,5cyclictest4060695-21systemd-run08:40:012
403362799468,20cyclictest4062162-21latency_hist08:45:031
4033626994636,6cyclictest4069694-21systemd09:10:020
4033627994522,18cyclictest0-21swapper/110:30:391
4033628994434,6cyclictest420-21avahi-daemon12:05:012
4033628994434,6cyclictest420-21avahi-daemon12:05:012
4033627994434,6cyclictest420-21avahi-daemon10:18:021
4033627994423,18cyclictest4059613-21cpuspeed08:35:281
4033626994429,13cyclictest0-21swapper/011:00:010
4033626994427,11cyclictest151ktimers/010:35:440
4033628994325,15cyclictest421-21dbus-daemon12:15:012
4033628994319,21cyclictest0-21swapper/209:25:492
4033627994331,7cyclictest0-21swapper/109:15:011
403362799432,36cyclictest4049548-21ntpq08:00:371
4033627994313,15cyclictest4069663-21diskmemload09:17:321
403362799431,25cyclictest4069663-21diskmemload11:00:071
403362799431,25cyclictest4069663-21diskmemload11:00:071
4033626994335,5cyclictest4160859-21aten_r2power_po11:40:270
403362699430,32cyclictest151ktimers/011:30:420
4033628994222,17cyclictest0-21swapper/210:55:072
4033627994234,5cyclictest1-21systemd12:17:321
403362799422,34cyclictest4039017-21ntpq07:25:361
403362799421,36cyclictest4043524-21ntpq07:40:371
4033626994230,4cyclictest4068176-21idleruntime-cro09:05:010
403362699422,34cyclictest4170478-21ssh11:55:410
403362899413,27cyclictest4116340-21ssh10:25:362
4033628994127,11cyclictest0-21swapper/210:20:012
403362899412,5cyclictest4046575-21ntpq07:50:372
4033627994131,6cyclictest420-21avahi-daemon11:42:211
4033627994126,13cyclictest4033625-21cyclictest10:20:401
4033627994124,13cyclictest4128247-21latency10:45:321
403362799412,34cyclictest4143502-21ntpq11:10:401
403362799412,34cyclictest4143502-21ntpq11:10:401
4033627994116,22cyclictest4130796-21aten_r2power_cu10:50:251
403362799411,36cyclictest4179517-21ntpq12:10:451
403362799411,36cyclictest271ktimers/107:35:391
403362799411,34cyclictest4063145-21ntpq08:45:431
4033626994133,5cyclictest4106668-21aten_r2power_fr10:10:290
4033626994130,8cyclictest421-21dbus-daemon07:35:010
4033626994127,9cyclictest151ktimers/007:50:360
4033626994126,12cyclictest4179399-21ntp_kernel_pll_12:10:400
4033626994125,3cyclictest0-21swapper/010:20:380
4033626994124,8cyclictest12650irq/32-eth011:05:400
4033626994124,8cyclictest12650irq/32-eth011:05:400
4033628994032,5cyclictest4130428-21cron10:50:012
4033628994032,5cyclictest4059156-21cron08:35:002
4033628994032,5cyclictest3329207-21munin-node11:25:482
403362899402,4cyclictest4155383-21ntpq11:30:362
403362899401,11cyclictest4064525-21ntpq08:50:372
4033628994010,27cyclictest0-21swapper/208:05:422
4033627994032,5cyclictest0-21swapper/109:10:011
4033627994032,5cyclictest0-21swapper/108:00:011
4033627994030,7cyclictest4170137-21kernelversion11:55:331
4033627994024,12cyclictest0-21swapper/112:20:301
4033627994016,21cyclictest3232607-21cupsd09:49:531
4033627994014,20cyclictest0-21swapper/110:10:461
403362799401,36cyclictest4103835-21/usr/sbin/munin10:05:291
403362799401,35cyclictest4067575-21ntpq09:00:401
403362799401,35cyclictest4051085-21ntpq08:05:391
403362799401,33cyclictest4055591-21ntpq08:20:401
403362799401,33cyclictest4046151-21df_inode07:50:281
4033626994030,6cyclictest3232609-21cups-browsed10:53:360
403362899393,9cyclictest4170369-21ntpq11:55:372
403362899393,8cyclictest4104268-21ssh10:05:382
403362899392,6cyclictest4049648-21ntpq08:00:432
403362899392,5cyclictest4040637-21ntpq07:30:452
4033628993925,10cyclictest4143646-21processes11:10:442
4033628993925,10cyclictest4143646-21processes11:10:442
4033628993923,12cyclictest0-21swapper/207:35:372
403362899392,13cyclictest4140518-21ntpq11:05:402
403362899392,13cyclictest4140518-21ntpq11:05:402
4033628993918,18cyclictest0-21swapper/210:20:512
4033628993917,19cyclictest4136897-21aten_r2power_vo11:00:272
4033628993917,19cyclictest4136897-21aten_r2power_vo11:00:272
4033628993917,19cyclictest0-21swapper/209:47:412
4033628993914,22cyclictest4087989-21idleruntime-cro09:40:002
403362899391,13cyclictest4089602-21grep09:40:492
403362899391,12cyclictest4098299-21ntpq09:55:432
403362899390,11cyclictest4177832-21ssh12:08:232
403362799396,28cyclictest4149094-21ls11:20:311
403362799393,30cyclictest4086053-21ntpq09:35:391
403362799393,30cyclictest4080005-21ntpq09:25:421
4033627993930,6cyclictest4091169-21latency_hist09:45:021
403362799391,35cyclictest4064616-21ntpq08:50:411
403362799391,34cyclictest4054637-21sshd08:19:311
403362799391,33cyclictest4099673-21ssh09:58:321
403362799391,33cyclictest4065732-21/usr/sbin/munin08:55:311
403362799391,23cyclictest4153710-21diskmemload11:27:561
4033626993931,5cyclictest421-21dbus-daemon10:10:020
4033626993929,6cyclictest420-21avahi-daemon12:01:330
4033626993929,6cyclictest420-21avahi-daemon12:01:330
403362699392,29cyclictest151ktimers/007:15:400
403362899388,3cyclictest0-21swapper/211:20:372
403362899388,27cyclictest4162478-21sh11:42:102
403362899385,29cyclictest4070792-21ssh09:10:402
403362899383,7cyclictest4188497-21ntpq12:25:422
403362899382,8cyclictest4146492-21ntpq11:15:402
403362899382,6cyclictest4073804-21ntpq09:15:392
403362899382,6cyclictest4036085-21ntpq07:15:402
4033628993822,13cyclictest0-21swapper/211:40:012
4033628993820,15cyclictest0-21swapper/212:20:452
4033628993818,17cyclictest0-21swapper/208:50:022
403362899381,7cyclictest4043765-21/usr/sbin/munin07:40:492
4033628993817,17cyclictest0-21swapper/210:13:372
4033628993816,19cyclictest1001-21mta-sts-daemon10:38:382
403362899381,17cyclictest4055725-21ps08:20:452
403362899381,13cyclictest4181953-21df12:15:312
403362899380,13cyclictest4126660-21ssh10:42:392
4033627993833,3cyclictest0-21swapper/111:45:401
4033627993830,5cyclictest4134100-21fschecks_time10:55:371
403362799382,33cyclictest4173379-21ntpq12:00:371
403362799382,33cyclictest4173379-21ntpq12:00:371
403362799382,32cyclictest4057088-21ntpq08:25:391
403362799382,32cyclictest4057088-21ntpq08:25:391
403362799381,33cyclictest4167359-21ntpq11:50:371
403362799381,33cyclictest4158514-21ntpq11:35:401
403362799381,33cyclictest4058260-21/usr/sbin/munin08:30:331
403362799381,33cyclictest4052614-21ntpq08:10:431
4033626993831,4cyclictest4184356-21ssh12:20:020
4033626993830,5cyclictest4075804-21sendmail09:20:010
4033626993828,6cyclictest4152659-21sendmail_mailqu11:25:450
4033628993728,6cyclictest3232609-21cups-browsed09:31:302
4033628993728,6cyclictest3232609-21cups-browsed09:31:302
4033628993728,5cyclictest4133870-21aten_r2power_fr10:55:282
403362899372,5cyclictest4067566-21ntpq09:00:402
403362899371,9cyclictest4037598-21ntpq07:20:412
403362899371,8cyclictest4039034-21ntpq07:25:372
403362899371,7cyclictest4164542-21ntpq11:45:462
403362899371,7cyclictest4065376-21munin-node08:55:252
4033628993715,18cyclictest4166748-21basename11:50:282
4033628993713,21cyclictest0-21swapper/212:30:342
403362899371,11cyclictest4076960-21ntpq09:20:422
403362899371,11cyclictest4054013-21ntpq08:15:352
403362899371,11cyclictest315-21ntpq12:35:352
403362899371,10cyclictest4052614-21ntpq08:10:432
403362899371,10cyclictest265-21systemd-journal10:00:322
4033627993730,3cyclictest0-21swapper/112:40:011
403362799372,31cyclictest4040535-21ntpq07:30:401
403362799372,31cyclictest4036075-21ntpq07:15:391
403362799372,27cyclictest4082944-21ssh09:30:371
403362799372,27cyclictest4082944-21ssh09:30:371
403362799371,33cyclictest4122377-21ntpq10:35:361
403362799371,33cyclictest4044861-21latency07:45:361
403362799371,33cyclictest4035127-21sshd07:11:201
403362799371,31cyclictest4127568-21latency_hist10:45:031
403362699374,28cyclictest4110468-21ssh10:15:460
403362699373,28cyclictest665-21snmpd08:15:400
4033626993728,5cyclictest421-21dbus-daemon10:33:480
403362699372,28cyclictest4158418-21ssh11:35:360
403362899365,2cyclictest0-21swapper/208:25:412
403362899365,2cyclictest0-21swapper/208:25:412
4033628993628,5cyclictest4048651-21idleruntime-cro08:00:012
403362899362,7cyclictest4045010-21ntpq07:45:382
403362899362,5cyclictest4033891-21/usr/sbin/munin07:10:522
403362899362,10cyclictest4118782-21aten_r2power_fr10:30:282
403362899361,8cyclictest4060895-21/usr/sbin/munin08:40:512
403362899361,7cyclictest4068666-21/usr/sbin/munin09:05:302
403362899361,12cyclictest4096026-21ssh09:51:352
403362799362,30cyclictest4037636-21ntpq07:20:421
403362799362,23cyclictest4188380-21ssh12:25:371
403362799361,32cyclictest4116315-21ntpq10:25:351
403362799361,31cyclictest4176522-21ntp_states12:05:431
403362799361,31cyclictest4095684-21/usr/sbin/munin09:50:501
403362799361,30cyclictest4191348-21ntpq12:30:371
403362799360,21cyclictest4078536-21diskmemload09:24:061
4033626993627,7cyclictest4060687-21sh08:40:010
4033626993627,6cyclictest4084966-21ssh09:35:020
4033626993627,6cyclictest4084966-21ssh09:35:020
4033626993627,6cyclictest12650irq/32-eth011:45:430
4033626993624,9cyclictest4176959-21unixbench_multi12:05:480
4033626993621,13cyclictest4101587-21sh10:00:510
4033626993621,10cyclictest12650irq/32-eth008:55:430
403362799351,31cyclictest4033639-21pluginstate07:10:021
403362799351,29cyclictest4101279-21ntpq10:00:421
403362799350,31cyclictest4154609-21ssh11:30:071
4033626993530,2cyclictest0-21swapper/012:40:010
403362699344,25cyclictest4089060-21ssh09:40:360
4033626993429,2cyclictest0-21swapper/012:25:010
4033626993427,4cyclictest4085811-21latency09:35:330
4033626993426,5cyclictest1-21systemd09:50:010
4033626993424,7cyclictest12750irq/33-eth009:20:420
4033626993327,3cyclictest0-21swapper/011:20:010
4033626993326,4cyclictest4166806-21aten_r2power_fr11:50:280
4033626993325,6cyclictest4136675-21sshd11:00:130
4033626993325,6cyclictest4136675-21sshd11:00:130
4033626993325,5cyclictest420-21avahi-daemon08:20:420
4033626993325,4cyclictest4142920-21aten2.4-expect11:10:280
4033626993325,4cyclictest4142920-21aten2.4-expect11:10:280
4033626993315,14cyclictest151ktimers/007:40:430
4033626993225,3cyclictest0-21swapper/012:25:470
403362699312,23cyclictest3232609-21cups-browsed07:55:430
4033626993110,14cyclictest151ktimers/008:05:360
403362899301,9cyclictest4033639-21munin-run07:10:022
4033626993025,3cyclictest0-21swapper/008:30:000
4033626993025,3cyclictest0-21swapper/008:30:000
4033626993023,3cyclictest0-21swapper/009:25:310
4033626993022,6cyclictest4192845-21sshd12:33:340
4033626993019,7cyclictest12650irq/32-eth011:20:370
4033626993017,3cyclictest0-21swapper/008:45:280
4033626993016,3cyclictest171rcu_preempt09:53:010
4033626992923,3cyclictest1002-21mta-sts-daemon08:50:410
4033626992921,3cyclictest0-21swapper/009:10:350
4033626992819,6cyclictest4039681-21sh07:30:010
4033626992723,2cyclictest0-21swapper/007:25:010
4033626992721,3cyclictest0-21swapper/010:48:170
403362699263,18cyclictest4116318-21ssh10:25:350
4033626992620,4cyclictest0-21swapper/010:00:010
4033626992619,4cyclictest4042644-21cron07:40:010
403362699255,14cyclictest750-21ntpd08:30:390
4033626992517,6cyclictest4033625-21cyclictest08:45:020
4033626992415,7cyclictest4033584-21cut07:10:040
403362699232,15cyclictest4052512-21ntpq08:10:380
4033626992317,4cyclictest4044394-21/usr/sbin/munin07:45:380
403362699211,17cyclictest4049556-21ntpq08:00:380
403362999202,11cyclictest0-21swapper/310:40:423
403362999181,9cyclictest0-21swapper/308:20:383
403362999181,8cyclictest0-21swapper/309:20:423
403362999173,8cyclictest0-21swapper/312:30:403
403362999172,8cyclictest0-21swapper/311:40:363
403362999172,7cyclictest0-21swapper/310:00:393
403362999172,7cyclictest0-21swapper/308:10:423
403362999163,7cyclictest0-21swapper/311:05:373
403362999163,7cyclictest0-21swapper/311:05:373
403362999163,7cyclictest0-21swapper/310:05:353
403362999162,7cyclictest0-21swapper/309:25:393
403362999162,10cyclictest0-21swapper/309:10:373
403362999161,7cyclictest0-21swapper/309:10:023
403362999153,7cyclictest0-21swapper/312:20:333
403362999153,6cyclictest0-21swapper/310:50:373
403362999152,9cyclictest0-21swapper/312:05:443
403362999152,8cyclictest0-21swapper/311:50:403
403362999152,8cyclictest0-21swapper/311:25:363
403362999152,8cyclictest0-21swapper/310:46:493
403362999152,8cyclictest0-21swapper/310:30:393
403362999151,9cyclictest0-21swapper/309:30:323
403362999151,9cyclictest0-21swapper/309:30:323
403362999151,8cyclictest0-21swapper/307:15:363
403362999151,7cyclictest0-21swapper/307:40:413
403362999151,7cyclictest0-21swapper/307:20:413
403362999151,6cyclictest0-21swapper/307:10:233
403362999146,6cyclictest0-21swapper/312:25:323
403362999144,4cyclictest0-21swapper/308:00:373
403362999143,7cyclictest0-21swapper/311:30:323
403362999143,7cyclictest0-21swapper/310:15:523
403362999143,6cyclictest0-21swapper/310:20:373
403362999143,5cyclictest0-21swapper/308:25:383
403362999143,5cyclictest0-21swapper/308:25:383
403362999142,8cyclictest0-21swapper/312:40:013
403362999142,8cyclictest0-21swapper/309:50:363
403362999142,7cyclictest0-21swapper/312:10:383
403362999142,7cyclictest0-21swapper/309:55:373
403362999142,7cyclictest0-21swapper/308:00:013
403362999142,7cyclictest0-21swapper/307:35:323
403362999141,8cyclictest0-21swapper/311:45:283
403362999141,8cyclictest0-21swapper/311:35:363
403362999141,8cyclictest0-21swapper/311:00:363
403362999141,8cyclictest0-21swapper/311:00:363
403362999141,8cyclictest0-21swapper/310:10:043
403362999141,8cyclictest0-21swapper/309:45:423
403362999141,8cyclictest0-21swapper/309:15:403
403362999141,7cyclictest0-21swapper/311:10:393
403362999141,7cyclictest0-21swapper/311:10:393
403362999141,7cyclictest0-21swapper/308:35:383
403362999141,7cyclictest0-21swapper/307:25:403
403362999141,6cyclictest0-21swapper/307:50:293
403362999133,6cyclictest0-21swapper/312:15:383
403362999132,7cyclictest0-21swapper/310:35:083
403362999132,6cyclictest0-21swapper/311:20:283
403362999132,6cyclictest0-21swapper/308:05:363
403362999131,9cyclictest0-21swapper/311:55:333
403362999131,7cyclictest0-21swapper/310:25:313
403362999131,7cyclictest0-21swapper/308:40:403
403362999131,7cyclictest0-21swapper/308:15:363
403362999131,6cyclictest0-21swapper/308:30:383
403362999131,5cyclictest0-21swapper/309:00:033
403362999123,5cyclictest0-21swapper/309:40:383
403362999123,5cyclictest0-21swapper/308:45:373
403362999122,6cyclictest0-21swapper/312:00:283
403362999122,6cyclictest0-21swapper/312:00:283
403362999122,6cyclictest0-21swapper/309:35:273
403362999121,7cyclictest0-21swapper/311:15:273
403362999121,6cyclictest0-21swapper/310:55:273
403362999121,6cyclictest0-21swapper/309:00:373
403362999114,5cyclictest0-21swapper/307:30:473
40336299994,3cyclictest0-21swapper/307:45:393
40336299990,5cyclictest0-21swapper/308:50:363
40336299981,4cyclictest0-21swapper/307:10:043
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional