You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-12 - 11:36

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Fri Dec 12, 2025 00:39:35)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
672811996223,10cyclictest12550irq/33-eth000:09:320
672811995748,6cyclictest727018-21idleruntime-cro21:35:000
672811995748,6cyclictest727018-21idleruntime-cro21:35:000
672812995646,6cyclictest453-21systemd-logind21:55:011
672813995143,5cyclictest744791-21idleruntime-cro22:00:012
672813995041,6cyclictest858888-21latency_hist00:40:022
672812995038,9cyclictest758194-21sh22:19:311
67281299484,39cyclictest779511-21ssh22:49:271
672811994818,23cyclictest751177-21rm22:09:350
672813994737,5cyclictest0-21swapper/222:34:332
672812994738,6cyclictest699790-21munin-run20:40:001
672811994732,11cyclictest266-21systemd-journal23:39:190
672811994717,6cyclictest171rcu_preempt22:39:250
672811994538,4cyclictest743297-21aten2.4-expect21:59:170
672812994435,6cyclictest762140-21sed22:24:381
672812994435,5cyclictest0-21swapper/121:44:181
672812994434,7cyclictest820060-21latency_hist23:45:021
672812994334,6cyclictest690815-21systemd-run20:10:011
672812994310,21cyclictest851187-21ssh00:29:301
672811994333,6cyclictest0-21swapper/023:49:170
672813994234,5cyclictest819863-21munin-plugin-st23:45:012
672813994232,4cyclictest0-21swapper/222:59:322
67281399421,4cyclictest171rcu_preempt23:34:272
67281399421,4cyclictest171rcu_preempt23:34:272
672812994230,6cyclictest0-21swapper/121:49:251
672811994235,4cyclictest708801-21diskmemload22:44:310
672811994235,4cyclictest681830-21kworker/u8:9-xprtiod19:55:020
672813994132,6cyclictest775118-21aten_r2power_fr22:44:142
672812994132,5cyclictest812647-21munin-plugin-st23:35:011
672812994132,5cyclictest812647-21munin-plugin-st23:35:011
672811994134,3cyclictest0-21swapper/021:10:010
672811994133,5cyclictest851287-21proc_pri00:29:340
672811994133,5cyclictest797702-21mailstats23:14:340
672811994121,14cyclictest12450irq/32-eth023:09:240
672812994032,5cyclictest0-21swapper/121:59:291
672812994031,5cyclictest474-21in:imuxsock00:35:011
672812994030,6cyclictest730519-21cron21:40:001
672812994030,5cyclictest0-21swapper/123:50:011
672812994030,5cyclictest0-21swapper/121:30:011
672812994018,11cyclictest708801-21diskmemload00:39:261
672811994032,5cyclictest826262-21ssh23:54:260
672813993931,5cyclictest693798-21munin-plugin-st20:20:012
672812993929,6cyclictest765641-21unixbench-2d22:29:371
672812993928,7cyclictest1-21systemd23:00:021
67281299392,31cyclictest830875-21idleruntime-cro00:00:011
672812993911,6cyclictest28-21ksoftirqd/121:24:331
672812993911,6cyclictest28-21ksoftirqd/121:24:331
672811993929,7cyclictest682360-21fschecks_time19:44:170
672811993925,11cyclictest748107-21unixbench_multi22:04:380
672813993828,7cyclictest422-21dbus-daemon21:30:012
67281299383,24cyclictest751076-21ssh22:09:311
672812993830,5cyclictest845074-21idleruntime-cro00:20:011
672812993829,4cyclictest0-21swapper/122:44:331
672812993828,4cyclictest0-21swapper/100:15:011
672812993827,5cyclictest0-21swapper/121:13:271
672812993813,16cyclictest422-21dbus-daemon20:34:221
672812993813,16cyclictest422-21dbus-daemon20:34:221
672812993812,6cyclictest28-21ksoftirqd/122:39:231
672811993829,3cyclictest0-21swapper/000:34:320
672813993728,6cyclictest422-21dbus-daemon21:20:012
672813993728,6cyclictest422-21dbus-daemon21:20:012
672813993728,4cyclictest0-21swapper/200:04:242
672813993728,4cyclictest0-21swapper/200:04:242
672813993727,5cyclictest0-21swapper/200:14:282
67281299374,24cyclictest783144-21ssh22:54:311
672812993725,7cyclictest754732-21ssh22:14:301
672811993730,4cyclictest765982-21ssh22:30:010
672811993724,10cyclictest0-21swapper/000:40:000
672811993722,4cyclictest819235-21sendmail_mailqu23:44:320
672813993628,5cyclictest719973-21latency_hist21:25:022
672813993628,5cyclictest719973-21latency_hist21:25:022
672813993628,5cyclictest708701-21tail21:09:402
672813993628,5cyclictest705831-21systemd-run21:00:022
672813993628,4cyclictest0-21swapper/221:14:252
67281299363,25cyclictest830973-21cups-browsed00:24:271
672812993629,4cyclictest695272-21unixbench_singl20:24:391
672812993629,3cyclictest0-21swapper/123:20:011
672812993628,4cyclictest0-21swapper/123:24:161
672812993627,6cyclictest704229-21unixbench_singl20:54:361
672812993627,6cyclictest421-21avahi-daemon19:15:011
672812993623,8cyclictest816243-21cut23:40:011
672812993622,9cyclictest726253-21rm21:34:291
672812993622,9cyclictest726253-21rm21:34:291
672811993628,5cyclictest755101-21unixbench-2d22:14:360
672811993625,7cyclictest422-21dbus-daemon22:20:150
67281399353,23cyclictest854684-21ssh00:34:312
672813993529,3cyclictest0-21swapper/222:05:012
672813993523,9cyclictest829828-21missed_timers23:59:222
672813993523,9cyclictest779810-21timerandwakeup22:49:332
67281299355,12cyclictest681336-21ps19:39:281
67281299355,12cyclictest681336-21ps19:39:281
672812993528,4cyclictest748147-21unixbench_singl22:04:381
672812993527,5cyclictest836962-21sort00:09:181
672812993527,4cyclictest0-21swapper/123:54:251
672812993522,5cyclictest957-21mta-sts-daemon23:07:031
672812993512,5cyclictest28-21ksoftirqd/100:04:241
672812993512,5cyclictest28-21ksoftirqd/100:04:241
672811993528,5cyclictest708801-21diskmemload22:59:380
672811993528,4cyclictest715829-21sh21:19:400
672811993528,4cyclictest715829-21sh21:19:400
672811993523,9cyclictest266-21systemd-journal21:51:560
672813993426,4cyclictest0-21swapper/222:39:222
672813993425,4cyclictest0-21swapper/223:24:302
672812993427,4cyclictest807813-21fschecks_count23:29:201
672812993427,3cyclictest0-21swapper/123:04:321
672812993426,5cyclictest701322-21kworker/u8:320:45:011
672812993412,5cyclictest685692-21ntpq19:54:241
672811993426,4cyclictest730710-21latency_hist21:40:020
672811993424,7cyclictest722466-21latency21:29:290
672813993325,5cyclictest797015-21fschecks_count23:14:192
672813993325,4cyclictest0-21swapper/221:39:292
672813993324,4cyclictest0-21swapper/220:04:262
67281399332,23cyclictest740358-21sh21:54:282
67281299337,15cyclictest768808-21ssh22:34:321
67281299336,7cyclictest682232-21aten2.4-expect19:44:141
67281299335,17cyclictest422-21dbus-daemon19:29:241
67281299332,25cyclictest716258-21munin-run21:20:011
67281299332,25cyclictest716258-21munin-run21:20:011
672812993310,4cyclictest28-21ksoftirqd/120:14:141
672811993327,4cyclictest847587-21missed_timers00:24:240
672811993327,3cyclictest0-21swapper/021:14:390
672811993326,4cyclictest779993-21unixbench_multi22:49:340
67281199332,25cyclictest804647-21ssh23:24:280
67281199332,23cyclictest811898-21ssh23:34:290
67281199332,23cyclictest811898-21ssh23:34:290
672813993225,4cyclictest0-21swapper/220:40:002
672813993224,5cyclictest422-21dbus-daemon20:55:022
67281299329,4cyclictest28-21ksoftirqd/119:19:251
672812993227,2cyclictest0-21swapper/119:10:011
672812993211,5cyclictest28-21ksoftirqd/121:04:241
672812993210,6cyclictest28-21ksoftirqd/119:59:321
672811993227,2cyclictest0-21swapper/023:20:000
672811993226,4cyclictest680242-21unixbench_singl19:34:350
672811993226,4cyclictest680242-21unixbench_singl19:34:350
672811993226,4cyclictest0-21swapper/000:00:030
672813993125,3cyclictest0-21swapper/219:40:012
672813993125,3cyclictest0-21swapper/219:40:012
672813993124,3cyclictest0-21swapper/223:55:012
672813993124,3cyclictest0-21swapper/200:19:332
672813993123,5cyclictest955-21mta-sts-daemon21:49:212
672813993123,5cyclictest675809-21idleruntime-cro19:20:012
672813993122,6cyclictest1-21systemd00:10:012
67281299316,8cyclictest688200-21aten2.4-expect20:04:121
672812993122,6cyclictest1994697-21sendmail-mta23:13:341
672812993121,7cyclictest680327-21latency_hist19:35:021
672812993121,7cyclictest680327-21latency_hist19:35:021
672812993119,8cyclictest955-21mta-sts-daemon19:49:221
67281199315,19cyclictest12450irq/32-eth020:04:210
672811993125,3cyclictest730575-21kworker/u8:13-xprtiod22:35:010
672811993123,5cyclictest422-21dbus-daemon21:24:290
672811993123,5cyclictest422-21dbus-daemon21:24:290
672811993123,5cyclictest2986655-21cups-browsed19:24:160
67281199312,24cyclictest831543-21kworker/u8:15+rpciod00:04:260
67281199312,24cyclictest831543-21kworker/u8:15+rpciod00:04:260
672811993121,7cyclictest690795-21cron20:10:010
672811993119,9cyclictest843540-21sh00:19:150
672813993023,4cyclictest809063-21kworker/u8:7-xprtiod23:40:012
672813993023,4cyclictest0-21swapper/222:14:282
672813993023,4cyclictest0-21swapper/200:24:142
672813993022,6cyclictest0-21swapper/223:20:022
672813993021,7cyclictest765446-21switchtime22:29:362
672813993021,6cyclictest687789-21idleruntime-cro20:00:012
67281399301,6cyclictest171rcu_preempt20:14:282
67281399301,19cyclictest708801-21diskmemload21:44:302
67281299303,10cyclictest707740-21grep21:09:191
672812993020,6cyclictest704838-21fschecks_time20:59:171
672811993020,7cyclictest674288-21cron19:15:010
672813992922,3cyclictest0-21swapper/222:24:302
67281399292,20cyclictest822557-21ssh23:49:232
672813992921,4cyclictest0-21swapper/221:34:162
672813992921,4cyclictest0-21swapper/221:34:162
672813992920,7cyclictest683105-21timerwakeupswit19:44:342
672813992919,7cyclictest751841-21latency_hist22:10:022
67281399291,21cyclictest851085-21ssh00:29:272
67281299297,5cyclictest261rcuc/120:49:311
67281299293,8cyclictest695730-21aten2.4-expect20:29:161
672812992923,3cyclictest0-21swapper/120:20:011
67281199294,11cyclictest708801-21diskmemload21:42:260
672811992923,3cyclictest0-21swapper/019:10:020
672811992922,5cyclictest705684-21tail20:59:360
672811992922,4cyclictest737694-21munin-plugin-st21:50:010
67281199292,21cyclictest783261-21ssh22:54:350
672811992921,6cyclictest695537-21kworker/u8:5-xprtiod20:35:010
672811992921,6cyclictest695537-21kworker/u8:5-xprtiod20:35:010
672811992921,5cyclictest675842-21systemd-run19:20:010
672811992921,5cyclictest474-21in:imuxsock19:50:010
672811992915,6cyclictest672810-21cyclictest22:19:110
672811992914,5cyclictest422-21dbus-daemon20:44:330
672813992821,4cyclictest957-21mta-sts-daemon23:05:022
672813992820,6cyclictest686032-21timerandwakeup19:54:342
672813992820,4cyclictest0-21swapper/222:54:172
672813992819,4cyclictest0-21swapper/219:29:292
67281299289,3cyclictest28-21ksoftirqd/119:24:171
672811992823,3cyclictest0-21swapper/020:50:020
672811992822,3cyclictest0-21swapper/000:14:400
672811992821,4cyclictest2986655-21cups-browsed23:04:360
672811992820,6cyclictest680965-21kernelversion19:39:180
672811992820,6cyclictest680965-21kernelversion19:39:180
672811992818,7cyclictest707298-21cron21:05:010
67281199280,17cyclictest807326-21kworker/0:1+events_power_efficient23:29:140
672813992720,4cyclictest957-21mta-sts-daemon20:32:332
672813992720,4cyclictest957-21mta-sts-daemon20:32:332
672813992720,4cyclictest794456-21unixbench_multi23:09:362
672813992720,3cyclictest0-21swapper/220:09:262
672813992719,5cyclictest421-21avahi-daemon20:49:142
672811992714,10cyclictest2986655-21cups-browsed20:14:230
672813992619,4cyclictest957-21mta-sts-daemon23:26:552
672813992619,4cyclictest757658-21sh22:19:182
672813992619,3cyclictest0-21swapper/219:24:312
672813992618,5cyclictest701230-21unixbench_multi20:44:362
672811992620,3cyclictest0-21swapper/020:40:000
672813992519,3cyclictest0-21swapper/219:15:012
672811992520,3cyclictest959-21mta-sts-daemon20:22:280
672811992520,2cyclictest0-21swapper/020:55:030
672811992519,3cyclictest955-21mta-sts-daemon20:19:340
672813992419,2cyclictest0-21swapper/219:50:012
672813992418,3cyclictest0-21swapper/221:01:112
672811992418,3cyclictest677600-21aten_r2power_cu19:29:120
672813992317,3cyclictest0-21swapper/220:30:012
672811992317,3cyclictest0-21swapper/020:00:020
67281199231,17cyclictest696221-21ntpq20:29:270
672813992216,3cyclictest0-21swapper/219:34:352
672813992216,3cyclictest0-21swapper/219:34:352
672813992215,4cyclictest695301-21cron20:25:012
672813991711,3cyclictest0-21swapper/219:10:012
67281499162,7cyclictest0-21swapper/300:19:363
67281499161,8cyclictest0-21swapper/322:59:323
67281499161,8cyclictest0-21swapper/321:34:323
67281499161,8cyclictest0-21swapper/321:34:323
67281499161,4cyclictest0-21swapper/322:09:353
67281499153,7cyclictest0-21swapper/300:00:013
67281499152,7cyclictest0-21swapper/322:24:303
67281499152,7cyclictest0-21swapper/322:19:313
67281499152,7cyclictest0-21swapper/300:29:283
67281499151,9cyclictest0-21swapper/320:34:223
67281499151,9cyclictest0-21swapper/320:34:223
67281499151,7cyclictest0-21swapper/321:09:283
67281499150,7cyclictest0-21swapper/319:39:233
67281499150,7cyclictest0-21swapper/319:39:233
67281499143,8cyclictest0-21swapper/323:54:233
67281499143,6cyclictest0-21swapper/321:14:343
67281499143,6cyclictest0-21swapper/300:34:313
67281499142,6cyclictest0-21swapper/322:29:263
67281499141,8cyclictest0-21swapper/321:39:283
67281499141,7cyclictest0-21swapper/323:39:243
67281499141,7cyclictest0-21swapper/322:54:273
67281499141,7cyclictest0-21swapper/321:29:313
67281499141,7cyclictest0-21swapper/320:44:263
67281499141,7cyclictest0-21swapper/300:39:283
67281499141,6cyclictest0-21swapper/320:39:263
67281499141,6cyclictest0-21swapper/319:14:223
67281499140,7cyclictest0-21swapper/319:34:283
67281499140,7cyclictest0-21swapper/319:34:283
67281499132,7cyclictest0-21swapper/323:47:193
67281499132,7cyclictest0-21swapper/323:04:173
67281499132,7cyclictest0-21swapper/321:59:353
67281499131,8cyclictest0-21swapper/322:04:373
67281499131,8cyclictest0-21swapper/321:54:283
67281499131,7cyclictest0-21swapper/323:44:253
67281499131,7cyclictest0-21swapper/323:24:343
67281499131,7cyclictest0-21swapper/322:44:283
67281499131,7cyclictest0-21swapper/322:34:223
67281499131,7cyclictest0-21swapper/319:59:263
67281499131,6cyclictest0-21swapper/323:19:163
67281499131,6cyclictest0-21swapper/321:04:243
67281499131,6cyclictest0-21swapper/320:19:253
67281499131,6cyclictest0-21swapper/320:14:223
67281499131,6cyclictest0-21swapper/300:24:263
67281499123,6cyclictest0-21swapper/300:09:253
67281499122,7cyclictest0-21swapper/300:12:193
67281499122,5cyclictest0-21swapper/323:28:193
67281499121,7cyclictest0-21swapper/323:34:293
67281499121,7cyclictest0-21swapper/323:34:293
67281499121,7cyclictest0-21swapper/323:12:173
67281499121,7cyclictest0-21swapper/323:09:233
67281499121,7cyclictest0-21swapper/322:49:233
67281499121,7cyclictest0-21swapper/322:39:263
67281499121,7cyclictest0-21swapper/320:10:013
67281499121,6cyclictest0-21swapper/321:19:263
67281499121,6cyclictest0-21swapper/321:19:263
67281499121,6cyclictest0-21swapper/319:49:273
67281499120,6cyclictest0-21swapper/320:24:243
67281499112,6cyclictest0-21swapper/321:24:193
67281499112,6cyclictest0-21swapper/321:24:193
67281499112,6cyclictest0-21swapper/300:01:193
67281499112,6cyclictest0-21swapper/300:01:193
67281499111,7cyclictest0-21swapper/321:49:203
67281499111,6cyclictest0-21swapper/322:14:143
67281499111,6cyclictest0-21swapper/321:40:113
67281499111,5cyclictest0-21swapper/320:29:293
67281499111,5cyclictest0-21swapper/319:54:223
67281499102,4cyclictest0-21swapper/320:04:213
67281499101,5cyclictest0-21swapper/319:29:123
67281499101,5cyclictest0-21swapper/319:19:243
67281499101,4cyclictest0-21swapper/319:10:023
6728149993,4cyclictest0-21swapper/320:54:233
6728149991,5cyclictest0-21swapper/320:59:243
6728149991,5cyclictest0-21swapper/320:49:163
6728149991,5cyclictest0-21swapper/319:44:153
6728149991,5cyclictest0-21swapper/319:24:183
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional