You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-25 - 17:39

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack2slot7s.osadl.org (updated Thu Jun 25, 2026 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2468816995242,7cyclictest1653682-21cups-browsed12:20:452
2468816995037,10cyclictest2558550-21switchtime10:35:432
2468816994938,8cyclictest2551467-21aten_r2power_fr10:25:202
2468815994944,3cyclictest0-21swapper/111:41:051
2468815994941,5cyclictest2511037-21/usr/sbin/munin09:20:011
2468814994923,17cyclictest151ktimers/012:30:280
2468816994840,4cyclictest0-21swapper/212:25:332
2468815994840,5cyclictest2529559-21munin-plugin-st09:50:011
2468814994838,7cyclictest2518414-21grep09:30:380
2468815994739,5cyclictest2548045-21latency_hist10:20:021
2468816994638,5cyclictest2618527-21ssh12:15:012
2468815994638,5cyclictest2584871-21latency_hist11:20:021
2468814994635,7cyclictest151ktimers/010:20:310
2468816994539,3cyclictest2597146-21kworker/u8:6-nfsiod11:41:052
2468814994511,5cyclictest0-21swapper/008:50:350
2468815994437,4cyclictest2489797-21cron08:20:011
2468815994435,6cyclictest1-21systemd12:15:021
2468814994419,20cyclictest2619552-21ssh12:15:350
2468815994336,4cyclictest2572538-21munin-run11:00:011
2468815994335,5cyclictest2594110-21latency_hist11:35:021
2468815994335,5cyclictest2541869-21ssh10:10:021
2468815994234,5cyclictest2628029-21/usr/sbin/munin12:30:191
2468815994233,5cyclictest485-21in:imuxsock12:05:001
2468815994233,5cyclictest485-21in:imuxsock12:05:001
246881499422,34cyclictest2508942-21ssh09:15:310
2468816994132,6cyclictest2621623-21systemd-run12:20:022
2468816994130,8cyclictest2538789-21idleruntime-cro10:05:012
2468815994132,5cyclictest2482320-21systemd-run07:55:011
2468815994132,5cyclictest2482320-21systemd-run07:55:011
246881499413,31cyclictest2582749-21ssh11:15:280
2468814994031,7cyclictest2580323-21unixbench_singl11:10:430
2468814994025,12cyclictest265-21systemd-journal07:45:010
2468816993931,5cyclictest2509452-21unixbench-2d09:15:422
2468816993931,4cyclictest0-21swapper/210:20:022
2468815993931,5cyclictest2600827-21fschecks_time11:45:231
2468815993931,5cyclictest2552606-21unixbench-2d10:25:431
2468815993931,5cyclictest1001-21mta-sts-daemon11:56:551
2468815993930,5cyclictest2554882-21kernelversion10:30:261
2468815993930,5cyclictest2554882-21kernelversion10:30:261
2468814993935,2cyclictest0-21swapper/011:20:390
246881499391,32cyclictest2545918-21ssh10:15:300
2468816993830,5cyclictest2609382-21munin-plugin-st12:00:012
2468815993833,2cyclictest0-21swapper/109:45:021
2468815993830,5cyclictest2590962-21awk11:30:011
2468815993830,5cyclictest2549592-21grep10:20:451
2468815993829,5cyclictest0-21swapper/110:50:371
2468815993828,7cyclictest1653682-21cups-browsed07:20:291
2468815993828,6cyclictest2520303-21true09:35:011
2468816993729,5cyclictest2532618-21latency_hist09:55:032
2468816993729,5cyclictest2515738-21tail09:25:442
2468814993730,4cyclictest2563977-21rm10:45:240
2468814993730,4cyclictest2523557-21latency_hist09:40:020
246881699363,29cyclictest2588877-21ssh11:25:302
246881599363,28cyclictest2595065-21ssh11:35:301
2468815993630,3cyclictest0-21swapper/109:35:321
2468815993629,4cyclictest0-21swapper/108:40:011
2468815993629,3cyclictest0-21swapper/109:25:281
2468815993628,5cyclictest2494302-21munin-run08:35:011
2468815993627,6cyclictest421-21dbus-daemon10:50:011
2468815993625,8cyclictest2496653-21ntp_kernel_err08:40:301
2468815993622,10cyclictest1653682-21cups-browsed09:11:311
2468814993627,7cyclictest2561297-21ntp_kernel_pll_10:40:320
2468814993624,10cyclictest2480820-21true07:50:010
2468814993623,7cyclictest12650irq/32-eth008:00:370
246881499361,31cyclictest665-21snmpd09:53:150
2468816993529,3cyclictest0-21swapper/211:05:292
2468816993527,5cyclictest2592286-21mailstats11:30:412
2468816993527,5cyclictest2520915-21fschecks_count09:35:232
2468816993525,8cyclictest2477832-21systemd-run07:40:012
246881699352,26cyclictest2604419-21ssh11:50:392
246881599354,27cyclictest2530609-21ssh09:50:311
2468815993529,3cyclictest0-21swapper/112:20:451
2468815993528,4cyclictest2455061-21kworker/u8:0-xprtiod07:15:011
2468815993528,3cyclictest0-21swapper/112:25:311
2468815993527,5cyclictest2501792-21systemctl09:00:011
2468815993526,6cyclictest420-21avahi-daemon09:24:551
2468815993526,6cyclictest265-21systemd-journal09:10:011
2468814993529,4cyclictest2517238-21latency_hist09:30:020
2468814993528,4cyclictest2533292-21grep09:55:250
2468814993528,4cyclictest0-21swapper/010:40:000
2468814993526,6cyclictest2497322-21systemd-run08:45:010
2468814993524,8cyclictest2551600-21cpu10:25:210
2468814993521,10cyclictest151ktimers/007:10:350
2468816993426,4cyclictest2612641-21latency_hist12:05:022
2468816993426,4cyclictest2612641-21latency_hist12:05:022
2468816993425,7cyclictest2474126-21needreboot07:25:282
2468816993424,5cyclictest0-21swapper/209:10:302
2468815993427,3cyclictest0-21swapper/111:05:191
2468814993428,4cyclictest2529559-21grep09:50:010
2468814993427,4cyclictest2603412-21latency_hist11:50:030
2468814993426,6cyclictest2500803-21fschecks_count08:55:240
2468814993425,4cyclictest0-21swapper/012:25:300
2468814993413,14cyclictest12650irq/32-eth012:10:370
2468816993327,3cyclictest0-21swapper/209:20:332
2468816993326,3cyclictest0-21swapper/209:40:402
2468816993325,3cyclictest0-21swapper/209:45:292
246881699332,24cyclictest1653682-21cups-browsed11:45:302
246881599333,26cyclictest2558244-21ssh10:35:341
246881599333,25cyclictest2533760-21ssh09:55:361
246881599333,23cyclictest2536852-21ssh10:00:361
2468815993325,5cyclictest2497669-21aten_r2power_po08:45:201
2468814993328,3cyclictest2575618-21ssh11:05:010
2468814993327,4cyclictest2512407-21switchtime09:20:420
2468814993325,5cyclictest1653682-21cups-browsed12:38:450
2468814993324,6cyclictest151ktimers/010:10:330
2468814993323,7cyclictest0-21swapper/012:05:470
2468816993227,2cyclictest0-21swapper/207:45:012
2468816993225,4cyclictest1002-21mta-sts-daemon10:05:262
2468816993224,5cyclictest2485336-21systemd-run08:05:012
2468816993224,5cyclictest2476290-21cron07:35:012
2468816993223,6cyclictest1653682-21cups-browsed11:10:272
246881699322,22cyclictest2555182-21ssh10:30:332
246881699322,22cyclictest2555182-21ssh10:30:332
2468816993220,8cyclictest421-21dbus-daemon10:42:352
2468815993226,3cyclictest0-21swapper/111:00:221
2468815993224,5cyclictest2631846-21ssh12:35:411
2468815993224,5cyclictest0-21swapper/112:05:491
2468815993223,6cyclictest0-21swapper/108:25:011
2468815993222,6cyclictest2488320-21systemd-run08:15:021
2468814993226,3cyclictest0-21swapper/011:45:010
2468814993225,5cyclictest2589484-21unixbench_multi11:25:440
2468814993225,4cyclictest151ktimers/012:20:320
2468814993222,7cyclictest2539676-21missed_timers10:05:260
246881699316,19cyclictest2573661-21ssh11:00:342
2468816993126,2cyclictest0-21swapper/210:50:252
2468816993125,3cyclictest0-21swapper/211:15:442
2468816993125,3cyclictest0-21swapper/210:55:392
2468816993125,3cyclictest0-21swapper/207:50:342
2468816993125,3cyclictest0-21swapper/207:50:342
2468816993124,3cyclictest0-21swapper/211:35:322
2468816993123,5cyclictest2503604-21aten_r2power_en09:05:212
2468816993123,5cyclictest2473304-21cron07:25:012
2468816993122,7cyclictest2586373-21timerwakeupswit11:20:472
2468816993122,4cyclictest0-21swapper/212:35:382
2468816993117,5cyclictest255104450cron10:25:012
246881599313,20cyclictest2580379-21ssh11:10:451
2468815993124,3cyclictest0-21swapper/108:00:001
2468815993124,3cyclictest0-21swapper/108:00:001
2468815993123,5cyclictest2606209-21ssh11:54:451
2468815993123,5cyclictest2499322-21fschecks_time08:50:241
2468815993123,4cyclictest0-21swapper/110:40:451
2468815993122,6cyclictest1653682-21cups-browsed12:17:251
246881599312,24cyclictest2585882-21ssh11:20:331
2468814993124,5cyclictest2526479-21idleruntime-cro09:45:010
2468814993121,7cyclictest2504802-21munin-plugin-st09:10:010
2468814993112,16cyclictest12650irq/32-eth011:05:280
2468816993023,4cyclictest0-21swapper/208:55:012
2468816993022,5cyclictest2614112-21head12:05:482
2468816993022,4cyclictest0-21swapper/210:45:322
2468815993023,4cyclictest1000-21mta-sts-daemon07:40:301
2468815993021,6cyclictest2477667-21tail07:35:401
2468814993025,3cyclictest2569464-21idleruntime-cro10:55:000
2468814993025,3cyclictest2554588-21aten_r2power_po10:30:210
2468814993025,3cyclictest2554588-21aten_r2power_po10:30:210
2468814993024,4cyclictest421-21dbus-daemon12:00:020
2468814993024,4cyclictest2486875-21latency_hist08:10:020
2468814993023,5cyclictest2609715-21/usr/sbin/munin12:00:410
2468814993023,5cyclictest2609715-21/usr/sbin/munin12:00:410
2468814993023,5cyclictest2476291-21cron07:35:010
2468814993022,6cyclictest265-21systemd-journal07:30:010
2468816992924,2cyclictest0-21swapper/208:00:002
2468816992924,2cyclictest0-21swapper/208:00:002
246881699292,21cyclictest2533760-21ssh09:55:362
2468816992921,5cyclictest2497329-21systemd-run08:45:012
2468816992921,5cyclictest2493071-21aten_r2power_cu08:30:202
246881599294,17cyclictest271ktimers/108:00:301
246881599294,14cyclictest2542834-21ssh10:10:291
2468814992924,3cyclictest0-21swapper/007:55:310
2468814992924,3cyclictest0-21swapper/007:55:310
2468814992923,5cyclictest0-21swapper/008:45:330
2468814992923,3cyclictest2453050-21kworker/u8:7-nfsiod07:20:020
2468814992920,3cyclictest2456312-21kworker/u8:1-xprtiod08:15:250
246881699282,15cyclictest2542876-21ssh10:10:312
2468816992820,5cyclictest2492809-21munin-plugin-st08:30:012
2468816992820,5cyclictest1-21systemd08:40:012
2468816992819,7cyclictest2629160-21timerandwakeup12:30:412
2468814992822,4cyclictest2606326-21systemd-run11:55:020
246881599275,11cyclictest1653682-21cups-browsed07:30:341
246881599274,16cyclictest428-21mta-sts-daemon08:25:321
246881599273,21cyclictest1653657-21cupsd08:05:341
2468814992723,2cyclictest0-21swapper/011:40:010
2468814992721,4cyclictest1653657-21cupsd09:10:250
2468814992720,5cyclictest420-21avahi-daemon08:30:210
2468814992718,7cyclictest2477799-21munin-plugin-st07:40:010
2468816992620,3cyclictest0-21swapper/209:30:252
2468816992618,5cyclictest1001-21mta-sts-daemon08:45:322
2468815992618,5cyclictest2471382-21mailstats07:15:361
2468814992617,7cyclictest1653682-21cups-browsed10:04:240
2468816992520,3cyclictest1000-21mta-sts-daemon08:20:292
2468816992519,3cyclictest1001-21mta-sts-daemon08:15:352
2468816992518,4cyclictest2480737-21unixbench_singl07:45:412
2468816992517,6cyclictest2469168-21aten_r2power_po07:10:232
2468816992517,5cyclictest1653682-21cups-browsed07:17:002
2468814992519,4cyclictest2592623-21unixbench_singl11:30:430
2468814992519,2cyclictest0-21swapper/008:35:350
2468814992516,6cyclictest2492806-21munin-plugin-st08:30:020
2468816992413,8cyclictest2501099-21needreboot08:55:282
2468814992419,3cyclictest2483776-21kworker/u8:9-xprtiod08:20:410
2468814992418,4cyclictest421-21dbus-daemon10:56:090
2468816992318,2cyclictest0-21swapper/208:05:252
246881599232,17cyclictest2503007-21find09:00:411
2468815992317,3cyclictest1001-21mta-sts-daemon07:28:221
2468814992317,4cyclictest2488246-21unixbench_singl08:10:430
246881699222,15cyclictest2502691-21ntpq09:00:312
2468815992213,5cyclictest2468873-21grep07:10:021
246881499229,11cyclictest0-21swapper/007:20:250
2468814992216,4cyclictest0-21swapper/007:10:010
2468814992215,5cyclictest2502677-21gcc09:00:300
246881499221,17cyclictest2481722-21awk07:50:350
246881499221,17cyclictest2481722-21awk07:50:350
2468816992114,4cyclictest2487073-21aten2.4-expect08:10:202
246881799202,8cyclictest0-21swapper/309:30:323
2468816992015,2cyclictest0-21swapper/207:10:012
246881599208,8cyclictest2480798-21cron07:50:011
246881799182,6cyclictest0-21swapper/309:15:313
246881799172,6cyclictest0-21swapper/308:40:313
246881799171,8cyclictest0-21swapper/310:15:313
246881799163,6cyclictest0-21swapper/312:35:403
246881799163,6cyclictest0-21swapper/310:55:343
246881799162,8cyclictest0-21swapper/311:55:323
246881799162,7cyclictest0-21swapper/310:40:343
246881799162,5cyclictest0-21swapper/307:10:343
246881799161,8cyclictest0-21swapper/310:20:393
246881799161,6cyclictest0-21swapper/309:25:323
246881799161,6cyclictest0-21swapper/307:35:313
246881799154,6cyclictest0-21swapper/312:15:353
246881799153,6cyclictest0-21swapper/312:25:303
246881799153,6cyclictest0-21swapper/312:05:483
246881799152,6cyclictest0-21swapper/307:45:013
246881799152,5cyclictest0-21swapper/308:55:293
246881799152,5cyclictest0-21swapper/308:35:313
246881799151,8cyclictest0-21swapper/311:45:323
246881799151,8cyclictest0-21swapper/309:45:303
246881799151,7cyclictest0-21swapper/308:50:313
246881799142,7cyclictest0-21swapper/311:15:323
246881799142,7cyclictest0-21swapper/311:10:313
246881799142,7cyclictest0-21swapper/310:50:363
246881799142,6cyclictest0-21swapper/311:05:283
246881799142,6cyclictest0-21swapper/310:25:203
246881799142,6cyclictest0-21swapper/307:25:333
246881799141,8cyclictest0-21swapper/310:35:433
246881799141,6cyclictest0-21swapper/311:30:313
246881799141,6cyclictest0-21swapper/309:05:303
246881799133,6cyclictest0-21swapper/311:41:073
246881799132,7cyclictest0-21swapper/310:05:353
246881799132,6cyclictest0-21swapper/311:50:403
246881799132,6cyclictest0-21swapper/311:20:303
246881799132,6cyclictest0-21swapper/311:00:293
246881799132,6cyclictest0-21swapper/309:50:203
246881799132,5cyclictest0-21swapper/308:30:343
246881799132,5cyclictest0-21swapper/307:45:283
246881799131,7cyclictest0-21swapper/312:20:353
246881799131,7cyclictest0-21swapper/312:10:363
246881799131,7cyclictest0-21swapper/309:10:303
246881799131,7cyclictest0-21swapper/308:45:293
246881799131,6cyclictest0-21swapper/310:00:293
246881799125,3cyclictest0-21swapper/309:55:313
246881799123,5cyclictest0-21swapper/309:35:313
246881799123,5cyclictest0-21swapper/309:20:333
246881799123,5cyclictest0-21swapper/307:30:293
246881799122,6cyclictest0-21swapper/310:10:313
246881799122,5cyclictest0-21swapper/307:15:203
246881799121,7cyclictest0-21swapper/312:30:243
246881799121,6cyclictest0-21swapper/310:30:253
246881799121,6cyclictest0-21swapper/310:30:253
246881799121,6cyclictest0-21swapper/307:50:323
246881799121,6cyclictest0-21swapper/307:50:323
246881799115,4cyclictest0-21swapper/311:25:313
246881799113,6cyclictest0-21swapper/307:55:303
246881799113,6cyclictest0-21swapper/307:55:303
246881799113,5cyclictest0-21swapper/311:35:353
246881799112,5cyclictest0-21swapper/310:45:303
246881799112,5cyclictest0-21swapper/308:10:303
246881799112,5cyclictest0-21swapper/307:20:293
246881799111,6cyclictest0-21swapper/312:00:293
246881799111,6cyclictest0-21swapper/312:00:293
246881799111,6cyclictest0-21swapper/309:40:233
246881799111,6cyclictest0-21swapper/308:15:333
246881799111,6cyclictest0-21swapper/308:00:383
246881799111,5cyclictest0-21swapper/308:20:283
246881799101,5cyclictest0-21swapper/309:00:223
246881799101,5cyclictest0-21swapper/308:25:293
246881799101,5cyclictest0-21swapper/308:05:293
24688179991,4cyclictest0-21swapper/307:10:033
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional