You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-18 - 04:40

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Tue Nov 18, 2025 00:39:48)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2777016997733,32cyclictest453-21systemd-logind21:55:020
2777018995345,5cyclictest2881506-21sendmail22:40:012
2777018995044,3cyclictest0-21swapper/200:32:392
2777017994838,7cyclictest2839514-21sh21:45:021
2777017994831,14cyclictest2857211-21fschecks_time22:09:051
2777018994738,6cyclictest2934522-21systemd-run23:50:012
2777018994738,6cyclictest2934522-21systemd-run23:50:012
2777018994738,5cyclictest2915019-21sed23:24:232
2777017994537,5cyclictest2956741-21latency_hist00:20:021
2777016994539,4cyclictest2942130-21ssh00:00:010
2777016994524,19cyclictest916807-21cups-browsed23:14:140
277701699451,37cyclictest2801904-21ntpq20:34:090
2777018994434,6cyclictest2813045-21latency_hist21:10:022
2777017994436,5cyclictest2919201-21idleruntime-cro23:30:011
2777017994422,19cyclictest2852095-21sh22:01:591
2777017994422,19cyclictest2852095-21sh22:01:591
2777016994439,3cyclictest2881497-21ssh22:40:010
2777016994437,4cyclictest2835659-21ssh21:40:020
2777016994425,16cyclictest2866225-21cron22:20:010
277701699441,37cyclictest2800406-21ntpq20:29:100
2777018994332,7cyclictest421-21avahi-daemon21:20:102
2777017994323,17cyclictest2896705-21ssh23:00:021
2777016994335,5cyclictest2857199-21fschecks_count22:09:040
2777016994334,5cyclictest2850990-21latency_hist22:00:020
2777016994334,5cyclictest2850990-21latency_hist22:00:020
2777016994329,12cyclictest2964968-40mandb00:32:420
277701699431,40cyclictest2883041-21ssh22:42:510
277701699431,39cyclictest2806429-21ntpq20:49:120
277701699431,39cyclictest2806429-21ntpq20:49:120
277701699431,38cyclictest2895773-21ntpq22:59:150
2777018994232,7cyclictest2970770-21idleruntime-cro00:40:012
2777017994219,20cyclictest453-21systemd-logind20:50:021
2777017994219,20cyclictest453-21systemd-logind20:50:021
277701699422,35cyclictest2804604-21if_err_eth020:44:050
2777016994222,17cyclictest2900035-21unixbench_multi23:04:230
2777016994222,17cyclictest0-21swapper/020:00:000
2777016994219,21cyclictest2952223-21needreboot00:14:140
2777016994217,22cyclictest2798804-21missed_timers20:24:060
277701699421,37cyclictest2838613-21ntpq21:44:150
2777018994133,5cyclictest2956644-21munin-plugin-st00:20:012
2777018994133,5cyclictest2784505-21grep19:35:012
2777018994130,5cyclictest0-21swapper/220:54:112
2777017994132,6cyclictest266-21systemd-journal22:25:011
2777017994126,11cyclictest0-21swapper/121:19:191
2777016994132,7cyclictest2874833-21sshd22:31:300
277701699411,38cyclictest2946831-21ssh00:06:190
277701699411,37cyclictest2909801-21ssh23:18:440
277701699411,37cyclictest2901743-21ssh23:07:250
277701699411,37cyclictest2873040-21ntpq22:29:150
277701699411,36cyclictest2936106-21ssh23:52:570
277701699411,36cyclictest2936106-21ssh23:52:570
277701699411,36cyclictest2789993-21ntpq19:54:160
277701699411,36cyclictest2789993-21ntpq19:54:160
277701699411,35cyclictest2914397-21ntpq23:24:100
277701699411,31cyclictest2825941-21ssh21:28:110
2777018994033,4cyclictest2926796-21basename23:40:002
2777018994033,4cyclictest2926796-21basename23:40:002
2777018994028,6cyclictest0-21swapper/222:09:142
2777018994027,5cyclictest0-21swapper/222:54:122
2777018994026,10cyclictest2813004-21diskmemload23:44:192
2777017994032,5cyclictest2813004-21diskmemload23:44:241
277701799402,33cyclictest2891925-21ntpq22:54:111
2777017994019,17cyclictest0-21swapper/123:33:521
277701799401,35cyclictest2880650-21ntpq22:39:151
277701799401,35cyclictest2777996-21ntpq19:14:151
277701699402,33cyclictest2891951-21ntpq22:54:120
277701699402,33cyclictest2797385-21ntpq20:19:090
2777016994018,19cyclictest957-21mta-sts-daemon22:01:490
2777016994018,19cyclictest957-21mta-sts-daemon22:01:490
277701699401,37cyclictest2928672-21ssh23:43:290
277701699401,36cyclictest2840982-21ssh21:47:410
277701699401,36cyclictest2823418-21ntpq21:24:160
277701699401,36cyclictest2815881-21memory21:14:090
277701699401,36cyclictest2777876-21ntpq19:14:090
277701699401,35cyclictest2955712-21ntpq00:19:100
277701699401,35cyclictest2867121-21ssh22:21:230
277701699401,35cyclictest2780958-21ntpq19:24:130
277701699401,34cyclictest2926460-21ssh23:39:230
277701699401,34cyclictest2926460-21ssh23:39:230
277701699401,29cyclictest2945852-21ssh00:04:410
277701699401,26cyclictest2888268-21ntpq22:49:220
277701699400,38cyclictest2916089-21ssh23:26:010
2777017993919,17cyclictest0-21swapper/121:00:021
277701799391,35cyclictest2940481-21aten_r2power_en23:58:591
277701799391,34cyclictest2909872-21ssh23:18:541
277701799391,34cyclictest2808002-21ntpq20:54:161
277701799391,33cyclictest2796725-21sshd20:16:301
277701799391,32cyclictest2791417-21ntpq19:59:131
277701799390,35cyclictest2964968-40mandb00:32:331
277701699392,32cyclictest2810876-21ntpq21:04:100
277701699391,36cyclictest2958041-21ssh00:22:490
277701699391,36cyclictest2828672-21ssh21:30:570
277701699391,36cyclictest2817683-21ssh21:16:070
277701699391,35cyclictest2969877-21ntpq00:39:150
277701699391,35cyclictest2960745-21ssh00:25:420
277701699391,35cyclictest2788403-21ntpq19:49:120
277701699391,35cyclictest2782629-21/usr/sbin/munin19:29:180
277701699391,34cyclictest2920414-21ssh23:32:110
277701699391,34cyclictest2807849-21/usr/sbin/munin20:54:080
277701699391,34cyclictest2783981-21ntpq19:34:130
277701699391,33cyclictest2795995-21ntpq20:14:160
277701699390,37cyclictest2858862-21ssh22:10:070
2777018993829,6cyclictest2788058-21fschecks_time19:49:052
2777017993830,5cyclictest2926804-21sendmail23:40:001
2777017993830,5cyclictest2926804-21sendmail23:40:001
2777017993829,6cyclictest916807-21cups-browsed22:20:011
277701799382,32cyclictest2798956-21ntpq20:24:111
277701799382,31cyclictest2812444-21ntpq21:09:121
2777017993823,11cyclictest0-21swapper/100:09:161
2777017993815,19cyclictest0-21swapper/122:29:171
277701799381,35cyclictest2875909-21ssh22:33:441
277701799381,34cyclictest2961549-21ssh00:27:451
277701799381,34cyclictest2931823-21ssh23:47:021
277701799381,34cyclictest2931823-21ssh23:47:021
277701799381,34cyclictest2904542-21ssh23:10:251
277701799381,34cyclictest2847712-21ssh21:55:531
277701799381,34cyclictest2847712-21ssh21:55:531
277701799381,34cyclictest2824952-21ssh21:26:021
277701799381,33cyclictest2899405-21ntpq23:04:101
277701799381,33cyclictest2792881-21ntpq20:04:081
277701799381,32cyclictest2950357-21ssh00:10:501
277701799381,32cyclictest2858927-21ssh22:10:171
277701799381,32cyclictest2843585-21ssh21:50:111
277701799381,32cyclictest2839939-21ssh21:45:311
277701799380,35cyclictest2779093-21/usr/sbin/munin19:19:031
277701799380,34cyclictest2783241-21sshd19:31:531
277701699383,31cyclictest2809356-21ntpq20:59:120
277701699381,34cyclictest2784863-21aten_r2power_po19:39:000
277701699381,33cyclictest2931339-21ssh23:46:020
277701699381,33cyclictest2931339-21ssh23:46:020
277701699381,33cyclictest2794375-21ntpq20:09:100
277701699381,33cyclictest2779425-21ntpq19:19:100
2777018993729,5cyclictest2861689-21mailstats22:14:192
2777018993728,6cyclictest657-21snmpd21:49:172
277701799378,26cyclictest2822247-21sh21:23:171
2777017993729,5cyclictest2960214-21cron00:25:011
277701799372,31cyclictest2801912-21ntpq20:34:101
2777017993723,11cyclictest0-21swapper/122:49:151
277701799371,32cyclictest2828483-21ssh21:30:321
277701799371,32cyclictest2794384-21ntpq20:09:101
277701799371,32cyclictest2782378-21ntpq19:29:081
277701799371,31cyclictest2911901-21ssh23:20:051
277701799371,31cyclictest2785501-21ntpq19:39:151
2777017993711,24cyclictest2967916-21ssh00:36:111
277701799370,34cyclictest2945093-21ntpq00:04:131
277701699371,33cyclictest2802829-21aten_r2power_fr20:39:030
277701699371,33cyclictest2793018-21ntpq20:04:150
277701699371,33cyclictest2786923-21ntpq19:44:120
2777018993628,5cyclictest2799539-21systemd-run20:25:022
2777017993627,6cyclictest422-21dbus-daemon21:15:011
277701799361,32cyclictest2810941-21ntpq21:04:121
277701799361,32cyclictest2789881-21ntpq19:54:101
277701799361,32cyclictest2789881-21ntpq19:54:101
277701799361,31cyclictest2935108-21ssh23:50:491
277701799361,31cyclictest2935108-21ssh23:50:491
277701799361,31cyclictest2803464-21ntpq20:39:181
277701799361,31cyclictest2795883-21ntpq20:14:101
277701799360,31cyclictest2882044-21ssh22:40:421
277701699361,30cyclictest2812380-21ntpq21:09:090
2777018993527,5cyclictest916807-21cups-browsed22:45:302
2777018993527,5cyclictest2795029-21systemd-run20:10:022
2777018993527,5cyclictest0-21swapper/221:14:182
277701799351,31cyclictest2804941-21ntpq20:44:131
277701799351,31cyclictest2800443-21ntpq20:29:121
277701799351,31cyclictest2786530-21df_inode19:44:041
277701799351,31cyclictest2780894-21ntpq19:24:101
277701799351,30cyclictest2788475-21ntpq19:49:151
277701799350,32cyclictest2832103-21ssh21:35:121
2777018993429,2cyclictest0-21swapper/200:00:012
2777018993426,5cyclictest2835206-21unixbench-2d21:39:242
2777018993425,5cyclictest957-21mta-sts-daemon20:15:012
277701799341,30cyclictest2901654-21ssh23:07:141
2777018993326,4cyclictest0-21swapper/222:44:142
2777018993326,3cyclictest0-21swapper/221:29:132
2777018993325,5cyclictest2944619-21fschecks_count00:04:032
2777018993325,5cyclictest2877056-21systemctl22:34:202
2777018993325,5cyclictest2786039-21systemd-run19:40:012
2777018993324,6cyclictest916807-21cups-browsed23:03:022
2777018993323,4cyclictest0-21swapper/222:29:122
277701899332,22cyclictest2918241-21ssh23:29:132
277701899331,26cyclictest2910619-21ssh23:19:102
277701899331,18cyclictest2922021-21ssh23:34:112
2777018993226,3cyclictest0-21swapper/219:45:012
2777018993224,5cyclictest2936939-21fschecks_count23:54:062
2777018993224,5cyclictest2936939-21fschecks_count23:54:062
277701899322,20cyclictest2869073-21ssh22:24:092
2777018993220,3cyclictest171rcu_preempt00:09:022
2777018993216,6cyclictest955-21mta-sts-daemon00:11:102
277701899319,4cyclictest36-21ksoftirqd/223:09:212
2777018993125,3cyclictest0-21swapper/222:01:522
2777018993125,3cyclictest0-21swapper/222:01:522
2777018993124,4cyclictest959-21mta-sts-daemon22:55:292
2777018993123,5cyclictest955-21mta-sts-daemon21:54:042
2777018993123,5cyclictest1-21systemd21:00:022
2777018993024,3cyclictest2960251-21kworker/u8:6+rpciod00:30:022
2777018993024,2cyclictest0-21swapper/220:05:002
2777018993023,4cyclictest955-21mta-sts-daemon19:25:022
2777018993023,4cyclictest2805501-21cron20:45:012
2777018993022,5cyclictest2806166-21kernelversion20:49:062
2777018993022,5cyclictest2806166-21kernelversion20:49:062
2777018993022,5cyclictest2783003-21cron19:30:012
277701699301,26cyclictest2777124-21latency_hist19:10:020
2777018992924,2cyclictest0-21swapper/222:00:022
2777018992924,2cyclictest0-21swapper/222:00:022
2777018992923,3cyclictest0-21swapper/222:20:012
2777018992919,6cyclictest421-21avahi-daemon21:44:252
2777018992918,7cyclictest351ktimers/223:13:112
2777018992821,3cyclictest0-21swapper/200:25:022
2777018992818,7cyclictest956-21mta-sts-daemon19:19:192
277701799281,24cyclictest2776970-21munin-run19:10:011
2777018992721,3cyclictest0-21swapper/221:34:092
2777018992721,3cyclictest0-21swapper/220:00:012
2777018992712,5cyclictest341rcuc/221:18:152
2777018992620,3cyclictest956-21mta-sts-daemon20:28:082
2777018992620,3cyclictest0-21swapper/219:15:012
277701999254,14cyclictest0-21swapper/321:29:133
2777018992520,2cyclictest0-21swapper/219:55:012
2777018992520,2cyclictest0-21swapper/219:55:012
2777018992517,6cyclictest0-21swapper/220:20:002
277701999245,12cyclictest0-21swapper/300:32:353
277701999244,13cyclictest0-21swapper/321:39:113
277701999243,11cyclictest0-21swapper/322:59:133
277701999242,13cyclictest0-21swapper/321:54:153
277701999241,13cyclictest0-21swapper/322:34:123
277701999233,13cyclictest0-21swapper/323:49:103
277701999233,13cyclictest0-21swapper/323:49:103
277701999233,13cyclictest0-21swapper/323:14:143
277701999233,13cyclictest0-21swapper/300:04:133
277701999233,12cyclictest0-21swapper/322:44:143
277701999233,12cyclictest0-21swapper/321:44:143
277701999232,12cyclictest0-21swapper/321:19:113
277701999232,11cyclictest0-21swapper/322:19:183
2777018992315,5cyclictest2802521-21systemd-run20:35:012
277701999225,9cyclictest0-21swapper/322:24:163
277701999224,11cyclictest0-21swapper/321:59:173
277701999224,11cyclictest0-21swapper/321:59:173
277701999223,13cyclictest0-21swapper/300:14:093
277701999223,12cyclictest0-21swapper/323:24:123
277701999223,12cyclictest0-21swapper/322:04:093
277701999223,12cyclictest0-21swapper/322:04:093
277701999223,11cyclictest0-21swapper/321:24:113
277701999222,13cyclictest0-21swapper/300:18:593
277701999222,12cyclictest0-21swapper/321:14:173
277701999222,11cyclictest0-21swapper/323:09:193
277701999222,11cyclictest0-21swapper/321:34:093
277701899222,15cyclictest2803539-21ps20:39:212
2777018992217,3cyclictest351ktimers/221:04:012
277701999213,11cyclictest0-21swapper/300:29:133
277701999212,12cyclictest0-21swapper/323:44:163
277701999212,12cyclictest0-21swapper/323:35:033
277701999212,11cyclictest0-21swapper/322:54:103
277701999212,11cyclictest0-21swapper/322:14:103
277701999211,10cyclictest0-21swapper/321:04:103
277701999204,11cyclictest0-21swapper/322:29:103
277701999203,10cyclictest0-21swapper/323:29:073
277701999202,11cyclictest0-21swapper/323:59:083
277701999202,11cyclictest0-21swapper/322:49:153
277701999202,11cyclictest0-21swapper/322:39:163
277701999202,11cyclictest0-21swapper/322:09:113
277701999202,11cyclictest0-21swapper/300:24:103
277701999202,11cyclictest0-21swapper/300:09:083
277701999201,13cyclictest0-21swapper/323:39:123
277701999201,13cyclictest0-21swapper/323:39:123
277701999201,12cyclictest0-21swapper/323:54:113
277701999201,12cyclictest0-21swapper/323:54:113
277701999201,12cyclictest0-21swapper/323:04:173
277701999201,12cyclictest0-21swapper/300:39:123
277701999201,11cyclictest0-21swapper/321:49:083
277701999192,9cyclictest0-21swapper/320:34:123
277701999192,11cyclictest0-21swapper/319:34:163
277701999183,10cyclictest0-21swapper/323:19:093
277701999182,8cyclictest0-21swapper/320:44:113
277701999182,8cyclictest0-21swapper/320:29:103
277701899184,11cyclictest2776965-21latency_hist19:10:022
277701999172,9cyclictest0-21swapper/319:44:123
277701999172,9cyclictest0-21swapper/319:19:083
277701999172,8cyclictest0-21swapper/321:09:103
277701999172,8cyclictest0-21swapper/319:49:113
277701999172,8cyclictest0-21swapper/319:24:123
277701999172,10cyclictest0-21swapper/319:14:103
277701999162,8cyclictest0-21swapper/320:14:113
277701999162,7cyclictest0-21swapper/320:55:303
277701999161,9cyclictest0-21swapper/320:49:153
277701999161,9cyclictest0-21swapper/320:49:153
277701999161,9cyclictest0-21swapper/320:09:103
277701999161,8cyclictest0-21swapper/320:19:083
277701999152,8cyclictest0-21swapper/320:39:143
277701999152,8cyclictest0-21swapper/319:39:123
277701999152,8cyclictest0-21swapper/319:29:103
277701999152,7cyclictest0-21swapper/319:54:123
277701999152,7cyclictest0-21swapper/319:54:123
277701999151,9cyclictest0-21swapper/319:59:103
277701999151,7cyclictest0-21swapper/320:54:083
277701999141,8cyclictest0-21swapper/320:24:113
277701999141,6cyclictest0-21swapper/320:04:053
27770199992,5cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional