DevOps Engineer - AI Model Evaluator
USD 85 pro StundeMercor
Zürich ZH
- Homeoffice
About the job
Mercor connects elite creative and technical talent with leading AI research labs. Headquartered in San Francisco, our investors include Benchmark , General Catalyst , Peter Thiel , Adam D'Angelo , Larry Summers , and Jack Dorsey .
Position: DevOps / SRE / Cloud Engineer (Coding Agent Experience)
Type: Contract
Compensation: $85/hour
Location: Remote
Role Responsibilities
- Use frontier AI coding agents to complete and evaluate complex infrastructure engineering tasks.
- Review model-generated implementations involving cloud platforms , Kubernetes , CI/CD systems , observability , and infrastructure automation .
- Identify bugs, edge cases, reliability issues, and failure modes.
- Compare outputs from multiple frontier models and assess their strengths and weaknesses.
- Apply professional engineering judgment to realistic infrastructure engineering scenarios.
- Work independently and asynchronously to meet sprint-based project deadlines.
Qualifications
Must-Have
- 2+ years of professional DevOps , SRE , or Cloud Engineering experience.
- Experience with AWS , Azure , GCP , Kubernetes , Terraform , CI/CD pipelines , or observability tooling .
- Regular use of AI coding agents such as Cursor, Claude Code, Codex, Windsurf, Gemini CLI, or similar tools.
- Ability to evaluate model-generated infrastructure and reliability engineering solutions.
Preferred
- Experience supporting production-scale systems.
Compensation & Legal
- $400 per accepted task .
- Compensation is tied to accepted work.
Application Process (Takes 20–30 mins to complete)
- Upload resume
- AI interview based on your resume
- Submit form
Resources & Support
- For details about the interview process and platform information, please check:
- For any help or support, reach out to: Email anzeigen
PS: Our team reviews applications daily. Please complete your AI interview and application steps to be considered for this opportunity.
Die Stellenanzeige wurde vor Vor 25 Tagen veröffentlicht
Ähnliche Jobs, die für Sie interessant sein könntenBasierend auf das Stellenangebot DevOps Engineer - AI Model Evaluator in Zürich ZH
- ...one of the largest AI centers in Europe... ...As AI for Science Engineer you build the frontier... ..., curate data, evaluate models, or chain domain-... ...Contribute to the evaluation and benchmarking of... ...) and with model optimization and efficient... ..., workflow engines, or reasoning systems...EmpfohlenPostdoc StelleSoforteinstellung
ETH Zürich
Zürich ZHVor 18 Tagen USD 60 - USD 70 pro Stunde
...technical talent with leading AI research labs. Headquartered in... ...Role Responsibilities Evaluate AI-generated responses for... ...domains. Apply and refine evaluation rubrics for RLHF , SFT , and... ...feedback to improve model alignment and safety performance...EmpfohlenHomeofficeRemote jobMercor
Zürich ZHVor 16 TagenUSD 39 pro Stunde
...creative and technical talent with leading AI research labs. Headquartered in San... ...week Role Responsibilities Evaluate AI model output lyrics , voice generation, and... ...experience as a music producer, audio engineer, and/or sound mixer. ~ College degree...EmpfohlenHomeofficeRemote jobSoforteinstellungMercor
Zürich ZHVor einem Monat- ...RIVR, part of Amazon is a robotics company pioneering Physical AI through real-world doorstep delivery. Founded in 2024 as an ETH Zurich... ...data. By utilizing state-of-the-art Vision-Language-Action (VLA) models, large-scale generalist models (like Transformers), generative AI...EmpfohlenVollzeit
- ...cost of capital analyses Develop complex, integrated financial models Participate in engagements such as fairness opinions, pricing... ...first. We support you with cutting-edge tools and state-of-the-art AI technologies, enabling you to actively participate in and shape...EmpfohlenFlexible Arbeitszeit
KPMG AG
Zürich ZHVor 16 Tagen - ...interpretable, and steerable AI systems. We want AI to... ...committed researchers, engineers, policy experts, and... ...Anthropic's production models undergo sophisticated... ...directly improve production model quality Design,... ...model fine-tuning and evaluation Develop tools to measure...SoforteinstellungFlexible Arbeitszeit
- ...Artificialy is an AI company based in Switzerland, with offices in Lugano and Zurich... ...field, our team brings together talented engineers, physicists, and mathematicians from across... ..., structured-output reliability, model monitoring pipelines, or productionizing...Vollzeit
- ...Robotics Engineer, Model Deployment Zürich AI & Software In office Full-time mimic is an early stage deep tech robotics & AI start-up based... ...of AI training methods, data pipelines, and model evaluation Ability to build repeatable and scalable solutions...Vollzeit
- ...AI Software Engineer - Zurich Company Description Founded and headquartered... ...Stay up-to-date and evaluate the latest advancements in... ...deploying and maintaining AI models in production ML frameworks... ..., observability tools, evaluation pipelines, prompt engineering...Backoffice
- ...Aufgabe – Als Microsoft Copilot / AI & Power Platform Engineer trägst du die technische Verantwortung... ...Weiterbildungen Bistro oder Mensa Bonus-Modell Eigenständige Organisation des... ...OpenAI Services, Large Language Models (LLMs) – Du hast praktische Erfahrung...Festanstellung
- ...We're looking for a Senior DevOps Engineer to join our team in Zurich, Switzerland in a hybrid working mode. In this role, you will manage infrastructure automation, observability and platform reliability for enterprise applications. You will combine Linux and Windows...
- ...01 Zukünftiger Arbeitgeber Für ein namhaftes Dienstleistungsunternehmen im Raum Zürich suchen wir einen kompetenten DevOps System Engineer (m/w). Bei unserem Kunden bringen Sie Ihr Talent und Ihre Expertise in einem motivierten und flexiblen Arbeitsumfeld ein...Selbständige TätigkeitRemote jobFestanstellungFlexible Arbeitszeit
- ...Bereit für Swisscom Als DevOps Engineer arbeitest du im agilen Team, entwickelst die SOC Plattform (SIEM/Splunk, SOAR) weiter, und stellst im täglichen Betrieb die Qualität unserer Security Services für unsere Geschäftskunden sicher. Du entwickelst unsere SOC Plattform...
- ...by attackers. The team consists of experienced developers and engineers, who you work closely with to continually develop services to protect... ...security services to counter the associated cyber risks.As a DevOps Engineer in the Security Operation Centre, you are part of...
- Ready for Swisscom Working as part of a team, you implement modern workspace technologies for our customers. M365 service developmentDevOps: We take responsibility for the solutions from set-up to operationDesigning the services of tomorrowContinuing education and exchange...
- Bereit für Swisscom Im Team bist du Umsetzer für die modern Workspace Technologien für unsere Kunden. M365 ServiceentwicklungDevOps: Wir verantworten die Lösungen vom Aufbau bis und mit BetriebServices von Morgen gestaltenWeiterbildung und Austausch über eine breite Basis...
- ...DevOps Engineer Linux & Platform Engineering (m/w/d) 80% - 100% | IT / Business Engineering | Zürich | Berufserfahrene Unser Linux-Team bildet das technische Rückgrat für die digitalen Dienstleistungen der Zürcher Kantonalbank. Du betreibst und entwickelst...FestanstellungFlexible Arbeitszeit
- ...Gravis Robotics is a high-growth Series A start-up backed by SoftBank, bringing Physical AI to the construction industry, turning heavy construction machines into autonomous robots. Gravis began as an ETH Zurich spin-out, and our unique combination of learning-based...VollzeitRemote job
- ...Lead DevOps Engineer (m/w/d) – eBanking 80% - 100% | IT / Business Engineering | Zürich | Berufserfahrene Gestalte mit uns die Zukunft des eBankings! Bei uns in der IT der Zürcher Kantonalbank entwickelst du gemeinsam mit über 1'000 Kolleginnen und Kollegen...Im FrühlingFestanstellungFlexible Arbeitszeit
- Bereit für Swisscom Zusammen mit deinem Team verbesserst du unsere Produkte und Dienstleistungen kontinuierlich, um den stabilen Betrieb unserer Datenbankdienste auf verschiedenen Betriebssystemen sicherzustellen. Wir arbeiten im einem Enterprise Environment mit neusten...
- Ready for Swisscom Together with your team, you continuously improve our products and services to ensure the stable operation of our database services across different operating systems. We work in an enterprise environment with the latest technologies in the relational...Teilzeitarbeit
- ...den Herstellerfirmen zusammen und beschäftigst dich laufend mit den neuesten Microsoft-Technologien. 3/3Skill Check Als Workplace Engineer bietest du unserer Kundschaft Lösungen zu ihren Herausforderungen. Dank der Zusammenarbeit im Team feiern wir immer wieder Erfolge...
- ...DevOps Engineer Network, Security & Communication (m/w/d) 100% | IT / Business Engineering | Zürich | Berufserfahrene Unser Netzwerk-Team sucht Verstärkung im Bereich Content Security. Neben einem reibungslosen Betrieb und der kontinuierlichen Weiterentwicklung...Festanstellung
- ...DevOps Engineer Workplace Client Engineering (m/w/d) 80% - 100% | IT / Business Engineering | Zürich | Berufserfahrene Ist Client Engineering, Microsoft Windows und die Welt des digitalen Arbeitsplatzes deine Leidenschaft und willst du Teil eines agilen Teams...Remote jobFestanstellungFlexible Arbeitszeit
- ...Applied AI Engineer Zürich AI & Software In office Full-time... ...and training through evaluation and deployment. Beyond individual... ...and continuously improve our models. Responsibilities Apply... ...robotic applications Own model training runs, evaluation, and...Vollzeit
- ...Senior AI Engineer Zurich, Switzerland Product In office... ...technology company building a data engine that powers the future of... ...features end-to-end from design and evaluation through to deployment,... ...regulated domain. Working Model: This role is based on-site...Vollzeit
- ...Architektur, Konzeptionierung sowie Realisierung, basierend auf modernsten Ansätzen und Technologien. 3/3Skill Check Als Senior DevOps Engineer entwickelst und realisierst du die Private Cloud der nächsten Generation für die Schweizer Armee: Hochsicher, hochverfügbar und...
- Bereit für Swisscom Du bist an vorderster Front, wenn es um Architektur und Implementation von komplexen Linux-Umgebungen geht. Du löst anspruchsvollen Automatisierungsanforderungen und schwierige Fragestellungen treiben dich zu Höchstleistung an. Design, Planung und Implementation...
- ...Zukunft. Für deine innovativen Ideen bieten wir dir viel Gestaltungsfreiraum in einem agilen Arbeitsumfeld. 2/3Die Themen Innerhalb des DevOps Teams sind Operations und Development Aufgaben gleichermassen wichtig. Im Betriebsteil unserer Aufgaben stellen wir sicher, dass...
- ...Zukunft. Für deine innovativen Ideen bieten wir dir viel Gestaltungsfreiraum in einem agilen Arbeitsumfeld. 2/3Die Themen Innerhalb des DevOps Teams sind Operations und Development Aufgaben gleichermassen wichtig. Im Betriebsteil unserer Aufgaben stellen wir sicher, dass...
Wollen Sie mehr Stellenangebote erhalten?
Abonnieren Sie und erhalten Sie ähnliche Stellenangebote wie DevOps Engineer - AI Model Evaluator. Seien Sie der Erste, der sich bewirbt!
